後編は、ChatGPTの「誤答パターン」を紹介していきます。
ChatGPTがITパスポートに合格できたのか? 気になる方は【前編】をどうぞ。
前編はこちら
なお、前編で紹介したようにGPT-4は全問正解でしたので、以下の誤答パターンはすべてGPT-3.5による生成文になります。
多かった誤答パターン
特に多かったのがこのタイプの問題です。選択肢が二重構造(二段構え)になっているような問題は(特にGPT-3.5は)苦手なようです(正解はイ)。
問27
生成文
誤答パターン(凡ミス)
解説している内容は合っているのに、解答すべき選択肢を間違えるという、もったいないミスです。このパターンは3回ほどありました(正解はウ)。
問65
生成文
誤答パターン(計算ミス)
計算問題でミスをしたのはこの1問のみでした。今回無効にした図表付きの問題の中に計算問題が多かったかもしれませんが、とはいえ思いのほか優秀です。ここでは誤答したのでもう一度聞きなおしているのですが、その「間違え方のパターン」が微妙に異なるので2つとも紹介します。
問20
生成文(1回目)
生成文(2回目)
1回目は、問題文の「新たな利益の増加が2百万円」という条件が抜け落ちていて、問題文の解釈ができていないように見えます。
その点、2回目はちゃんと問題文を解釈できています。しかし、「500万円 – 400万円 + 200万円」という単純な計算を間違えています。もったいない。ここで正しく300万円と計算できていれば、正解(イ 3.3)にたどりつけたように思います。
なお、上記の数式はmarkdownタグを整形しています。ChatGPTが生成した元テキストはこちらになります。数式としてちゃんと認識していることのご参考までに。
[ \text{回収期間} = \frac{\text{初期投資額}}{\text{年間の追加利益}} ]
[ \text{回収期間} = \frac{1,000 \text{ 万円}}{100 \text{ 万円/年}} = 10 \text{ 年} ]
まとめ
いったんここで今回の記事を締めようと思います。プログラミング問題など、かなり詳細な解説文を生成してくれたので、また別の記事で紹介させてください。
試験問題に関しては、問題文の構造が単純な場合はほぼ正解できています。有料のGPT-4にいたっては100%正解していますし、与えられた文章の理解と生成する文章の精度が、人と遜色のないレベルまできていると感じます。
これは脅威なのか、頼もしいパートナーなのか…。正直、編集者という立場では脅威かもしれません。
\おすすめ/技術評論社ITパスポート本はこちら
試験形式で問題を一通り解きたい、数をこなしたい
ITパスポートパーフェクトラーニング過去問題集
苦手ジャンルなど、テーマ別に過去問を解きたい
ITパスポート試験によくでる問題集