ChatGPTさんがITパスポートの公開問題に挑戦！【前編】

茶戸自翡丁（ちゃと じぴてぃ）さんは、アメリカ生まれのアメリカ育ち。日々、世界中の言語を学習していて、日本語も堪能です。ある日、日本で人気の高まってきている国家試験があると聞いて、興味の赴くまま公式サイトを検索したところ、公開問題をみつけたので、まずはこちらで腕試しをしてみようと考えました。

その試験の名はITパスポート。今回挑戦するのは「令和6年度 ITパスポート試験 公開問題」です。はたして、茶戸さんは何点取ることができるでしょうか？

今回の検証方法

茶番はこのくらいにして、ChatGPTは「令和6年度 ITパスポート試験 公開問題」をどれだけ正解できるのか？ どういう解答・解説を生成してくるのか？ を検証してみました。検証方法は以下のとおりです。

①プロンプトに問題文と選択肢をコピペする
基本的に、問題文と選択肢を丸ごとコピペして解答文を生成してもらうだけです。ただし、図や表が絡む問題が6問ほどあり、これらはうまく伝えることができなかったため、今回は集計に含めておりません^※。したがって、全94問での検証となります。
※問41、問57、問60、問67、問81、問93の6問

②GPT-4にも手伝ってもらう
有料の「GPT-4」を、お試しで一度に10回まで利用できました。今回、作業の都合で2日に分けて検証したので、94問中20問はGPT-4、残りの74問が無料版のGPT-3.5による解答です。

なお、誤答した場合は、念のためもう一度同じ内容で聞き直しています。その結果、正解することもありましたが、集計上はそのまま「誤答」扱いで計算しています（逆に、最初に正解した問題を聞き直すことで、正解→誤答となるケースもあるはずなので、ここは相殺と考えました）。
※本記事は、2024年6月17～18日にChatGPTを使った結果をもとに作成しています。

さっそくですが、結果発表～！！

まずは気になる結果から。全94問中、誤答は18問でした。総合（全体）とジャンル別の正解率がこちらです。

・総合：約80.9％（94問中76問正解）
・ストラテジ系：約77.1％（35問中27問正解）
・マネジメント系：約89.5％（19問中17問正解）
・テクノロジ系：80.0％（40問中32問正解）

ITパスポートは1000点満点中600点で合格ですから、単純に60％以上を目安とすれば余裕で合格しています。ジャンル別の得手不得手も特になさそうです。それよりも、問題文の構造に左右されがちでした（後述）。

80％という数字を、「さすがAI！」と思うか、「AIなのにその程度なの？」と受け取るかは、みなさまがAIにどれだけ幻想を抱いているかに依存しそうです。ただ、AIが必ず「正解」を示すわけではないことを、あらためて実感できる数字かと思います。

ちなみに、GPT-4が担当した20問に関しては100％正解しています。「さすが最新バージョン！」といったところです。なお、GPT-3.5の正解率は約75.7％（74問中56問正解）となります。いずれにせよ、余裕で合格ラインに達しています。

正解パターン（GPT-4）

それでは個別に見ていきましょう。まずはGPT-4が生成した解説文のサンプルです。

問51（下記を丸々コピペして質問しました）

システム開発プロジェクトにおいて、テスト中に発見された不具合の再発防止のために不具合分析を行うことにした。テスト結果及び不具合の内容を表に記入し、不具合ごとに根本原因を突き止めた後に、根本原因ごとに集計を行い発生頻度の多い順に並べ、主要な根本原因の特定を行った。ここで利用した図表のうち、根本原因を集計し、発生頻度順に並べて棒グラフで示し、累積値を折れ線グラフで重ねて示したものはどれか。

ア　散布図
イ　チェックシート
ウ　特性要因図
エ　パレート図

生成文（ChatGPTが生成した文章）

システム開発プロジェクトにおいて、不具合分析のために使用された図表は次の通りです：

散布図（ア）：二つの変数の関係を示すグラフ。テスト結果の不具合の頻度を示すためには使わない。
チェックシート（イ）：データを収集するための表形式のツール。不具合の根本原因を収集するために使うことはあるが、頻度順に並べるためのものではない。
特性要因図（ウ）：魚の骨のような形をした図で、不具合の原因を分析するために使用する。ただし、発生頻度順に並べることはしない。
パレート図（エ）：棒グラフで不具合の発生頻度を示し、累積値を折れ線グラフで重ねて示す。根本原因の発生頻度を視覚的に確認し、主要な原因を特定するために使う。

したがって、システム開発プロジェクトで不具合の根本原因を集計し、発生頻度順に並べて棒グラフと累積値を示した図表は エ　パレート図 です。

こ、これはやばい。人が書いたとしても遜色のない、きれいな流れで解説してくれます。GPT-4が生成する文章は、ちゃんと問題文を理解したうえで生成されているなと実感できるレベルに達している印象を受けます。

正解パターン（GPT-3.5）

次にGPT-3.5が生成した解説文です。

問22

インターネットを介して個人や企業が保有する住宅などの遊休資産の貸出しを仲介するサービスや仕組みを表す用語として、最も適切なものはどれか。

ア　シェアードサービス
イ　シェアウェア
ウ　シェアリングエコノミー
エ　ワークシェアリング

生成文

最も適切な用語は「ウ　シェアリングエコノミー」です。これは、個人や企業が保有する資産（例：住宅、車、スペースなど）をインターネットを通じて他の人々と共有する経済システムを指します。

GPT-3.5が生成する文章は比較的シンプルなものが多く見られました。GPT-4と同等に、不正解の選択肢についても詳しく解説してくれるパターンもありましたが、総じてシンプル寄りでした。

気になるChatGPTの「誤答パターン」については後編でどうぞ！
つづき（後編）はこちら

＼おすすめ／技術評論社ITパスポート本はこちら