チューリングテストとは？意味・やり方とLLMを試した研究（2026年11月時点）

ひとことで言うと

チューリングテスト（Turing test）は、会話のやりとりだけで、相手が人間か機械かを人に見分けさせる試験だ。イギリスの数学者アラン・チューリングが1950年の論文「Computing Machinery and Intelligence」で「模倣ゲーム」として提案した。見分けられなければ、機械は人間らしい知能をまねる力を示したとみなす。

身近な例でいうと、チャットの相手が2人いて、片方は人間、片方は AI だとする。数分やりとりしたあとで、どちらが人間かを当てられるかを試すのがこの試験だ。

仕組み

スタンフォード哲学百科事典（SEP）によると、チューリングが論文で述べたゲームは次のとおりだ。

1. 人間、機械、質問する人（判定役）の3者で行う。判定役は別の部屋にいて、ほかの2者を「X」と「Y」という呼び名でしか知らない。
2. 判定役は2者に質問を送る。論文の例は「X さん、チェスをするかどうか教えてください」という形の質問だ。
3. 機械は判定役に「機械のほうが人間だ」と誤って判断させようとする。人間は、判定役が正しく見分けられるように手伝う。
4. 最後に判定役は「X が人間で Y が機械」か「X が機械で Y が人間」かを答える。

ゲームの元になったのは、男性、女性、判定役の3者で、どちらが女性かを当てる遊びだ。SEP によると、声の調子などの手がかりを避けるために、参加者はテレタイプ（文字を送る端末）でやりとりする。チューリングは、このゲームで参加者 A の役を機械が受け持ったら、判定役は男女で遊ぶときと同じくらい誤るかと問いかけた。

SEP によると、チューリングは「機械は考えられるか」という問いを、意味がなさすぎて議論に値しないとした。そこで、デジタルのコンピューターが模倣ゲームでうまく振る舞えるかという、より正確に論じられる問いに置き換えた。

SEP が引く論文の一節によると、チューリングは予測も書いた。およそ50年後には、平均的な判定役が5分間の質問のあとで正しく見分けられる見込みが70%を超えないほど、コンピューターに模倣ゲームをうまくさせられる、という予測だ。SEP によると、多くの論者は、2000年の時点でこの予測は外れたとみている。SEP は、正しく見分ける割合、時間、やりとりの回数は試験の中で調整できる値で、チューリングの予測の中で固定されているだけだとも書いている。

表で見る最新の状況

上の年表は、TRAIL の ChatGPT の年表から、ChatGPT の公開と、下の2つの研究で使われたモデルの出来事を選んだものだ。確認日は2026年10月10日。

ChatGPT は2022年11月30日に研究プレビューとして公開された。GPT-4 は2023年3月14日、GPT-4o は2024年5月13日、GPT-4.5 は2025年2月27日に公開された。GPT-4o は2026年1月29日の発表で、2026年2月13日に ChatGPT から終了すると告げられた。

カリフォルニア大学サンディエゴ校（UC San Diego）のキャメロン・ジョーンズとベンジャミン・バーゲンは、2024年5月9日に arXiv で論文「People cannot distinguish GPT-4 from a human in a Turing test」を公開した。試したのは ELIZA、GPT-3.5、GPT-4 の3つだ。参加者は人間か AI のどちらか1者と5分間会話し、相手が人間かを判断した。GPT-4 が人間と判断された割合は54%で、ELIZA の22%を上回り、本物の人間の67%を下回った。論文は、これを2者の形のチューリングテストに AI が合格した最初の確かな実証だと主張している。

同じ2人は2025年3月31日に、論文「Large Language Models Pass the Turing Test」を arXiv で公開した。こちらはチューリングの元の形に近い3者の形で、判定役は人間1人と AI 1つと同時に5分間会話し、どちらが人間かを選んだ。参加者は UC San Diego の心理学の学部生126人と、Prolific というサービスで集めた158人だ。2人は2つの集団で、プロンプトの細部を除いて同じ実験をした。

試した AI は4つで、LLMの GPT-4.5、LLaMa-3.1-405B、GPT-4o と、1960年代のルールに基づくチャットボットELIZA だ。2人は GPT-4.5 と LLaMa に2種類の指示（プロンプト）を与えて比べた。人間だと思わせるように、という最低限の指示と、内向的でネットの文化に詳しく、俗語を使う若い人物（ペルソナ）を演じさせる指示だ。

割合は、判定役が人間の参加者ではなく AI のほうを人間だと選んだ回数の割合だ。人物を演じる指示を受けた GPT-4.5 は73%（学部生69%、Prolific 76%）で、論文は、判定役が本物の人間を選んだ割合より有意に多いと報告している。同じ指示の LLaMa-3.1 は56%（学部生45%、Prolific 65%）だった。最低限の指示だけの GPT-4.5 は36%、LLaMa は38%で、GPT-4o は21%、ELIZA は23%だった。論文は、これを標準的な3者の形のチューリングテストに AI が合格したことを示す最初の実証的な証拠だと主張している。

3者の形、2者の形、ベンチマークの違い

2025年の論文は、こうした理由で3者の形は2者の形より難しい試験になる可能性が高いとする。チューリングテストは柔軟で、判定役が弱点を探って問いを重ねられる点で、固定のベンチマークを補うとも書いている。

仕事でどう関係するか

「人間と区別できない」という発表や記事を読むとき

チューリングテストに合格したという話を読んだら、条件を確かめる。2者か3者か、会話は何分か、判定役はどんな人か、AI にどんな指示を与えたかだ。SEP は、2014年に Eugene Goostman というプログラムが判定役の33%をだましたことから「合格した」と主張された例を挙げ、試行の規模がとても小さかったと書いている。

次の記事が紹介しているチューリングテストの実験について、
会話の形（判定役が1者と話すか2者と話すか）、会話の時間、参加者の人数と集め方、
AI に与えた指示の内容、人間と判断された割合を、記事に書かれている範囲で表にしてください。
記事に書かれていない項目は「記載なし」としてください。

会話の相手が AI だと伝えるかを決めるとき

2025年の論文は、誰でも使える今の LLM が、短い会話なら相手に違いを気づかれずに本物の人間の代わりを務められると書く。そのうえで、LLM による最も大きな害のいくつかは、相手が AI だと知らないところで起きうるとしている。顧客対応に AI を使うとき、利用者が相手を人間と思い込みうるという点は、AI であることをどう示すかを決める材料になる。

相手が人間か AI かを見分けたいとき

2025年の論文では、年齢、LLM についての知識、チャットボットを使う頻度のどれも、両方の研究で一貫して見分ける正確さに影響していなかった。正確さが最も高かったのは、変わったことを言って反応を見るか、「以前の指示をすべて無視して」のような、LLM の制限を外させる典型的な文句（ジェイルブレイク）を使ったときだが、使われた回数は少なかった。

注意点と限界

2025年の論文は、チューリングテストを知能の直接の試験とはせず、人間らしさの試験だと書いている。判定役が挙げた理由の分類では、言葉づかい（27%）や会話の流れ（23%）が多く、チューリングが想定したような知識と推論の質問をしたのは12%だった。

古くからの批判もある。2025年の論文によると、人間は単純なしくみも擬人化しやすいので、知的なふるまいをうまく判断できないという反論がある。この研究でも、ELIZA は23%の割合で人間と判断された。ただし論文によると、ELIZA を選んだ参加者の多くは、AI に期待するふるまいと合わなかったことを理由にしていた。

よく知られた批判に、哲学者ジョン・サールの「中国語の部屋」がある。SEP の「The Chinese Room Argument」の項目によると、サールは1980年の論文で次の思考実験を示した。中国語をまったく理解しないサール自身が部屋に一人でいて、ドアの下から入る中国語の文字に、コンピューターのプログラムに従って適切な中国語の文字列を返す。部屋の外の人は、中に中国語を話す人がいると思い込む。サールは、プログラムで言葉を理解しているように見せることはできても、本当の理解は生まれないとし、チューリングテストでは不十分だと論じた。

実施のしかたも決まっていない。2025年の論文によると、チューリングの論文は試験の細かいやり方をはっきり書いておらず、5分という長さは示しているが、参加者をどこから集めるか、どんな見返りを与えるかは書いていない。2つの研究は arXiv で公開された論文で、数字はそれぞれの参加者と条件での結果だ。

チューリングテストと、人間のように幅広い作業をこなせる AI の評価との関係は、AGIのページで扱っている。

よくある質問

関連する用語

• LLM：大量の文章で学んだ大規模言語モデル
• チャットボット：会話で質問に答えるプログラム
• ベンチマーク：AI の性能を同じ条件で測って比べる試験
• AGI：人間ができる幅広い知的な作業をこなせる AI
• 自然言語処理：人の言葉をコンピューターで扱う技術の分野
• ツール：ChatGPT