- 言語モデルが「考える」「行動する」「観察する」を交互に進める手法を調べた。
- 論文の質問応答と対話的な課題では、行動だけに頼る方法より有効な場面があった。
- 結果は限定されたモデルと環境での評価であり、実際のWebや社内システムで安全に動く証明ではない。
何を確かめた研究か
ReActの原論文は、言語モデルの推論と外部環境での行動を別々に扱うだけでよいのかを問う。推論だけでは、もっともらしいが誤った情報を作ることがある。一方で、検索などの行動だけを指示しても、得た情報をどう使うか、次に何をすべきかを追いにくい。著者らは、途中の考えを文章で示し、その考えに基づく行動と観察結果を交互に並べるReActを提案した。
たとえば質問に答えるなら、必要な情報を考え、Wikipediaを検索し、得た記述を読んで検索語を変える。環境内の作業なら、今の状態を見て次の操作を選ぶ。論文の主眼は、モデルが万能な計画を最初に作ることではなく、途中で情報を受け取りながら進め方を修正できるかにある。
どう検証したか
論文第3版は、質問応答のHotpotQA、事実確認のFEVER、対話的な作業のALFWorldとWebShopを使う。質問応答では、Wikipediaへの限定された操作を許し、回答が正しいかを測る。著者らは推論だけのChain-of-Thought、行動だけのAct、両方を交互に使うReActを比較した。HotpotQAでは6件、FEVERでは3件の実例をプロンプトに置く設定も説明している。
この比較は単純な「道具の有無」の実験ではない。推論の書き方、例の数、使える操作、打ち切りの手順が結果に関わる。論文はReActが決めた手数以内に答えられない場合に別の推論法へ切り替える組み合わせも試しており、単独のReActと混同しないで読む必要がある。
何が分かったか
表1のPaLM-540Bを使ったFEVER評価では、ReActの正答率は60.9%、推論だけの比較法は56.3%だった。一方、HotpotQAではReActの完全一致率27.4%が推論だけの29.4%を下回る。つまり、すべての課題で推論と行動を組み合わせれば必ず勝つという結果ではない。表2の少数事例の分析では、推論だけの方法に誤った事実を作る失敗が多く、ReActには検索結果が有益でない場合や同じ操作を繰り返す失敗があった。
ALFWorldとWebShopについて論文は、比較した模倣学習・強化学習の方法より成功率がそれぞれ34、10ポイント高かったと報告する。これは論文の特定環境と比較相手に関する差である。現代の汎用エージェントや実サイトに同じ差が出るという意味ではない。
限界は何か
著者らは、広い操作空間の複雑な課題には多くの実例が必要で、プロンプトの長さが制約になると書く。また主な実験に用いたPaLMは、論文時点で一般に公開されたモデルではなかった。論文の付録には再現を助けるプロンプトと別モデルの実験があるが、すべての条件での独立再現を意味しない。
安全面も重要だ。論文の行動はWikipediaや研究用のWebShopなど、私的情報や危険な操作を避けた環境に制限された。実際の会社の権限を持たせ、メールを送る、購入する、ファイルを変更する場合の安全性は、この実験からは判断できない。
仕事との接点
社内で試すなら、まず読取り専用の情報収集など、失敗しても戻せる作業を選ぶ。最終回答だけでなく、何を検索し、何を観察し、どこで判断を変えたかを残す。事実確認と操作の安全性は別々に評価する。これはReActの設計を手掛かりにしたTRAIL編集部の提案であり、論文が企業導入の成果を測ったわけではない。