- 言語モデルがAPIを呼ぶ場所と使い方を自ら学ぶ方法を調べた。
- 著者らは、選別したAPI呼び出しを使って訓練したモデルが、複数の下流課題で改善すると報告した。
- 連続した道具操作や検索のやり直し、API利用コストは、この方法だけでは扱えない。
何を確かめた研究か
Toolformerの原論文が扱うのは、言語モデルが計算や情報検索のために外部の道具をいつ使うかという問題だ。言語モデルは文章の続きを予測する一方、簡単な計算や変化する事実の確認を間違える。人が毎回「ここで電卓を呼ぶ」と教えなくても、道具の呼び出しを学習できるか。著者らはこの問いに対して、少数の呼び出し例から大量の訓練例を作る方法を提案した。
ToolformerはAPIの名前、入力、返ってきた結果を文章中に挿入する。モデルは文章生成の途中で、呼び出しの位置、引数、返答の利用を判断する。研究の目的は何でも自動で実行する万能エージェントではなく、言語モデルの予測に役立つ道具使用を学習することにある。
どう検証したか
論文第1版の手順は三段階だ。まず既存のモデルに候補となるAPI呼び出しを作らせる。次に候補を実行して結果を得る。最後に、その結果を文章へ入れると後続の語をより予測しやすくなるかを見て候補を選ぶ。選ばれた呼び出しを追加した文章でモデルを再訓練する。著者らはGPT-JとCCNet由来の文章を用い、電卓、質問応答、Wikipedia検索、翻訳、予定表などを対象にした。
評価では、道具を学習していないGPT-J、通常の文章で追加訓練したGPT-J、道具を無効にしたToolformerなどを比較する。下流課題は、各道具が役立ちそうなものを選んでいる。さらに、道具の使用が元の言語モデルとしての能力を大きく損ねないかも調べた。したがって「任意の業務を自律的に終えるか」ではなく、特定の課題でAPIの結果を使えるかを測った実験である。
何が分かったか
論文の下流評価では、Toolformerは通常のGPT-Jより、事実の検索や計算など複数の課題で改善した。道具の呼び出しを無効にした版との比較も、外部から得た情報に意味があるかを考える材料になる。著者らは、規模の大きい比較モデルに競る課題がある一方、課題によって差があると記す。単一の平均値であらゆる道具使用の優劣を決められるわけではない。
重要なのは学習データの選び方だ。候補のAPI呼び出しをすべて採用するのではなく、返答が文章予測を助けるものに絞る。表2には道具ごとに採用された例の数が大きく異なることが示される。使いやすい道具や文章の性質によって、学習に残る事例が偏る可能性もある。
限界は何か
著者らは、第1版の方法ではある道具の結果を次の道具の入力にする連鎖を学べないと明記した。道具ごとの呼び出し例を独立に作るためだ。検索結果を見て検索語を変えるような対話的な使い方も対象外である。入力の言い回しに呼び出し判断が敏感なこと、電卓などでは有益な訓練例が少ないことも挙げる。
さらに、この方法はAPI呼び出しの計算・金銭コストを判断に入れない。実運用の権限、失敗時の再試行、外部への情報送信の扱いも、論文の評価からは決まらない。
仕事との接点
社内で道具使用を試すなら、正しい道具を呼んだかだけでなく、引数が適切か、返答を誤読していないか、呼ばない方がよい場面を見分けるかを確認する。連続操作や費用の上限は別に設計する。これは論文の限界から導いたTRAIL編集部の提案であり、Toolformerの実験が業務の成功率を示すものではない。