- Finchは、表計算を中心に複数の資料を扱う経理・財務の172業務フローを評価する。
- 人手判定では、ChatGPT 5.1 Proの製品側エージェントが66件、38.4%を完了した。
- 複数手順をまとめて終える率と、個別の表計算問題を解く率は区別が必要だ。
何を確かめた研究か
Finchの原論文は、AIが表計算の一問に答えるだけでなく、実際の経理・財務の一連の仕事を最後まで進められるかを問う。元資料には、企業のメール、表計算の版履歴、財務報告書などを使う。著者らは人の専門家による確認を重ね、入力ファイル、作業指示、参照する完成品を揃えた。論文の初公開は2025年12月15日、参照版の第5版は2026年4月15日である。
どう検証したか
172のフローは計384の作業からなり、1,710の表計算ファイルとPDFなどの資料を含む。元になったEnronの資料はさらに大きいが、それを丸ごと172件の評価に使った数字ではない。入力や参照ファイルを合わせた約2,700万セルを扱う。データ入力、形式変更、検索、計算、分析、検証、報告といった作業が組み合わさる。
各フローの成否は、人が指示、入力、参照品、AIの出力を見比べて判定する。指示を満たす内容と構造になり、重大な抜けや意図しない変更がなければ成功とする。著者らは自動判定も試したが、人手判定と区別した。製品側エージェントと、APIを使う一回のモデル呼び出しも別条件として扱う。
自動判定では、入力から参照品への変更と、入力からAIの出力への変更を比べる。表の値や式だけでなく、画像化したシートも見せて表示上の違いを調べる。業務には複数の正しい完成形があり得るため、完全一致だけで採点しない設計である。
何が分かったか
第5版の表5では、ChatGPT 5.1 Proの製品側エージェントは人手判定で66/172件、38.4%を完了した。自動判定は72/172件、41.9%で、人手との一致率は82.1%だった。自動採点の値をそのまま実際の完了率と読めない。表2では同エージェントの1作業フロー当たり平均時間は約16.8分である。
手順数が増えると厳しい。表2の同エージェントは1作業だけのフローで48.6%、4作業以上では5.6%だった。別の集計では2作業以下44.3%、3作業以上23.5%である。これらはフローの難しさも異なる観察結果で、手順数だけが原因と断定できない。
表計算にPDF、Word文書、画像などを組み合わせた20フローでは、同エージェントの人手判定の成功は7件だった。対象の種類が増えたときの確認も必要だが、20件だけの結果から、すべての複合資料業務の成功率は推定できない。
限界は何か
実資料に由来していても、評価用のフローは専門家が選び、指示や完成品を整えた。すべての企業や時代の経理業務を代表する無作為標本ではない。人による合否にも判断の余地があり、自動判定は微細な式・表示の違いを見落とす場合がある。論文は人の判定が誤る事例も挙げる。
製品側エージェントとAPIの一回呼び出しは使える道具と反復回数が違う。同じモデル名の点数を、純粋なモデル能力の比較として並べられない。ファイル形式の扱い、長い入力の切り詰め、Web検索の条件でも結果は変わる。
仕事との接点
表計算AIを試すなら、実際にまたがるファイル数、式、表示、元資料の照合まで含む完了条件を作る。1問の正答だけでなく、途中で変えなかったセル、後続作業で使える出力、人の再確認時間を記録する。これはTRAIL編集部の提案である。