- 実務者が出した事務ファイル作成の依頼から100課題を作り、AIエージェントと人の成果物を比べた論文だ。
- 論文は、評価した全てのLLMは人より安く速い一方、成果物の質では人に届いていないと述べる。
- 主な評価の仕組みに画面操作の能力は含まれず、結果は職場での導入効果を示すものではない。
何を確かめた研究か
AIエージェントとは、指示を受けて道具を使いながら作業を進めるAIだ。事務作業では、文書や表計算、スライドなどの資料を作る力が問われる。OmegaUse-OfficeValの論文は、長い手順になる事務課題で、AIの仕上がりを測る。特徴は、各課題に人の作業時間と価格の目安を付けた点だ。
論文によると、課題は「実務者が出したオフィスソフトの依頼」から作られ、平均で人の作業が2.32時間かかる。問いは、安さと速さを含めてAIの働きをどう見るかにある。
どう検証したか
課題は、実務者が提案したオフィスソフトの依頼から作られた。
採点では、人やAIによる判定を避け、コードによる検査を使う。論文は、細かい採点基準から検査コードを作ったと述べる。検査コードは、最終的に提出された成果物が採点基準を満たすかを自動で確かめる。
人の側は、20人の作業者が課題を行った。各課題について、最も点が高かった人の提出物を人の成果物として使っている。
何が分かったか
論文は、評価した全てのLLMが人より安く速い一方、人と同水準の成果物の質には届いていないと述べる。
論文は、通常の得点に加えて、課題の人の作業時間で重み付けした得点と、価格の目安で重み付けした得点も出す。課題ごとの作業時間や価格の目安を重みにする見方を、論文は用意している。この二つの得点の具体的な値は、本記事では扱わない。
人の成果物には、各課題で最も点が高かった提出物を使っている。
限界は何か
論文の付録は、画面操作の能力（GUI-level computer-use capabilities）が現在の評価に含まれないと記す。ただし本文5.4には、画面操作だけを使う版を試した節もあり、その範囲は特定の1モデルの変種に限られる。LLMの所要時間も、厳密な見積もりではなく参考値だという。比較の結果は、この論文の枠組みと評価したモデルに限る。人の成果物は課題ごとの最高点である。
仕事との接点
自社の事務作業で試すなら、平均点とは別に、作業時間や金額が大きい仕事でどこまで通るかを分けて見たい。これは論文の指標を参考にした編集部の提案であり、論文の結果は導入後の削減効果の予測ではない。