- AIエージェントに模擬企業を1年間運営させ、長期の方針を保てるか調べた。
- 12モデルを各3回試し、平均の期末資金が100万ドルを超えたのは3モデルだった。
- 結果は規則を固定したシミュレーションであり、実際の経営成果を示さない。
何を確かめた研究か
短いタスクを解けるAIでも、数百回の判断を重ねる間に方針を忘れたり、過去の失敗を繰り返したりするかもしれない。YC-Benchの論文は、AIエージェントに模擬企業の仕事を選ばせ、従業員を割り当て、1年後の資金を増やせるかを調べた。
ゲームでは、仕事の受注で売上が生まれる一方、給与は毎月発生する。顧客との信頼を築くと後の仕事が有利になるが、実際の作業量を過少に示す顧客もいる。初期の選択が後の選択肢と費用に響くため、単発の正答よりも継続した判断を問う。 そのため、途中の判断が一見合理的でも、後の資金不足につながれば評価に反映される。
どう検証したか
エージェントは20万ドルから始め、仕事の受注、従業員の配置、時間の進行を操作する。従業員は雇用・解雇できず、仕事の分野ごとに得意不得意がある。仕事を期限までに終えられないと損失と評判低下が生じる。環境の状態は全て見えるわけではないが、状態変化の規則は固定されている。仕事の報酬だけを追うと、悪意ある顧客による作業量の増加や、成功のたびに上がる給与を見落とす。短期の売上と、後で増える固定費を同時に管理する必要がある。
12モデルを同じ標準設定でそれぞれ3つの乱数条件にかけ、計36回の実行を比較した。対照には、毎回報酬が最も高い仕事を受け、全員を割り当てる単純な方式を置いた。期末資金に加え、どの顧客を選んだか、作業記録を後の判断に使ったか、破綻に至った理由を実行記録から調べた。
何が分かったか
平均の期末資金が100万ドルを超えたのはClaude Opus 4.6、GLM-5、GPT-5.4の3モデル。Opusは平均127万ドル、GLM-5は121万ドルだった。一方、平均で初期資金の20万ドルを上回ったのは12モデル中5モデルにとどまる。論文の図1と本文の結果であり、ゲーム内の資金を実際の売上に換算できない。
強い実行では、特定の顧客との信頼を早く高め、仕事の作業量を減らす好循環が生まれた。著者の事例分析では、Opusが作業記録を頻繁に更新し、顧客の履歴を確認して選ぶ。一方、別のモデルは正しい方針を記録しても、直後に複数の仕事を無理に受けていた。方針を文章で書けることと、後の操作で守れることは違う。
限界は何か
これは実社会の企業運営ではない。従業員の雇用・解雇はなく、外部の偶発的な事件は限られる。作業量なども数字で与えられ、曖昧な自然文を読み取る負担は少ない。各モデルの反復は3回なので、順位や費用効率を一般化しすぎない。モデルは共通の環境を使ったが、試験はひとつのゲームの規則に合わせた行動であり、外部ツールの障害や人からの追加指示を含まない。作業記録の利用と成績の関係も観察であり、記録だけが成功を引き起こしたとは証明していない。
仕事との接点
長期の調査や運用をAIに任せる前に、途中で得た情報を残し、それを次の行動に反映できるかを試したい。予定を立てさせるだけでなく、状況が変わった時に優先順位を更新するかを確認する。これは論文の失敗分析から導く編集部の提案であり、このゲームの順位が実務の導入効果を予測するものではない。