AIエージェントは実務を完遂できるか 専門家の仕事で測る研究
研究チームは、専門家の仕事をもとにAIエージェントの完遂力を測る「Agents' Last Exam」を開発した。難しい課題の完全達成率は、論文第3版の主な評価設定で平均1%未満。数字の意味と限界を原文から読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Agents' Last Exam
TRAIL / Research
Research.
世界のAI論文を、
仕事の言葉で読み解く。
新しい論文も、今読み直すべき過去の論文も。研究が何を確かめ、どこまで分かったのかを原文に沿って記録します。
The archive
研究を読む
論文の初公開日が新しい順に並べています。TRAILの記事公開日も併記し、参照した版とその日付は各記事で確認できます。
テーマ
50 ARTICLES
該当する記事はありません。検索語や条件を変えてください。
DeepSeek-V3技術報告を読む 疎なモデルの学習と配備
総パラメータと各トークンで使う量を分けるMoEモデルを、大規模にどう学習したか。DeepSeek-V3の設計、評価、GPU時間、配備条件と費用の読み方を原論文から確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 DeepSeek-V3 Technical Report
Mamba原論文を読む 長い系列を選択的に記憶する
注意機構に頼らず、入力に応じて情報を残す状態空間モデルで長い系列を扱えるか。Mamba論文の設計と、言語・音声・ゲノム配列での実験を読む。測定した速度と未確認の用途も区別する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Mamba: Linear-Time Sequence Modeling with Selective State Spaces
GAIAを原論文から読む 日常の問いを解けるAIアシスタントか
専門試験の難問とは別に、人なら調べて答えられる問いをAIは解けるか。GAIAはWeb閲覧、ファイル、推論などを要する466問を作った。高い人の正答率と当時のAIの差、その数字を読む際の注意を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 GAIA: a benchmark for General AI Assistants
Self-RAGの原論文を読む 検索するかもモデルが決める
Self-RAGは、必要に応じて資料を検索し、得た文章と自分の回答を評価する特別なトークンを学ぶ。固定件数を毎回参照するRAGとの違い、質問応答や長文生成での結果、引用の限界を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Self-rag: Learning to Retrieve, Generate, and Critique through Self-Reflection
SWE-benchの原論文を読む 開発AIは課題を解決できるか
コードを一行書けることと、既存のソフトウェアの問題を解決できることは違う。SWE-benchは公開GitHubの課題と修正履歴を使い、AIがリポジトリを編集してテストを通せるかを測る。評価方法とその限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
AutoGenの原論文を読む 複数のAIを会話で協調させる設計
複数のエージェントと人、道具を会話で結ぶと、何が作りやすくなるのか。AutoGenの原論文は対話可能な部品と会話の制御方法を示し、数学やコード作成などの例で検証した。設計上の利点と評価の範囲を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation
AgentBenchを原論文から読む 対話しながら動くAIをどう測るか
一問一答の正解率だけでは、環境と何度もやり取りするAIの力は分からない。AgentBenchは8種類の環境に共通の評価枠組みを作り、論文第3版で29モデルを調べた。課題ごとの違いと評価の読み方を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 AgentBench: Evaluating LLMs as Agents
WebArenaを原論文から読む Web操作エージェントを完了で測る
AIがWeb画面で長い作業を終えられるか。WebArenaは動く模擬サイトと812の課題を用意し、最終状態で成否を判定する。論文の評価では、最良のGPT-4系設定も人の成功率から離れていた。その条件と限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 WebArena: A Realistic Web Environment for Building Autonomous Agents
Llama 2原論文を読む 基盤モデルと対話モデルの差
Llama 2の論文は、事前学習した基盤モデルと対話向けに調整したモデルを分けて報告した。学習データ、指示調整、人の評価、安全性評価を読み、どの結果がどのモデルに当てはまるかを確かめる。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Llama 2: Open Foundation and Fine-Tuned Chat Models
長い文脈の真ん中をAIは読めるか Lost in the Middleを読む
長い入力を受け取れることと、必要な情報をどの位置からも使えることは違う。論文は正解を含む文章の置き場所だけを変え、質問応答とキー・値の検索で性能を測った。RAGで資料を並べる際の注意点を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Lost in the Middle: How Language Models Use Long Contexts
MT-Benchを原論文から読む AIにAIの回答を評価させられるか
自由な対話の品質を大量に比べるため、AIを判定者に使えるか。MT-BenchとChatbot Arenaの論文は人の選好との一致を調べ、位置や長さによる偏りも示した。AI判定を使う際の条件と限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
DPOの原論文を読む 選好から直接モデルを調整する
DPOは、人が選んだ良い応答と悪い応答の組から、別の報酬モデルと強化学習のループを省いて言語モデルを調整する。原論文の要約・対話・感情制御の評価と、選好データの限界を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Direct Preference Optimization: Your Language Model is Secretly a Reward Model
ImageBindの原論文を読む 六つの情報を共通空間へ
ImageBindは画像を基準に、文章、音声、深度、熱画像、動きの情報を共通の埋め込み空間へ結びつけた。直接の組データがなくても生じる対応と、専門モデルに及ばない限界を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 ImageBind: One Embedding Space To Bind Them All
LLaVAの原論文を読む 画像付き指示に応答する
LLaVAは視覚エンコーダと言語モデルを接続し、画像を含む指示応答データで調整した。生成した学習データと評価の作り方を読み、会話例の説得力と実画像での正確さを分けて考える。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Visual Instruction Tuning
Segment Anythingの原論文を読む 指示で領域を切り出す
SAMは点や枠などの指示から画像の領域を切り出すモデルと、大規模なマスクデータを同時に作った。未知の画像分布への転移をどう評価したか、曖昧な指示やデータの偏りも含めて確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Segment Anything
LLaMA原論文を読む モデル規模と学習量をどう選んだか
LLaMAの原論文は、公開されているデータだけを用い、70億から650億パラメータのモデルを学習した。モデルを大きくするだけでなく学習トークンを増やす設計を選び、当時の公開課題で比較した。成果と限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 LLaMA: Open and Efficient Foundation Language Models
Toolformerを原論文から読む AIは道具を使うタイミングを学べるか
計算や検索が必要な場面で、言語モデルがAPIをいつ呼ぶかを学習する。Toolformerは少数の実例から呼び出し候補を作り、予測に役立つものを残して訓練した。成果と、連続した道具操作に残る限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Toolformer: Language Models Can Teach Themselves to Use Tools
Constitutional AIの原論文を読む 原則を使って応答を直す
Constitutional AIは、人が示した原則に沿ってモデルが自分の応答を批評・改稿し、AIが生成した好みの比較でさらに調整する。害の少なさと過度な回避をどう測ったかを、監督の範囲とともに読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Constitutional AI: Harmlessness from AI Feedback
Whisperの原論文を読む 大量の音声で認識の頑健さを測る
Whisperの研究は、インターネット上の音声と文字の組を大量に使い、追加学習なしで別の音声データに対応できるかを調べた。幅広い条件での評価とともに、長時間音声の誤りや言語による差も原論文から確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Robust Speech Recognition via Large-Scale Weak Supervision
HELMを原論文から読む AIモデルを一つの点数で選ばない理由
AIモデルを正答率だけで比較すると、頑健性や公平性、毒性などの差が隠れる。HELMは複数の用途と指標を同じ条件で測る枠組みを提案し、30モデルを評価した。結果の読み方と測れていない領域を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Holistic Evaluation of Language Models
ReActを原論文から読む 考えることと道具を使うことを交互につなぐ
AIエージェントが推論を書き、外部の情報を調べ、結果を見て次の行動を決める。ReActはこの往復を提案した研究だ。質問応答と対話的な環境で何を確かめ、どんな失敗が残ったかを読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 ReAct: Synergizing Reasoning and Acting in Language Models
AudioLMの原論文を読む 音をトークン列として続ける
AudioLMは音声を離散的な記号列に変え、短い入力の続きを生成する。話の流れと音質を両立する二種類の表現、音声とピアノ音楽での評価、意味と安全性を別に見る必要性を解説する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 AudioLM: a Language Modeling Approach to Audio Generation
FlashAttention原論文を読む 注意計算のメモリ移動を減らす
Transformerの長い文章処理では、計算式だけでなくGPU内のメモリ移動が速度を左右する。FlashAttention論文は、厳密な注意計算を保ちながら読み書きを減らす方法を提案した。実測の速度と条件を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
Flamingoの原論文を読む 画像と言葉の少数例学習
Flamingoは画像・動画と言葉を交互に含む入力から、少数の例を見て視覚質問などへ答えるモデル。複数ベンチマークの結果とともに、画像にない内容を答える失敗や分類性能の限界を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Flamingo: a Visual Language Model for Few-Shot Learning
Chinchillaの原論文を読む モデルと学習データの配分
計算予算が同じなら、モデルを大きくするか、より多くの文章を学習させるか。Chinchilla論文は両者の配分を再検討し、Gopherと同程度の学習計算量で比較した。結果と推定の限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Training Compute-Optimal Large Language Models
Self-Consistencyの原論文を読む 複数の答えを集める
Self-Consistencyは、Chain of Thoughtの手順を一つに固定せず複数生成し、最も多く出た最終答えを選ぶ。初版v1の算数・常識推論の改善と、計算費用や多数決が誤る場面を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Self-Consistency Improves Chain of Thought Reasoning in Language Models
InstructGPTの原論文を読む 人の評価で応答はどう変わったか
モデルを大きくするだけで、利用者の指示に沿うとは限らない。InstructGPTの研究は、人が書いた回答例と複数の回答への順位付けを使ってモデルを調整した。比較実験が示す改善と、評価者の好みに依存する限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Training language models to follow instructions with human feedback
Chain of Thoughtの原論文を読む 途中の手順を例示する
Chain of Thought promptingは、答えに至る短い手順を例として入力し、大規模言語モデルの算数・記号・常識推論を調べた。初版v1の実験と後の改訂版の結果を分け、説明文の正しさも考える。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Chain of Thought Prompting Elicits Reasoning in Large Language Models
Latent Diffusionの原論文を読む 画像生成を潜在空間へ
高解像度画像を画素のまま拡散させる計算負荷に対し、Latent Diffusionは圧縮した潜在表現で生成する。画質と計算量、文章などによる条件付けを検証した原論文の範囲を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 High-Resolution Image Synthesis with Latent Diffusion Models
Contrieverの原論文を読む 正解付きデータなしで文書を探す
Contrieverは文書から作る対照学習の組を使い、質問と正解文書の人手ラベルなしで密な検索モデルを学んだ。BEIRでBM25と比べた結果を、Recall@100と上位順位の違いも含めて確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Towards Unsupervised Dense Information Retrieval with Contrastive Learning
RETROの原論文を読む 大量の外部文書を引いて書く
RETROは生成中の文脈に近い文書片を外部データベースから探し、次の語の予測へ組み込んだ。2兆トークンの検索先とモデル規模の比較を、更新・出典・検索漏れという運用上の論点とともに読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Improving language models by retrieving from trillions of tokens
TruthfulQAを原論文から読む もっともらしい誤答をどう測るか
質問に流布する誤解が含まれるとき、AIは誤りを繰り返すのか。TruthfulQAは817問、38分類で回答の真実性を測った。論文の対象モデルでは人との大きな差が見られたが、現在のAI全体の順位ではない。
- 論文初公開（arXiv）
- TRAIL公開
原論文 TruthfulQA: Measuring How Models Mimic Human Falsehoods
HumanEvalとCodexの原論文を読む コードは動いて初めて正しい
生成コードが模範解答と同じ文字列かではなく、テストを通るかを測る。Codexの論文は手書きのPython課題164問からなるHumanEvalを提示した。単発生成と多数の候補を試す結果の違い、評価の限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Evaluating Large Language Models Trained on Code
LoRAは大規模モデルの調整をどう軽くしたか 2021年の原論文を読む
事前学習済みの重みを固定し、小さな行列だけを学習するLoRA。大規模モデルを課題別に調整する際、何の費用を減らせて、何は依然として必要なのか。原論文の比較条件と限界を含めて整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 LoRA: Low-Rank Adaptation of Large Language Models
CLIPは画像と文章をどう結びつけたか 2021年の原論文を読む
大量の画像と説明文の組から学習したCLIPは、学習時にない分類課題にも文章で候補を与えて取り組む。ゼロショット分類とは何を意味するのか。比較対象、候補文の影響、実験で示された弱点を確かめる。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Learning Transferable Visual Models From Natural Language Supervision
Switch Transformerを読む 専門家を一つ選ぶ疎なモデル
多数の専門家層から入力ごとに一つを選び、計算量を抑えながらモデルを大きくできるか。Switch Transformer論文の設計、事前学習の速度、運用上の制約を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
Vision Transformerの原論文を読む 画像をパッチで扱う
画像を小さなパッチの列へ変換し、Transformerで分類するViT。大規模な事前学習と小さなデータへの転移で示した成果を、畳み込みモデルとの比較条件や必要なデータ量も含めて読み解く。
- 論文初公開（arXiv）
- TRAIL公開
原論文 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
wav2vec 2.0の原論文を読む 少ない文字付き音声で認識
wav2vec 2.0は大量の文字なし音声から表現を学び、少量の文字付き音声で音声認識へ調整した。評価で使う未ラベル音声の量と、言語・録音条件が変わる場合の限界を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations
DDPMの原論文を読む ノイズを戻して画像を作る
DDPMは、画像に段階的にノイズを足す過程を逆向きに学び、画像を生成する。原論文の画質評価と生成の仕組みを確認し、時間のかかる逐次生成や評価指標の限界も整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Denoising Diffusion Probabilistic Models
GPT-3の少数例学習は何を示したか 2020年の原論文を読む
少数の例を入力文に示すだけで新しい課題に取り組めるか。GPT-3論文は、規模を変えたモデルで課題別の追加学習なしの性能を比較した。実験条件、成果、苦手な課題と評価上の注意点を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Language Models are Few-Shot Learners
RAGの原論文を読む 検索と文章生成をどう結びつけたか
RAGは、外部の文章を検索し、その内容を使って答えを作る研究だ。2020年公開の原論文はWikipediaを検索対象に、公開質問応答課題などで評価した。社内文書の回答システムに応用する前に、何を確かめた研究かを整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
ColBERTの原論文を読む 検索精度と応答速度をどう両立したか
文章と質問をまとめてBERTに通す検索は高価になりやすい。ColBERTは両者を別々に処理し、単語ごとの対応を最後に計算する。MS MARCOとTREC CARで何を測り、索引の容量と速さをどう交換したのかを読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT
DPRの原論文を読む 質問に合う文章をどう探すか
単語の一致に頼る検索では、言い換えた質問から答えを含む文章を探しにくい。DPRは質問と文章を別々のベクトルに変換し、公開質問応答データで検索精度を比較した。BM25との差と、社内検索へ移す際の条件を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Dense Passage Retrieval for Open-Domain Question Answering
言語モデルのScaling Lawsを読む 大きさと学習量の関係
言語モデルの損失は、モデルの大きさ、データ量、学習計算量とどう関係するか。2020年の原論文は多数の学習実験から経験的な法則を調べた。計算予算の配分という結論と、その測定範囲を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Scaling Laws for Neural Language Models
T5の原論文を読む 文章処理を入出力の文章にそろえる
翻訳、分類、要約、質問応答を同じ入出力形式にまとめたT5。原論文は事前学習の目的、モデル構造、データと学習方法を系統的に比較した。統一形式で何が見え、どこまで評価されたかを整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
BERTは「両側の文脈」をどう学んだか 2018年の原論文を読む
BERTは、文中の一部を隠して予測する事前学習と、課題ごとの追加学習を組み合わせた。左右の文脈を使う設計は、当時の英語の言語理解課題で何を改善したのか。実験条件と限界を原論文から読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Transformerは何を変えたか 2017年の原論文を読む
2017年の論文「Attention Is All You Need」は、翻訳モデルの逐次処理を減らす構造としてTransformerを提案した。注意機構の役割、当時の翻訳実験で確かめたこと、原論文だけでは言えないことを整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Attention Is All You Need
MoE原論文を読む 必要な部分だけを動かして容量を増やす
大きなモデルほど毎回の計算も増えるとは限らない。2017年の疎ゲートMoE論文は、入力ごとに使う専門ネットワークを選び、計算量を抑えながら容量を増やす方法を検証した。成果の測定条件と運用上の難しさを読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
ResNetの原論文を読む 深くしても学べる画像認識へ
層を増やせば必ず良くなるわけではない。ResNetは、深いネットワークほど訓練誤差が増える問題を、入力を足し戻す残差ブロックで調べた。ImageNetとCIFAR-10の比較から、改善の範囲と実務での読み方を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Deep Residual Learning for Image Recognition