正答したAIはデータを読んだのか 科学エージェントの評価を見直す
科学データの質問でAIが正解しても、与えられたデータから答えを導いたとは限らない。研究チームはデータの根拠を消す・反転する検査で、正答率と根拠への追随の差を示した。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Are We Measuring Scientific Intelligence? Rethinking the Evaluation of AI Scientists
TRAIL / Research
Research.
世界のAI論文を、
仕事の言葉で読み解く。
新しい論文も、今読み直すべき過去の論文も。研究が何を確かめ、どこまで分かったのかを原文に沿って記録します。
The archive
研究を読む
論文の初公開日が新しい順に並べています。TRAILの記事公開日も併記し、参照した版とその日付は各記事で確認できます。
テーマ
244 ARTICLES
該当する記事はありません。検索語や条件を変えてください。
2026年の論文24本
Traverse 論文の解説：長いAI作業の失敗が始まる位置を記録する
ソフト開発、PC操作、科学研究の長いエージェント作業を調べ、最初の誤りを人が記録した。最良の判定モデルでも開発・PC操作で正確な失敗位置を当てた率は約3割以下だった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Locating Hidden Failures Makes Long-Horizon Agents More Reliable
要約を引用したAIの答えは原文に戻れるか RAG圧縮の検証
検索文書を短くしてAIへ渡すとき、要約には沿っている引用が原文で裏づけられるとは限らない。二つの質問集合を使った研究は、引用先を原文まで追う評価の必要性を示した。
- 論文初公開（arXiv）
- TRAIL公開
原論文 The Attribution-Compression Frontier in Retrieval-Augmented Generation
SWE-Bench Pro Verified 論文の解説：漏えいを塞いだコード修正AIの評価
コード修正AIの評価で、履歴やネットワークから正解を見られる条件と、課題文やテストの不備を調べた。漏えい対策後、一つのモデルの成功率は78.80%から57.32%に下がった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
AIは安全性の改善策を探せるか 自動研究者の実験を読む
研究チームはAIエージェントに安全性の改善策を試作・評価させた。10種の測定可能な失敗で改善を報告したが、未知の失敗や実運用での安全性まで証明した研究ではない。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Automated Researchers Can Reliably Mitigate Alignment Failures
Test-Time Scaling 論文の解説：推論に計算を足す評価で「選び方」まで測る
推論時に回答候補を増やすだけでは、実際に選ばれる回答の正確さは分からない。論文は推論手順を三つの型に整理し、候補の発見と最終回答の評価を分けた。候補群に正解が含まれる率と、最終的な答えを決める手順の成績を分け、計算費用も手順全体で測るよう提案する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Test-Time Scaling in Reasoning LLMs: Inference Regimes, Evaluation, and Reproducibility
OmegaUse-OfficeVal 論文の解説：事務ファイル作成100課題を人の作業時間と価格の目安で測る
実務者の依頼から作った事務作業の100課題で、AIエージェントの仕上がりを人の作業時間と価格の目安とともに測った。論文は、評価した全てのLLMは人より安く速いが、成果物の質は人に届いていないと述べる。
- 論文初公開（arXiv）
- TRAIL公開
原論文 OmegaUse-OfficeVal: Benchmarking LLM Agents on Long-Horizon Office-Suite Tasks with Economic Grounding
IssueTrojanBench 論文の解説：開発課題に紛れた指示とコーディングAI
開発課題の文章に悪意ある指示を紛れ込ませ、コーディングAIが本来の依頼から逸れるかを調べた。4,176回の試行で代理的な攻撃成功判定は66.5%だったが、実害の発生率ではない。
- 論文初公開（arXiv）
- TRAIL公開
原論文 IssueTrojanBench: Benchmarking AI Coding Agents Against Malicious Issue Requests
SynthDocBench 論文の解説：長い図表付き文書をAIが読めるかを測る
平均51.1ページの合成レポート200件と1,788問を使い、画像として渡した文書を視覚言語モデルが読めるかを検証した。文書中ほどの情報は複数モデルで難しかった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding
AgentFairBench 論文の解説：AIの公平性評価で再実行の揺れを見誤らない
採用・融資・医療トリアージの模擬判断で、名前が示す属性による差を測る研究。単純な差の比較は、モデルを再実行しただけの揺れを過大評価した。六集団の点数の広がりを同じ六集団の雑音と比べると、単一モデルの試験では有意な属性差を確認できなかった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 AgentFairBench: Do LLM Agents Discriminate When They Act?
MyPCBench 論文の解説：個人のメールや予定を扱うAIのPC操作を測る
個人のメールや予定、支払いの記録が入ったPCで、AIが頼まれごとを最後までこなせるかを184課題で測った。6モデルのうち最良のClaude Opus 4.6でも、全項目を満たしたのは55.4%だった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 MyPCBench: A Benchmark for Personally Intelligent Computer-Use Agents
OSGuard 論文の解説：普通の依頼で起きるPC操作AIの安全違反を測る
PC操作AIが無害な依頼を達成しながら、残すべき履歴を消すなどの違反をするかを測った。45課題では37.8%が違反を伴う達成で、最も精度の高い見張り役を加えても33.3%だった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 OSGuard: A Benchmark for Safety in Computer-Use Agents
WorkBench Revisited 論文の解説：職場業務のAIエージェントを2年後に測り直す
2024年の職場業務ベンチマーク WorkBench を、2026年6月に24モデルで測り直した。論文は、2024年の最良 GPT-4 の完了率43%（改訂前の課題）に対し、2026年の最良モデルは97.7%と報告する。誤操作を含む課題も26%（GPT-4）から1.9%に下がった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 WorkBench Revisited: Workplace Agents Two Years On
Agents' Last Exam 論文の解説：専門家の仕事でAIエージェントの完遂力を測る
研究チームは、専門家の仕事をもとにAIエージェントの完遂力を測る「Agents' Last Exam」を開発した。難しい課題の完全達成率は、論文第3版の主な評価設定で平均1%未満。数字の意味と限界を原文から読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Agents' Last Exam
DeployBench 論文の解説：論文のコードを動かすまでAIに任せる51課題
論文に付属するコードを新しい計算機で動かす51課題をAIエージェントに任せた。最高のモデルでも成功率51.0%で、失敗には確認不足による自己終了が多かった。成功の判定には、エージェントの報告ではなく、隠れた検証器が論文指定の軽量実験を実行できるかを用いた。
- 論文初公開（arXiv）
- TRAIL公開
原論文 DeployBench: Benchmarking LLM Agents for Research Artifact Deployment
Overeager Coding Agents 論文の解説：頼んでいない変更とAIの権限境界
無害な開発依頼でも、AIが関連の薄いファイルを消すなど作業範囲を広げることがある。500場面の評価では、同じ基盤モデルでも実行する枠組みで範囲外操作の率が変わった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Overeager Coding Agents: Measuring Out-of-Scope Actions on Benign Tasks
Odysseys 論文の解説：複数サイトをまたぐ長いWeb作業でAIを測る
利用者の実際の閲覧履歴をもとに200の長いWeb作業を作り、途中の条件も採点した。100ステップ以内に全条件を満たす率の最高値は44.5%で、難しい課題ほど下がった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Odysseys: Benchmarking Web Agents on Realistic Long-Horizon Tasks
MAPL-EMIT 論文の解説：衛星の分光画像からメタンの漏出を探すAI
研究チームは衛星の分光画像からメタンの漏出候補を探すモデルを作った。既知の漏出群の79%を検出した一方、現実の偽陽性率は確定できない。評価条件を原文で確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Global monitoring of methane point sources using deep learning on hyperspectral radiance measurements from EMIT
YC-Bench 論文の解説：1年の経営シミュレーションでAIが方針を守れるかを測る
AIエージェントに模擬企業を1年運営させ、遅れて現れる判断の結果に対応できるかを測った。12モデルの比較では、序盤の顧客選びや記録を行動に反映する差が積み重なった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 YC-Bench: Benchmarking AI Agents for Long-Term Planning and Consistent Execution
IH-Challenge 論文の解説：指示の優先順位を学習させる訓練データ
OpenAIの研究は、異なる権限の指示が衝突する課題でモデルを訓練した。16種の評価で頑健性は平均84.1%から94.1%に上昇したが、別の応答品質指標には低下もあった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 IH-Challenge: A Training Dataset to Improve Instruction Hierarchy on Frontier LLMs
MultiHaystack 論文の解説：画像・動画・文書から根拠を探す評価
画像、動画、文書が混在する4万6,000件超の候補から、質問に必要な根拠を探す評価を作った。単一形式より混合検索のRecall@1が低く、推論以前の検索が壁になる。
- 論文初公開（arXiv）
- TRAIL公開
原論文 MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents
ProjDevBench 論文の解説：プロジェクト全体の開発でAIを測る20課題
単一のバグ修正を超えたプロジェクト開発を、オンライン判定とコードレビューで評価する20課題を作った。最高の総合得点は77.85だが、提出受理率27.38%とは母数が違う。
- 論文初公開（arXiv）
- TRAIL公開
原論文 ProjDevBench: Benchmarking AI Coding Agents on End-to-End Project Development
APEX-Agents 論文の解説：専門職の長い仕事480課題でAIを測る
投資銀行・経営コンサルティング・企業法務の専門家が作った480課題で、AIの業務遂行を評価した。最上位のPass@1は24.0%で、繰り返し試すと部分的な成功も見えた。
- 論文初公開（arXiv）
- TRAIL公開
原論文 APEX-Agents
ReliabilityBench 論文の解説：負荷条件でAIエージェントの安定性を測る
同じ課題の反復、言い換え、道具の障害を組み合わせてAIエージェントを評価した。中程度の言い換えでは成功率が96.88%から88.12%へ下がったが、合成環境での結果だ。
- 論文初公開（arXiv）
- TRAIL公開
原論文 ReliabilityBench: Evaluating LLM Agent Reliability Under Production-Like Stress Conditions
2025年の論文20本
Monitoring Monitorability 論文の解説：推論の記録で逸脱を見つける
AIの推論の記録を監視する能力を、介入・解法過程・結果の性質という3種類の評価で測る。記録を見せると行動だけの場合より検出が良くなる傾向があるが、監視器や評価課題に依存する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Monitoring Monitorability
Finch 論文の解説：表計算を含む経理・財務の業務フローでAIを測る
実際の企業資料や表計算の版履歴をもとにした172の経理・財務フローでAIを評価した。最も成績の高い製品側エージェントも人手判定で38.4%にとどまり、複数手順での失敗が目立つ。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Finch: Benchmarking Finance & Accounting across Spreadsheet-Centric Enterprise Workflows
SAM 3 論文の解説：言葉で指定した対象を画像と動画から探す
点や枠で対象を指定した従来のSAMから、短い名詞句に合う全対象を探す課題へ進めたSAM 3。独自のSA-Co評価で改善した一方、専門語や複雑な指示には限界がある。
- 論文初公開（arXiv）
- TRAIL公開
原論文 SAM 3: Segment Anything with Concepts
TabPFN-2.5 論文の解説：表データの予測を一回の推論で試す
最大5万行・2千特徴を想定して拡張した表データ基盤モデル。51データセットを含むTabArena-Liteでは分類の初期設定が強い一方、回帰は調整の効果が大きい。利用許諾も判断材料になる。
- 論文初公開（arXiv）
- TRAIL公開
原論文 TabPFN-2.5: Advancing the State of the Art in Tabular Foundation Models
Chronos-2 論文の解説：系列間の情報を使う時系列予測
時系列の過去値だけでなく、関連系列や外部変数を入力として扱う。100課題のfev-benchで予測誤差に基づく平均勝率90.7%を報告したが、外部変数の効き方は課題によって異なる。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Chronos-2: From Univariate to Universal Forecasting
MMSearch-Plus 論文の解説：画像の手掛かりをたどるWeb調査の評価
写真の小さな文字や配置から出来事を特定し、Web上の根拠をつないで答える311問の評価。検索を許しても高得点にならず、画像と出典の照合に課題が残る。実験の検索条件も確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 MMSearch-Plus: Benchmarking Provenance-Aware Search for Multimodal Browsing Agents
DINOv3 論文の解説：画像の細部を保つ自己教師あり学習
長く学習した画像モデルでは、全体の分類が改善しても画素単位の特徴が劣化し得る。DINOv3は部分同士の関係を保つ学習目標を加え、その両立を検証した。分類と領域分割の結果を分けて読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 DINOv3
Risk In Context 論文の解説：合成表データから元の行が漏れるリスク
少数の元データを例示して表の行を生成すると、生成結果から元データへの所属を推測され得る。35表を使った比較は品質と漏えいリスクを同時に測り、設定変更にも代償があることを示した。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Risk In Context: Benchmarking Privacy Leakage of Foundation Models in Synthetic Tabular Data Generation
AlphaEvolve 論文の解説：コードを試して改良する探索とその条件
言語モデルがコードの変更案を作り、自動評価の結果で候補を選び直すAlphaEvolve。行列計算とGoogleの計算基盤で成果を示したが、試せる評価器を用意できる課題に対象が限られる。
- 論文初公開（arXiv）
- TRAIL公開
原論文 AlphaEvolve: A coding agent for scientific and algorithmic discovery
V-JEPA 2 論文の解説：動画からロボットの動作計画へつなげる
大量の動画で予測表現を学び、少量のロボット記録で動作を条件にしたV-JEPA 2。別の研究室のロボットでも画像の目標に向けて動けたが、対象機体と試行数は限られる。原論文の条件を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning
The Illusion of Thinking 論文の解説：推論モデルの難易度別の崩れ方
盤面の複雑さを調整できるパズルで、推論モデルの正答と生成トークンを測った研究。2025年の論文第3版を基に、三つの難易度領域と、実務へ一般化できない理由を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity
Absolute Zero 論文の解説：問題も解答も自分で作る推論学習
人手で集めた追加の問題集を使わず、モデルがコードの問題を作って解き、実行器の結果を報酬にする。7Bモデルで数学とコードの平均点が改善したが、「データゼロ」は事前学習ゼロを意味しない。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Absolute Zero: Reinforced Self-play Reasoning with Zero Data
Mem0 論文の解説：長い会話を全部渡さずに覚える長期記憶
会話から重要な事実を抽出し、更新してから検索するMem0。10本の長い会話を使った試験では、全文投入より回答品質は低いが、回答時の遅延は短い。その比較条件を原論文で確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory
WASP 論文の解説：Webエージェントが攻撃文を読んだ後を測る
Webページに紛れた指示でAIの行動が逸れるかを、隔離したサイトで検証した。攻撃に従い始める率と、攻撃者の目的まで達する率は大きく違い、片方だけでは危険を読み違える。
- 論文初公開（arXiv）
- TRAIL公開
原論文 WASP: Benchmarking Web Agent Security Against Prompt Injection Attacks
BrowseComp 論文の解説：Web検索AIが難しい事実を探し当てる力を測る
断片的な手掛かりをたどる1,266問を使ったBrowseComp。Webを調べるAIの得点と確信度を、問題の作成、採点、評価対象の狭さまで原論文第1版の全文で確かめる。
- 論文初公開（arXiv）
- TRAIL公開
原論文 BrowseComp: A Simple Yet Challenging Benchmark for Browsing Agents
Search-R1 論文の解説：検索と推論を交互に進める強化学習
検索と推論を交互に進めるモデルを強化学習で育てたSearch-R1。7つの質問応答データでの比較から、検索語を自分で作る効果と、固定されたWikipediaだけで測った限界を読み解く。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning
SWE-Lancer 論文の解説：実際の開発依頼をAIが完了できたかを測る
実際の外注依頼を使い、コード変更と実装案の選択を測るSWE-Lancer。1,488件の課題で得られた2025年当時のモデル結果を、課題の作り方、合格条件、対象範囲とともに読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?
s1 論文の解説：推論時間を延ばすtest-time scalingと正答の変化
1,000件の推論例で学習した32Bモデルに、回答前の思考量を制御する手法を加えた。数学問題では改善したが、長く考えれば必ず良くなるわけではない。評価条件と頭打ちの理由を原論文で確かめる。
- 論文初公開（arXiv）
- TRAIL公開
原論文 s1: Simple test-time scaling
Humanity's Last Exam 論文の解説：専門家の2,500問と正答率の読み方
専門家が作った2,500問で先端モデルを測るHumanity's Last Exam。2025年に初公開された論文の第11版を読み、採点方法と当時の結果、実務への読み替えで注意すべき点を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Humanity's Last Exam
DeepSeek-R1の原論文を読む 推論は強化学習でどう伸びたか
DeepSeek-R1の論文は、正答を報酬にした追加学習で推論能力を高めた過程を報告する。R1-Zeroと最終版R1の訓練を分け、数学試験での改善と、道具利用・言語混在などの限界を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
2024年の論文20本
DeepSeek-V3 論文（技術報告）の解説：疎なMoEモデルの学習と配備
総パラメータと各トークンで使う量を分けるMoEモデルを、大規模にどう学習したか。DeepSeek-V3の設計、評価、GPU時間、配備条件と費用の読み方を原論文から確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 DeepSeek-V3 Technical Report
Coconut 論文の解説：言葉にせず連続空間で推論する実験
Coconutは途中の推論を単語として出さず、モデル内部の状態を次の入力へ戻す。論理探索では連鎖思考を上回ったが、算数では逆の結果も出た。評価課題と学習方法から、潜在推論の成果と未解決点を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Training Large Language Models to Reason in a Continuous Latent Space
SimpleQA 論文の解説：答えられないときに回答を控えるかまで測る事実性評価
SimpleQAは短い事実質問4,326問で、正答、誤答、回答を控える行動を分けて測る。難問の作り方と人手による答えの照合を確認し、得点を長文回答の信頼性へそのまま広げられない理由を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Measuring short-form factuality in large language models
Molmo・PixMo 論文の解説：画像を指し示す視覚言語モデル
Molmoは画像を説明・質問応答し、根拠の位置を点で示す。PixMoの人手注釈と合成データで学習した経緯、11課題平均と人手比較、公開範囲の注意点を読む。画像理解の用途ごとに、この評価条件が合うかも見極める。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Molmo and PixMo: Open Weights and Open Data for State-of-the-Art Multimodal Models
SAM 2 論文の解説：動画の途中でも対象を指定できる分割と限界
SAM 2は画像と動画を同じ仕組みで分割し、途中のフレームから修正を加えられる。対話的な動画評価と画像評価を分けて読み、少ない操作で得られる精度の条件と追跡が崩れる場面を確かめる。
- 論文初公開（arXiv）
- TRAIL公開
原論文 SAM 2: Segment Anything in Images and Videos
Llama 3 論文の解説：405Bの重み公開モデルの性能と公開範囲
Llama 3の405Bモデルは15.6兆トークンで事前学習され、128K文脈に対応する。MMLUなどの比較結果とライセンス、未公開のマルチモーダル拡張を分けて読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 The Llama 3 Herd of Models
Agentless 論文の解説：自律操作なしで不具合を直す簡潔な基準線
Agentlessはソフトウェアの不具合修正を、場所の特定、修正案の生成、パッチの検証に絞る。SWE-bench Liteの成功率と費用、問題文に正解が漏れる例を確認し、複雑なエージェントとの比較条件を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Agentless: Demystifying LLM-based Software Engineering Agents
LiveBench 論文の解説：問題を更新して学習データへの混入を避ける評価
LiveBenchは、最近の資料から新しい問題を作り、答えを自動採点する評価だ。2024年初公開の論文第2版を基に、問題更新の方法と、混入を完全には防げない限界を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 LiveBench: A Challenging, Contamination-Free LLM Benchmark
RAGBench 論文の解説：RAGの失敗を四つに分ける評価設計
RAGBenchは検索文書と回答の関係を、関連性・利用率・根拠への忠実さ・網羅性に分けて測る。約10万件のデータと評価モデルの比較から、回答の正誤だけでは見えない失敗と自動判定の限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 RAGBench: Explainable Benchmark for Retrieval-Augmented Generation Systems
DataComp-LM 論文の解説：学習データの選び方を比べる基盤
240兆トークンの候補集合と固定した学習条件を使い、言語モデルのデータ選別を比較するDataComp-LM。公開データで訓練した7Bモデルの結果と、評価範囲の限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 DataComp-LM: In search of the next generation of training sets for language models
OpenVLA 論文の解説：公開されたロボット基盤モデルの実機評価
OpenVLAは画像と言葉からロボットの動作を出す公開モデルだ。二種類の実機で既存手法と比べ、別の腕へ追加学習する実験も行った。成功率の差を、訓練データと操作速度の制約とともに読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 OpenVLA: An Open-Source Vision-Language-Action Model
SWE-agent 論文の解説：コード修正AIにおける操作画面の役割
SWE-agentは、AIにリポジトリを調べ、編集し、実行結果を受け取らせる専用インターフェースを設計した。SWE-benchでの修正成功率と比較実験から、モデルと道具の組み合わせをどう読むべきかを確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering
GraphRAG 論文の解説：資料全体の傾向を問う質問にRAGで答える
GraphRAGは、文書から作った知識グラフを群に分け、事前の要約を使って資料全体に関する質問へ答える。従来型RAGとの比較結果と、回答の正確さを別に確かめる必要性を原文から確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 From Local to Global: A Graph RAG Approach to Query-Focused Summarization
Phi-3 論文の解説：Phi-3 miniのデータ設計と端末実行
3.8BのPhi-3 miniは、選別したWeb文書と合成データで学習し、iPhone 14でオフライン動作を報告した。ベンチマークの条件と、小型化に残る知識・言語の限界を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
Instruction Hierarchy 論文の解説：上位の指示を優先させる攻撃対策
Webページやツール出力に紛れた命令を、AIが上位の指示と取り違える問題を扱う研究。GPT-3.5 Turboを使った訓練と攻撃評価から、防御の改善と過剰拒否・未対応領域を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions
OSWorld 論文の解説：画面操作AIが仕事を終える実行能力を測る
OSWorldは、実際のデスクトップアプリやWebを使う369課題でAIエージェントを評価する環境を作った。論文の設定では人間の成功率72.36%に対し、比較した方式の最高値は12.24%。数字の範囲を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments
RULER 論文の解説：長い文書を扱う文脈長の実力を測る
RULERは、情報を一つ探すだけのテストに加え、複数の手掛かりの追跡や集計を試す長文評価を提案した。17モデルの比較で見えた、宣伝される文脈長と実際に解ける課題の間の差を原文から読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 RULER: What's the Real Context Size of Your Long-Context Language Models?
RewardBench 論文の解説：報酬モデルが良い回答を見分ける力の比較
RewardBenchは質問と二つの回答の組で、報酬モデルが人に望ましい回答を上位に置けるかを測る。会話、難しい指示、安全性、推論を分けた結果から、平均点だけでは見えない弱点と評価集合の限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 RewardBench: Evaluating Reward Models for Language Modeling
BitNet b1.58 論文の解説：LLMの重みを3値で学習する省メモリ化
BitNet b1.58は重みを−1・0・1の3値として学習する。3B規模の同条件比較では、16ビットの基準に近い品質と低い推論メモリを示した。大規模化の推計と実測を分けて確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
DoRA 論文の解説：LoRAの学習方法を変える追加学習法
DoRAは重みの大きさと方向を分け、方向の更新にLoRAを使う追加学習法だ。複数モデル・課題での比較から、精度の改善、学習時のメモリ、推論時の費用を分けて読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 DoRA: Weight-Decomposed Low-Rank Adaptation
2023年の論文20本
Mamba原論文を読む 長い系列を選択的に記憶する
注意機構に頼らず、入力に応じて情報を残す状態空間モデルで長い系列を扱えるか。Mamba論文の設計と、言語・音声・ゲノム配列での実験を読む。測定した速度と未確認の用途も区別する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Mamba: Linear-Time Sequence Modeling with Selective State Spaces
GAIAを原論文から読む 日常の問いを解けるAIアシスタントか
専門試験の難問とは別に、人なら調べて答えられる問いをAIは解けるか。GAIAはWeb閲覧、ファイル、推論などを要する466問を作った。高い人の正答率と当時のAIの差、その数字を読む際の注意を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 GAIA: a benchmark for General AI Assistants
Self-RAGの原論文を読む 検索するかもモデルが決める
Self-RAGは、必要に応じて資料を検索し、得た文章と自分の回答を評価する特別なトークンを学ぶ。固定件数を毎回参照するRAGとの違い、質問応答や長文生成での結果、引用の限界を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Self-rag: Learning to Retrieve, Generate, and Critique through Self-Reflection
SWE-benchの原論文を読む 開発AIは課題を解決できるか
コードを一行書けることと、既存のソフトウェアの問題を解決できることは違う。SWE-benchは公開GitHubの課題と修正履歴を使い、AIがリポジトリを編集してテストを通せるかを測る。評価方法とその限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
vLLM 論文の解説：PagedAttentionで生成中のGPUメモリを使い直す
PagedAttentionは、生成中に増えるKVキャッシュを小さなブロックに分けて管理する。vLLMの論文は同程度の遅延で処理量を比較した。測定条件と読み替えの限界を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Efficient Memory Management for Large Language Model Serving with PagedAttention
AutoGenの原論文を読む 複数のAIを会話で協調させる設計
複数のエージェントと人、道具を会話で結ぶと、何が作りやすくなるのか。AutoGenの原論文は対話可能な部品と会話の制御方法を示し、数学やコード作成などの例で検証した。設計上の利点と評価の範囲を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation
AgentBenchを原論文から読む 対話しながら動くAIをどう測るか
一問一答の正解率だけでは、環境と何度もやり取りするAIの力は分からない。AgentBenchは8種類の環境に共通の評価枠組みを作り、論文第3版で29モデルを調べた。課題ごとの違いと評価の読み方を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 AgentBench: Evaluating LLMs as Agents
WebArenaを原論文から読む Web操作エージェントを完了で測る
AIがWeb画面で長い作業を終えられるか。WebArenaは動く模擬サイトと812の課題を用意し、最終状態で成否を判定する。論文の評価では、最良のGPT-4系設定も人の成功率から離れていた。その条件と限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 WebArena: A Realistic Web Environment for Building Autonomous Agents
Llama 2原論文を読む 基盤モデルと対話モデルの差
Llama 2の論文は、事前学習した基盤モデルと対話向けに調整したモデルを分けて報告した。学習データ、指示調整、人の評価、安全性評価を読み、どの結果がどのモデルに当てはまるかを確かめる。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Llama 2: Open Foundation and Fine-Tuned Chat Models
FlashAttention-2 論文の解説：注意計算の分担を改めて速くする
FlashAttention-2は、正確な注意計算を保ちながら、GPUのブロックとワープへの仕事の割り振りを改めた。前版との速度比較、学習全体での結果、ハードウェア条件を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning
Lost in the Middle 論文の解説：長い文脈で情報の位置が回答に与える影響
長い入力を受け取れることと、必要な情報をどの位置からも使えることは違う。論文は正解を含む文章の置き場所だけを変え、質問応答とキー・値の検索で性能を測った。RAGで資料を並べる際の注意点を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Lost in the Middle: How Language Models Use Long Contexts
MT-Benchを原論文から読む AIにAIの回答を評価させられるか
自由な対話の品質を大量に比べるため、AIを判定者に使えるか。MT-BenchとChatbot Arenaの論文は人の選好との一致を調べ、位置や長さによる偏りも示した。AI判定を使う際の条件と限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
DPOの原論文を読む 選好から直接モデルを調整する
DPOは、人が選んだ良い応答と悪い応答の組から、別の報酬モデルと強化学習のループを省いて言語モデルを調整する。原論文の要約・対話・感情制御の評価と、選好データの限界を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Direct Preference Optimization: Your Language Model is Secretly a Reward Model
QLoRA 論文の解説：4ビット化で追加学習に必要なメモリを減らす
QLoRAは事前学習済みモデルを4ビットで保持し、少数の追加パラメータを学習する。65Bモデルを単一の48GB GPUで調整した実験と、性能比較の範囲・限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 QLoRA: Efficient Finetuning of Quantized LLMs
ImageBindの原論文を読む 六つの情報を共通空間へ
ImageBindは画像を基準に、文章、音声、深度、熱画像、動きの情報を共通の埋め込み空間へ結びつけた。直接の組データがなくても生じる対応と、専門モデルに及ばない限界を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 ImageBind: One Embedding Space To Bind Them All
LLaVAの原論文を読む 画像付き指示に応答する
LLaVAは視覚エンコーダと言語モデルを接続し、画像を含む指示応答データで調整した。生成した学習データと評価の作り方を読み、会話例の説得力と実画像での正確さを分けて考える。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Visual Instruction Tuning
Segment Anythingの原論文を読む 指示で領域を切り出す
SAMは点や枠などの指示から画像の領域を切り出すモデルと、大規模なマスクデータを同時に作った。未知の画像分布への転移をどう評価したか、曖昧な指示やデータの偏りも含めて確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Segment Anything
LLaMA原論文を読む モデル規模と学習量をどう選んだか
LLaMAの原論文は、公開されているデータだけを用い、70億から650億パラメータのモデルを学習した。モデルを大きくするだけでなく学習トークンを増やす設計を選び、当時の公開課題で比較した。成果と限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 LLaMA: Open and Efficient Foundation Language Models
Toolformerを原論文から読む AIは道具を使うタイミングを学べるか
計算や検索が必要な場面で、言語モデルがAPIをいつ呼ぶかを学習する。Toolformerは少数の実例から呼び出し候補を作り、予測に役立つものを残して訓練した。成果と、連続した道具操作に残る限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Toolformer: Language Models Can Teach Themselves to Use Tools
BLIP-2 論文の解説：画像モデルと言語モデルをつなぐ方法
BLIP-2は画像エンコーダと言語モデルの重みを固定し、小さなQ-Formerを2段階で学習する。画像質問応答の結果と、得意な評価・残るリスクを原論文から読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
2022年の論文20本
Self-Instruct 論文の解説：モデル自身に指示データを作らせる
人が書いた指示例の不足に対し、Self-Instructはモデルに新しい指示と回答例を生成させ、重複や不適切な例を除いて追加学習する。未知の課題での効果と生成データの品質を初版論文から読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Self-Instruct: Aligning Language Models with Self-Generated Instructions
DiT 論文の解説：画像拡散モデルの中心をTransformerに替える
DiTは画像の潜在表現を小片に分け、従来のU-Netに代えてTransformerでノイズを除く。計算量と画像品質の関係、ImageNetでのFID、誘導設定の影響を初版論文から確かめる。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Scalable Diffusion Models with Transformers
Constitutional AIの原論文を読む 原則を使って応答を直す
Constitutional AIは、人が示した原則に沿ってモデルが自分の応答を批評・改稿し、AIが生成した好みの比較でさらに調整する。害の少なさと過度な回避をどう測ったかを、監督の範囲とともに読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Constitutional AI: Harmlessness from AI Feedback
Whisperの原論文を読む 大量の音声で認識の頑健さを測る
Whisperの研究は、インターネット上の音声と文字の組を大量に使い、追加学習なしで別の音声データに対応できるかを調べた。幅広い条件での評価とともに、長時間音声の誤りや言語による差も原論文から確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Robust Speech Recognition via Large-Scale Weak Supervision
HELMを原論文から読む AIモデルを一つの点数で選ばない理由
AIモデルを正答率だけで比較すると、頑健性や公平性、毒性などの差が隠れる。HELMは複数の用途と指標を同じ条件で測る枠組みを提案し、30モデルを評価した。結果の読み方と測れていない領域を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Holistic Evaluation of Language Models
BLOOM 論文の解説：多言語の大規模モデルの公開と評価
BLOOMは176Bパラメータのモデルを、46の自然言語と13のプログラミング言語を含むデータで訓練した共同研究だ。公開方式と評価結果のばらつきを原論文から確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 BLOOM: A 176B-Parameter Open-Access Multilingual Language Model
ReActを原論文から読む 考えることと道具を使うことを交互につなぐ
AIエージェントが推論を書き、外部の情報を調べ、結果を見て次の行動を決める。ReActはこの往復を提案した研究だ。質問応答と対話的な環境で何を確かめ、どんな失敗が残ったかを読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 ReAct: Synergizing Reasoning and Acting in Language Models
AudioLMの原論文を読む 音をトークン列として続ける
AudioLMは音声を離散的な記号列に変え、短い入力の続きを生成する。話の流れと音質を両立する二種類の表現、音声とピアノ音楽での評価、意味と安全性を別に見る必要性を解説する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 AudioLM: a Language Modeling Approach to Audio Generation
DreamBooth 論文の解説：少数の写真から特定の被写体を覚えさせる
DreamBoothは3〜5枚ほどの写真で画像生成モデルを調整し、固有の被写体を新しい場面に置く。独自の識別子と一般的なクラスの知識を保つ損失の役割、初版論文の定性的評価と失敗例を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation
FlashAttention原論文を読む 注意計算のメモリ移動を減らす
Transformerの長い文章処理では、計算式だけでなくGPU内のメモリ移動が速度を左右する。FlashAttention論文は、厳密な注意計算を保ちながら読み書きを減らす方法を提案した。実測の速度と条件を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
Imagen 論文の解説：言語モデルの理解力を画像生成に使う
Imagenは、固定した大きな言語モデルで指示文を表し、拡散モデルで画像を生成した。COCOとDrawBenchの評価結果を、指標の限界と著者が記した公開上の懸念とともに読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding
Gato 論文の解説：一つのモデルで異なる仕事を扱う汎用エージェント
Gatoは同じ重みのモデルでゲーム、文章、画像、ロボット操作などを扱う研究だ。604課題での測定方法と、専門モデルとの差、汎用エージェントとしての限界を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 A Generalist Agent
UL2 論文の解説：事前学習の目的を混ぜて理解と生成の両立を狙う
UL2は穴埋めと文章の続きを書く学習を、三種類のノイズ除去課題として統一する。モデル構造を分けた比較と、少数例の生成評価を原論文で確認し、万能な学習方式とみなせない条件を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Unifying Language Learning Paradigms
Flamingoの原論文を読む 画像と言葉の少数例学習
Flamingoは画像・動画と言葉を交互に含む入力から、少数の例を見て視覚質問などへ答えるモデル。複数ベンチマークの結果とともに、画像にない内容を答える失敗や分類性能の限界を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Flamingo: a Visual Language Model for Few-Shot Learning
PaLM 論文の解説：規模拡大で改善したことと解決しなかったこと
PaLMは8B・62B・540Bのモデルを比べ、少数例からの学習や推論課題で規模の効果を調べた。大規模学習の条件、評価で見えた差、偏りと安全性の測定範囲を原論文から確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 PaLM: Scaling Language Modeling with Pathways
Chinchillaの原論文を読む モデルと学習データの配分
計算予算が同じなら、モデルを大きくするか、より多くの文章を学習させるか。Chinchilla論文は両者の配分を再検討し、Gopherと同程度の学習計算量で比較した。結果と推定の限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Training Compute-Optimal Large Language Models
STaR 論文の解説：自分で作った推論例を学習に使う
STaRは少数の推論例から説明付きの答えを生成し、正答につながった例を選んで追加学習する。正解を手掛かりに再生成する仕組み、常識質問での効果と限界を初版論文から読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 STaR: Bootstrapping Reasoning With Reasoning
Self-Consistencyの原論文を読む 複数の答えを集める
Self-Consistencyは、Chain of Thoughtの手順を一つに固定せず複数生成し、最も多く出た最終答えを選ぶ。初版v1の算数・常識推論の改善と、計算費用や多数決が誤る場面を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Self-Consistency Improves Chain of Thought Reasoning in Language Models
InstructGPTの原論文を読む 人の評価で応答はどう変わったか
モデルを大きくするだけで、利用者の指示に沿うとは限らない。InstructGPTの研究は、人が書いた回答例と複数の回答への順位付けを使ってモデルを調整した。比較実験が示す改善と、評価者の好みに依存する限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Training language models to follow instructions with human feedback
Chain of Thoughtの原論文を読む 途中の手順を例示する
Chain of Thought promptingは、答えに至る短い手順を例として入力し、大規模言語モデルの算数・記号・常識推論を調べた。初版v1の実験と後の改訂版の結果を分け、説明文の正しさも考える。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Chain of Thought Prompting Elicits Reasoning in Large Language Models
2021年の論文20本
Latent Diffusionの原論文を読む 画像生成を潜在空間へ
高解像度画像を画素のまま拡散させる計算負荷に対し、Latent Diffusionは圧縮した潜在表現で生成する。画質と計算量、文章などによる条件付けを検証した原論文の範囲を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 High-Resolution Image Synthesis with Latent Diffusion Models
WebGPT 論文の解説：検索と出典を使う回答の学習
WebGPTは文章検索と閲覧を使って長文の質問に答え、参照箇所を示すよう訓練した。人の好みで測った比較結果と、引用が付いていても誤答を防げない理由を原論文から詳しく読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 WebGPT: Browser-assisted question-answering with human feedback
Contrieverの原論文を読む 正解付きデータなしで文書を探す
Contrieverは文書から作る対照学習の組を使い、質問と正解文書の人手ラベルなしで密な検索モデルを学んだ。BEIRでBM25と比べた結果を、Recall@100と上位順位の違いも含めて確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Towards Unsupervised Dense Information Retrieval with Contrastive Learning
RETROの原論文を読む 大量の外部文書を引いて書く
RETROは生成中の文脈に近い文書片を外部データベースから探し、次の語の予測へ組み込んだ。2兆トークンの検索先とモデル規模の比較を、更新・出典・検索漏れという運用上の論点とともに読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Improving language models by retrieving from trillions of tokens
MAE 論文の解説：画像の大部分を隠して学ぶ自己教師あり学習
Masked Autoencodersは画像パッチの約75%を隠し、残りだけを大きなエンコーダへ通す。自己教師あり学習の速度と画像認識への転用結果を、評価条件とともに確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Masked Autoencoders Are Scalable Vision Learners
T0 論文の解説：多様な指示文で未知の課題に答える力を学ぶ
T0は複数の教師あり課題を異なる自然言語の指示文に書き換え、まとめて追加学習した。未学習の課題へのゼロショット評価と、指示文の違いで結果が変わる点を原論文から確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Multitask Prompted Training Enables Zero-Shot Task Generalization
IQL 論文の解説：記録外の行動を評価せずに学ぶオフライン強化学習
Implicit Q-Learningはオフライン強化学習で、記録にない行動の価値を直接最大化する問題を避けた。期待値の高い行動を抽出する手順と、D4RLでの勝敗のばらつきを読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Offline Reinforcement Learning with Implicit Q-Learning
CLIPort 論文の解説：言葉と位置の手掛かりを組み合わせたロボット操作
CLIPortはCLIPの言語・画像の意味表現と、Transporter Networksの空間的な操作予測を組み合わせた。ロボット操作での訓練条件と、現実環境への適用範囲を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 CLIPort: What and Where Pathways for Robotic Manipulation
TruthfulQAを原論文から読む もっともらしい誤答をどう測るか
質問に流布する誤解が含まれるとき、AIは誤りを繰り返すのか。TruthfulQAは817問、38分類で回答の真実性を測った。論文の対象モデルでは人との大きな差が見られたが、現在のAI全体の順位ではない。
- 論文初公開（arXiv）
- TRAIL公開
原論文 TruthfulQA: Measuring How Models Mimic Human Falsehoods
Perceiver IO 論文の解説：入力と出力を問い合わせでつなぐ
Perceiver IOは多様な入力を潜在表現に圧縮し、出力側の問い合わせから必要な結果を取り出す。分類に限らない出力を扱う設計と、課題別の評価を読む。自然言語や視覚の各課題で何を測ったかも確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Perceiver IO: A General Architecture for Structured Inputs & Outputs
HumanEvalとCodexの原論文を読む コードは動いて初めて正しい
生成コードが模範解答と同じ文字列かではなく、テストを通るかを測る。Codexの論文は手書きのPython課題164問からなるHumanEvalを提示した。単発生成と多数の候補を試す結果の違い、評価の限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Evaluating Large Language Models Trained on Code
LoRAは大規模モデルの調整をどう軽くしたか 2021年の原論文を読む
事前学習済みの重みを固定し、小さな行列だけを学習するLoRA。大規模モデルを課題別に調整する際、何の費用を減らせて、何は依然として必要なのか。原論文の比較条件と限界を含めて整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 LoRA: Low-Rank Adaptation of Large Language Models
HuBERT 論文の解説：音声の隠した区間をクラスタで予測する
HuBERTは音声の一部を隠し、クラスタ化した音声特徴を予測する自己教師あり学習を提案した。少量の文字起こしでの認識精度と、言語・録音条件による限界を読む。研究で使った未ラベル音声と評価データの条件も追う。
- 論文初公開（arXiv）
- TRAIL公開
原論文 HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units
Decision Transformer 論文の解説：行動選択を系列予測に置き換える
Decision Transformerは過去の状態・行動と目標の報酬を並べ、次の行動を予測する。オフライン強化学習の比較結果と、学習データの範囲外で起こる問題を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Decision Transformer: Reinforcement Learning via Sequence Modeling
DINO 論文の解説：ラベルなしの画像から物体のまとまりを学ぶ
DINOは教師モデルと生徒モデルの出力を近づける自己蒸留をVision Transformerに適用した。画像分類だけでなく、特徴に現れる物体領域と評価方法の違いを読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Emerging Properties in Self-Supervised Vision Transformers
SimCSE 論文の解説：文を二度見せて文埋め込みを学ぶ
SimCSEは同じ文への二つのdropoutを正例にする教師なし学習と、自然言語推論の含意・矛盾を使う教師あり学習を比較した。文の類似度評価と限界を整理する。教師ありと教師なしで必要な訓練データが違う点にも注意する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 SimCSE: Simple Contrastive Learning of Sentence Embeddings
Swin Transformer 論文の解説：ずらした窓で画像を階層化する
Swin Transformerは局所的な注意窓を段ごとにずらし、画像の広い範囲の情報をつないだ。画像分類・検出・領域分割での結果と、計算量の条件を整理する。画像サイズに対する計算量の説明と実測値も区別する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
CLIPは画像と文章をどう結びつけたか 2021年の原論文を読む
大量の画像と説明文の組から学習したCLIPは、学習時にない分類課題にも文章で候補を与えて取り組む。ゼロショット分類とは何を意味するのか。比較対象、候補文の影響、実験で示された弱点を確かめる。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Learning Transferable Visual Models From Natural Language Supervision
DALL·E 論文の解説：文章と画像を一つの列として生成する
DALL·Eの初報は文章トークンと画像トークンを一列に並べ、自己回帰型Transformerで画像を生成した。ゼロショット生成の評価と、成功例だけで判断できない点を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Zero-Shot Text-to-Image Generation
Switch Transformer 論文の解説：専門家を一つ選ぶ疎なモデル
多数の専門家層から入力ごとに一つを選び、計算量を抑えながらモデルを大きくできるか。Switch Transformer論文の設計、事前学習の速度、運用上の制約を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
2020年の論文20本
mT5 論文の解説：T5の文章から文章への学習を101言語へ広げる
mT5は英語中心だったT5を多言語のWebテキストで学習し、質問応答や文分類を文章生成の形式で扱う。101言語のデータ構成、英語だけで追加学習する評価と翻訳を使う評価の差を原論文で読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 mT5: A massively multilingual pre-trained text-to-text transformer
Vision Transformerの原論文を読む 画像をパッチで扱う
画像を小さなパッチの列へ変換し、Transformerで分類するViT。大規模な事前学習と小さなデータへの転移で示した成果を、畳み込みモデルとの比較条件や必要なデータ量も含めて読み解く。
- 論文初公開（arXiv）
- TRAIL公開
原論文 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
BigBird 論文の解説：局所・ランダム・全体の注意で長文をつなぐ
BigBirdは全ての語の組み合わせを見る代わりに、近くの語、ランダムな語、全体とつながる語へ注意を絞る。長文質問応答の比較表と、疎な注意では苦手な計算もあるという限界を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Big Bird: Transformers for Longer Sequences
wav2vec 2.0の原論文を読む 少ない文字付き音声で認識
wav2vec 2.0は大量の文字なし音声から表現を学び、少量の文字付き音声で音声認識へ調整した。評価で使う未ラベル音声の量と、言語・録音条件が変わる場合の限界を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations
DDPMの原論文を読む ノイズを戻して画像を作る
DDPMは、画像に段階的にノイズを足す過程を逆向きに学び、画像を生成する。原論文の画質評価と生成の仕組みを確認し、時間のかかる逐次生成や評価指標の限界も整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Denoising Diffusion Probabilistic Models
BYOL 論文の解説：負例を使わず画像の特徴を学ぶ
BYOLは同じ画像から作った二つの見え方を使い、一方のネットワークがもう一方の表現を予測する。負例のない自己教師あり学習で表現が崩れない条件と、ImageNetでの比較を初版論文から読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Bootstrap your own latent: A new approach to self-supervised Learning
DeBERTa 論文の解説：語の内容と位置を分けて計算する注意
DeBERTaは語そのものと語の相対位置を分けて注意を計算し、隠した語の復元にも位置情報を加える。GLUEの開発集合でBERT系モデルと比較し、学習データや計算量が完全には揃わない条件も読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 DeBERTa: Decoding-enhanced BERT with Disentangled Attention
GPT-3の少数例学習は何を示したか 2020年の原論文を読む
少数の例を入力文に示すだけで新しい課題に取り組めるか。GPT-3論文は、規模を変えたモデルで課題別の追加学習なしの性能を比較した。実験条件、成果、苦手な課題と評価上の注意点を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Language Models are Few-Shot Learners
DETR 論文の解説：物体検出を集合予測として組み立て直す
DETRは画像内の物体を一度に予測し、対応付けを学習に組み込む。アンカーと重複除去を省いた構成、COCOでの比較、小さな物体と学習時間の課題を初版論文から読み解く。
- 論文初公開（arXiv）
- TRAIL公開
原論文 End-to-End Object Detection with Transformers
RAGの原論文を読む 検索と文章生成をどう結びつけたか
RAGは、外部の文章を検索し、その内容を使って答えを作る研究だ。2020年公開の原論文はWikipediaを検索対象に、公開質問応答課題などで評価した。社内文書の回答システムに応用する前に、何を確かめた研究かを整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
ColBERTの原論文を読む 検索精度と応答速度をどう両立したか
文章と質問をまとめてBERTに通す検索は高価になりやすい。ColBERTは両者を別々に処理し、単語ごとの対応を最後に計算する。MS MARCOとTREC CARで何を測り、索引の容量と速さをどう交換したのかを読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT
DPRの原論文を読む 質問に合う文章をどう探すか
単語の一致に頼る検索では、言い換えた質問から答えを含む文章を探しにくい。DPRは質問と文章を別々のベクトルに変換し、公開質問応答データで検索精度を比較した。BM25との差と、社内検索へ移す際の条件を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Dense Passage Retrieval for Open-Domain Question Answering
Longformer 論文の解説：局所と全体の注意を組み合わせて長文を読む
Longformerは近くの語を見る窓と、質問など重要な語を見る全体的な注意を組み合わせ、長文処理の計算量を抑える。RoBERTaとの開発集合での比較と、課題ごとに増分が違う理由を初版論文で読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Longformer: The Long-Document Transformer
ELECTRA 論文の解説：単語の穴埋めを置き換え検出へ変える
ELECTRAは一部の単語をもっともらしい別の単語に置き換え、各位置が本物かを判別させる。BERT型の事前学習と比べた計算効率、下流の評価課題、結果を読み取る範囲を原論文から確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
NeRF 論文の解説：複数の写真から見たことのない視点を描く
NeRFは座標と視線方向から色と密度を予測し、複数の写真を使って新しい視点の画像を合成する。実写と合成画像の比較表を読み、画質だけでなく撮影条件と学習時間の制約も整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
SimCLR 論文の解説：ラベルなし画像から特徴を学ぶ対照学習
SimCLRは同じ画像から作った二つの見え方を近づけ、別の画像を離すよう学習する。ImageNetでの線形評価と少量ラベル評価を分け、データ拡張、大きなバッチ、長い学習期間が結果に与えた影響を原論文から読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 A Simple Framework for Contrastive Learning of Visual Representations
REALM 論文の解説：検索器を言語モデルの事前学習に組み込む
REALMは答えに使う知識をモデルの重みに閉じ込めず、外部文書を検索して参照する。検索器まで事前学習する方法と、公開質問応答での成績、検索基盤の制約を原論文から確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 REALM: Retrieval-Augmented Language Model Pre-Training
Scaling Laws 論文の解説：言語モデルの大きさと学習量の関係
言語モデルの損失は、モデルの大きさ、データ量、学習計算量とどう関係するか。2020年の原論文は多数の学習実験から経験的な法則を調べた。計算予算の配分という結論と、その測定範囲を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Scaling Laws for Neural Language Models
FixMatch 論文の解説：高確信の仮ラベルを強い画像変換にも通す
FixMatchはラベル付き画像が少ないとき、弱い画像変換で予測した高確信のクラスを、強い画像変換後にも学習させる。CIFAR-10での成績と、極端に少ないラベルで結果が揺れる条件を原論文で確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence
Reformer 論文の解説：ハッシュと可逆層で長い入力の費用を減らす
Reformerは似た語を局所性鋭敏型ハッシュで集めて注意を近似し、可逆な層で中間結果の保存量を減らす。長文処理に必要なメモリと速度の改善、近似による精度の差を初版論文で確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Reformer: The Efficient Transformer
2019年の論文20本
Dreamer 論文の解説：潜在空間で先を予測してから動く学習
画像から学んだ環境モデルの潜在空間で行動の先を予測し、行動モデルと価値モデルを訓練した。20の視覚制御課題での結果は経験ステップと比較条件を添えて読む。固定版原論文の方法と条件を確認した。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Dream to Control: Learning Behaviors by Latent Imagination
StyleGAN2 論文の解説：StyleGANの画像の癖を直す改良
生成画像に現れる水滴状の模様や位置の揺れを分析し、重みの調整、潜在空間の正則化、段階的成長を使わない構造を組み合わせた。品質指標の変化を段階ごとに読む。固定版論文の実験条件と限界も照合した。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Analyzing and Improving the Image Quality of StyleGAN
MuZero 論文の解説：ルールを知らずに学習モデルで先を読む
環境の完全なルールを受け取らず、報酬・価値・方針の予測に必要な内部モデルを学び、探索に使った。盤上ゲームとAtariの結果は計算予算を分けて読む。固定版原論文の方法と条件を確認した。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model
MoCo 論文の解説：画像ラベルなしで表現を学ぶキューとモメンタム更新
画像の別変換を近い表現へ寄せる対照学習で、過去の例をキューに保存し、ゆっくり更新する符号化器で比較の整合性を保った。分類と検出の転移を区別する。固定版論文の実験条件と限界も照合した。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Momentum Contrast for Unsupervised Visual Representation Learning
BART 論文の解説：壊した文章を戻して学ぶ生成と理解
文を並べ替えたり一部を隠したりしてから復元する事前学習で、双方向の読解と左から右への生成を一つの構造へ組み合わせた。要約結果は課題ごとに読む。原論文の実験条件に沿って限界も整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension
T5の原論文を読む 文章処理を入出力の文章にそろえる
翻訳、分類、要約、質問応答を同じ入出力形式にまとめたT5。原論文は事前学習の目的、モデル構造、データと学習方法を系統的に比較した。統一形式で何が見え、どこまで評価されたかを整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
DistilBERT 論文の解説：事前学習の段階でBERTを小さくする
DistilBERTは大きなBERTを教師に、層を半分にした生徒モデルを事前学習する。GLUEでの性能、CPUの推論時間、質問応答で失う精度を固定版論文の表から分けて読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
ALBERT 論文の解説：層で重みを共有してパラメータを減らす設計
単語埋め込みの分解と層をまたぐ重み共有でBERT系モデルのパラメータを減らした。軽量化と最良設定の性能を混同せず、学習速度や比較条件も確認する。原論文の実験条件に沿って限界も整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
Megatron-LM 論文の解説：巨大モデルをGPUに分ける層内並列
一台のGPUに収まらないTransformerの行列計算を層内で分割し、通信と計算を組み合わせた。83億パラメータの訓練実験は設備条件と効率を分けて読む。固定版論文の条件を照合した。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism
Sentence-BERT 論文の解説：文をベクトルにして探す速度と精度
BERTを文の類似度比較へ直接使う計算負荷を、文ごとの埋め込みで減らした。検索の速さと、対にした文章を直接読むモデルとの精度差を両方確認する。原論文の実験条件に沿って限界も整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
RoBERTa 論文の解説：BERTの学習条件を問い直す
RoBERTaは新しい言語モデル構造よりも、BERTをどれだけ長く、どんなデータと目的で学ばせるかを調べた。動的マスク、次文予測の除去、データ量と比較条件を初版論文から読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 RoBERTa: A Robustly Optimized BERT Pretraining Approach
WinoGrande 論文の解説：代名詞問題の近道を見抜く評価設計
常識を使って空欄の指示対象を選ぶ問題を大量に作り、モデルが頼れるデータ特有の手掛かりを取り除いた。人とモデルの差を、問題作成方法と一緒に読む。固定版論文の実験条件と限界も照合した。
- 論文初公開（arXiv）
- TRAIL公開
原論文 WinoGrande: An Adversarial Winograd Schema Challenge at Scale
XLNet 論文の解説：語を読む順番を入れ替えて文脈を学ぶ
XLNetは言語モデルの予測順を入れ替え、左右の文脈を使いながら語間の依存関係を学ぶ。BERT型のマスク語予測との違い、読解評価、データ量の条件を固定版論文から確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 XLNet: Generalized Autoregressive Pretraining for Language Understanding
EfficientNet 論文の解説：画像モデルの拡大方法を組み合わせる
画像モデルを大きくするとき、層の深さ、幅、入力画像の解像度をどの比率で増やすか。EfficientNetの複合スケーリング、ImageNetでの精度と費用、比較条件を初版論文から読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
HellaSwag 論文の解説：常識問題の近道を塞ぐ敵対的選別
続きの文章を選ぶ常識問題で、モデルが見分けやすい偽の選択肢を反復して除いた。人に易しく当時のBERTには難しい結果は、評価集合の作り方の重要性を示す。固定版論文の条件を照合した。
- 論文初公開（arXiv）
- TRAIL公開
原論文 HellaSwag: Can a Machine Really Finish Your Sentence?
SuperGLUE 論文の解説：平均点だけで読解を測らない評価設計
GLUEの飽和を受け、文の含意や常識などで人とモデルの差が残る課題を集めた。v1原稿のタスク数と表の不一致も記録し、見える実験結果に絞って読む。固定版論文の条件を照合した。
- 論文初公開（arXiv）
- TRAIL公開
原論文 SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems
SPADE 論文の解説：配置図から画像を描く空間別の正規化
物体の配置を表すセグメンテーション図を生成器の各層へ渡し、場所ごとのラベル情報を保ちながら画像を合成した。評価指標と見た目の選好を分けて確認する。固定版論文の実験条件と限界も照合した。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Semantic Image Synthesis with Spatially-Adaptive Normalization
GNN Explainer 論文の解説：グラフAIの判断経路を示す
グラフニューラルネットの予測を保つ小さな部分グラフと特徴量を探し、どの関係が判断に効いたか示した。合成グラフで既知の構造と比較し、説明の限界を読む。固定版原論文の方法と条件を確認した。
- 論文初公開（arXiv）
- TRAIL公開
原論文 GNN Explainer: A Tool for Post-hoc Explanation of Graph Neural Networks
GPT-2 論文の解説：次語予測だけで試したゼロショット転移
WebTextで次語予測を学んだ15億パラメータの言語モデルを、用途別の追加学習なしで複数課題に試した。基準を超えた言語モデル指標と、読解・要約の限界を分ける。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Language Models are Unsupervised Multitask Learners
Transformer-XL 論文の解説：固定長を越える再帰メモリ
文章を分割しても前の区間の隠れ状態を使い、相対位置の扱いと組み合わせて長い依存関係を学習した。言語モデルの改善と長文処理の制約を分けて読む。原論文の実験条件に沿って限界も整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
2018年の論文20本
StyleGAN 論文の解説：顔画像の特徴を層ごとに制御する
画像生成器に中間の潜在空間と層ごとのスタイル入力を設け、顔の姿勢や細部を分けて扱う方法を示した。FFHQでFID8.04の基準構成に対し、最終構成は4.40だった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 A Style-Based Generator Architecture for Generative Adversarial Networks
CNNは形より質感を見ていた 画像認識の手掛かりを検証
画像の輪郭と表面模様が矛盾する刺激を使い、人間とImageNet学習済みCNNの分類を比較した。形を重視する学習データへの変更は頑健性にも影響した。実験条件を分けて評価する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness
RND 論文の解説：報酬が見つからないゲームで探索する新規性指標
固定したランダムなネットワークの出力を予測する誤差を、新しい状態へ進む手掛かりにした。報酬の少ないAtariで検証し、Montezuma’s Revengeの平均得点を高めた。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Exploration by Random Network Distillation
BERTは「両側の文脈」をどう学んだか 2018年の原論文を読む
BERTは、文中の一部を隠して予測する事前学習と、課題ごとの追加学習を組み合わせた。左右の文脈を使う設計は、当時の英語の言語理解課題で何を改善したのか。実験条件と限界を原論文から読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
GIN 論文の解説：グラフを見分ける力と集約関数
グラフニューラルネットの近傍集約が何を区別できるかを、Weisfeiler–Lehmanテストとの関係から整理した。9データセットの比較は表現力と汎化を分けて読む必要がある。
- 論文初公開（arXiv）
- TRAIL公開
原論文 How Powerful are Graph Neural Networks?
BigGAN 論文の解説：画像生成の品質と多様性の両立
大規模な画像生成モデルをImageNetで学習し、生成画像の品質と多様性の折り合いを調べた。固定した初版ではIS166.3、FID9.6を報告するが、両指標を利用者の好みと同一視できない。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Large Scale GAN Training for High Fidelity Natural Image Synthesis
HotpotQA 論文の解説：答えと根拠を複数文書から探す質問応答
二つ以上のWikipedia記事をまたぐ質問を約11万3千件作り、答えを支える文も記録した。正しい記事を最初から与える条件と全文検索条件を分け、検索と推論の難しさを測った。
- 論文初公開（arXiv）
- TRAIL公開
原論文 HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering
Neural ODE 論文の解説：層を連続時間に置き換える計算と限界
離散的な層の積み重ねを微分方程式の解として表し、精度と計算量を調整できる構造を提案した。MNISTと不規則な時系列の実験から利点と費用を読む。数値解法の設定を含めて評価する必要がある。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Neural Ordinary Differential Equations
初代GPT 論文の解説：生成的事前学習から用途別調整への転移
ラベルのない書籍で次の語を予測するTransformerを学習し、入力の組み立て方を変えて12種類の言語タスクへ適用した。改善は当時の比較条件と共に読む。事前学習の役割を検証した。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Improving Language Understanding by Generative Pre-Training
SQuAD 2.0 論文の解説：答えがない質問に答えないことを測る
回答できる読解問題に、もっともらしいが本文に答えのない質問を加えた。既存モデルのF1低下は、文章から答えを抜くだけでなく回答保留を判断する必要を示す。人間とのギャップも確認した。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Know What You Don’t Know: Unanswerable Questions for SQuAD
AutoAugment 論文の解説：画像の増やし方を探索する効果と費用
画像拡張の種類と強さを強化学習で探索し、小さな訓練集合で選んだ方針を本番規模の学習へ移した。CIFARとImageNetの改善は探索費用とデータ条件を併記して読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 AutoAugment: Learning Augmentation Policies from Data
GLUE 論文の解説：言語AIを九つの課題で測るベンチマーク
英文理解を九つの課題で測り、手作りの診断問題も用意したGLUE。単一課題の得点だけでは見えない一般化の弱さを比べ、当時の複数課題学習の限界を明らかにした。総合点の作り方と個々の課題の指標が異なることにも注意が必要だ。
- 論文初公開（arXiv）
- TRAIL公開
原論文 GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding
YOLOv3 論文の解説：物体検出の速さと精度の比べ方
YOLOv3は複数の設計変更を重ね、COCOの物体検出で入力解像度別の速さと精度を示した。320画素条件は22ミリ秒、AP28.2。比較指標と計測環境を揃える重要性も見える。
- 論文初公開（arXiv）
- TRAIL公開
原論文 YOLOv3: An Incremental Improvement
World Models 論文の解説：学習した環境モデルの中で行動を練習する
観測画像を圧縮し、次の状態を予測する環境モデルを学んでから、小さな行動方針を訓練した。ゲーム内で高得点を得た一方、想像上の環境の欠陥を利用する失敗も調べた。仮想環境の予測が現実からずれる場合も含めて評価する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 World Models
FEVER 論文の解説：主張と根拠を一緒に評価する事実検証
Wikipediaを元に作った18万5445件の主張を、支持・反証・情報不足に分類するデータセット。正しい証拠まで示すと基準システムの成績が下がる理由を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 FEVER: a large-scale dataset for Fact Extraction and VERification
ELMo 論文の解説：文脈で意味が変わる単語表現
同じ単語に固定した数値を与える方法の限界を、文脈に応じて変わる表現で補った。六つの言語課題で既存モデルに追加した結果を比較し、内部層を組み合わせる価値も検証した。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Deep contextualized word representations
IMPALA 論文の解説：多数の環境で学ばせる分散強化学習とV-trace
経験を集める実行役と学習役を分け、大量のゲーム経験を処理するIMPALA。古い方針で集めた経験を補正するV-traceを使い、複数課題の学習速度と成績を比較した。
- 論文初公開（arXiv）
- TRAIL公開
原論文 IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures
ULMFiT 論文の解説：少ない正解データで文章を分類する段階的な再学習
事前学習した言語モデルを対象分野へ移し、層ごとに慎重に再学習する方法を示した。六つの文章分類課題で比較し、100件の正解例を使う条件も詳しく検証した。とくにラベルなし文書を追加で使う条件と使わない条件の違いを明示する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Universal Language Model Fine-tuning for Text Classification
MobileNetV2 論文の解説：端末で画像AIを動かす設計と計算量・精度
限られた計算資源で画像を認識するため、細い入出力と広げた内部表現を組み合わせた。分類、物体検出、領域分割で精度と演算量を比較した。端末の実測速度とは別に読む必要がある。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation
Soft Actor-Critic 論文の解説：報酬と探索を同時に考える強化学習
行動の報酬だけでなく、方針の多様さも目的に加える強化学習法。連続した動作を選ぶゲーム型の課題で既存法と比べ、学習速度と乱数による成績の揺れを調べた。報酬の高い試行だけでなく、複数回のばらつきも記事で確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
2017年の論文20本
AlphaZero 論文の解説：自己対局で将棋・チェス・囲碁を学ぶ
ゲームの規則を与え、自己対局と探索で学ぶAlphaZero。同じアルゴリズムを三ゲームに適用し、チェスではStockfishに100局で28勝72引き分け0敗。ただし巨額の計算と探索を使った結果だ。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm
Graph Attention Networks（GAT）論文の解説：近傍ごとの重みを学ぶ
グラフの隣接ノードを一律に平均せず、特徴に応じた重みで集約するGAT。引用ネットワークと未知のタンパク質グラフで評価した。PPIでは同じ構成の一律重み版より高いF1だった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Graph Attention Networks
Rainbow DQN 論文の解説：強化学習の改良を組み合わせる
DQNの六つの改良をまとめてAtariの57ゲームで試したRainbow。最終的な人間基準の中央値は223%だったが、どの部品も一律に効くわけではなく、除去実験で寄与が分かれた。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Rainbow: Combining Improvements in Deep Reinforcement Learning
Focal Loss（RetinaNet）論文の解説：大量の簡単な背景に学習を奪われない
一段式の物体検出では背景候補が膨大になる。Focal Lossは簡単な背景例の損失を小さくし、同じRetinaNet構成の比較でCOCOの検出精度を上げた。最大得点には特徴抽出器、画像サイズ、追加学習時間が影響し、損失だけの効果は同一構成の比較で確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Focal Loss for Dense Object Detection
PPO 論文の解説：行動方針を一度に変えすぎない強化学習
行動方針の更新比率をクリップし、同じ経験から複数回学ぶPPO。連続制御の比較では安定した結果を示す一方、Atariでは評価する学習時点によってACERとの優劣が変わった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Proximal Policy Optimization Algorithms
CatBoost 論文の解説：カテゴリと目的変数の漏れを抑える
カテゴリの値を目的変数の統計量に変える際、同じ行の正解が紛れ込む問題を扱う。順序付きの統計とブースティングで対処し、九データセットで良い損失を報告したが速度と設定の差にも注意が要る。
- 論文初公開（arXiv）
- TRAIL公開
原論文 CatBoost: unbiased boosting with categorical features
Attention Is All You Need 論文の解説：Transformerの提案
2017年の論文「Attention Is All You Need」は、翻訳モデルの逐次処理を減らす構造としてTransformerを提案した。注意機構の役割、当時の翻訳実験で確かめたこと、原論文だけでは言えないことを整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Attention Is All You Need
人の好みから報酬を学ぶ 強化学習の目標をどう伝えるか
短い行動動画を二つ見て人が好みを選び、その比較から報酬モデルを学ぶ。Atariと模擬ロボットで学習できたが、人の判断は課題ごとに難しさが異なり、報酬の代用にも誤差がある。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Deep reinforcement learning from human preferences
GraphSAGE 論文の解説：新しいノードにも使えるグラフ表現
周辺ノードをサンプリングして特徴を集約する関数を学び、訓練時になかったノードやグラフへ表現を作る。引用・掲示板・タンパク質ネットワークで検証したが、特徴の質に依存する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Inductive Representation Learning on Large Graphs
SHAP 論文の解説：一つの予測への特徴量の寄与を分ける
一件の予測を特徴量ごとの寄与に分けるSHAP。加法的な説明に求める条件を整理し、Shapley値がその条件を満たすことを示した。寄与は設定した基準と特徴量の扱いに依存する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 A Unified Approach to Interpreting Model Predictions
MobileNet 論文の解説：端末上の画像認識を軽くする
奥行き方向と1×1の畳み込みを分け、幅と入力解像度で計算量を調整するMobileNet。ImageNetでは通常の畳み込み版より少ない計算量で近い精度を得た。実機の遅延は別に測る必要がある。
- 論文初公開（arXiv）
- TRAIL公開
原論文 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
Pointer-Generator 論文の解説：要約で原文を写す判断と繰り返しの制御
原文中の語をコピーするか新しい語を生成するかを切り替える要約モデル。coverageで同じ内容の反復を減らしたが、ニュース要約では冒頭3文の単純な方式をROUGEで超えなかった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Get To The Point: Summarization with Pointer-Generator Networks
CycleGAN 論文の解説：対応画像なしで見た目を変える
対応する画像の組を用意せず、二方向の変換と元へ戻す制約を学ぶCycleGAN。地図と航空写真の実験では外見を変えられたが、形の大きな変更や意味の対応には限界があった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
Tacotron 論文の解説：文字から音声を一つのモデルで作る
文字列から音声のスペクトログラムを作るTacotron。US英語の主観評価は5点中3.82で当時のパラメトリック方式を上回ったが、録音をつなぐ方式には届かず、波形化にも別処理が必要だった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Tacotron: Towards End-to-End Speech Synthesis
Mask R-CNN 論文の解説：物体を一つずつ切り出す
物体の位置と分類に、個体ごとのマスクを予測する枝を加えたMask R-CNN。RoIAlignで位置ずれを抑え、COCOの個体分割で高い精度を示した。速度と精度はモデル構成に依存する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Mask R-CNN
Prototypical Networks 論文の解説：少ない例から新しい分類を作る
各クラスの少数の例を特徴空間で平均し、その中心への距離で分類する。miniImageNetの5分類では1例・5例とも当時の比較手法より高かったが、クラスの作り方と学習課題の構成に依存する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Prototypical Networks for Few-shot Learning
MAML 論文の解説：少ないデータで学び直しやすい初期値
異なる課題を繰り返して、数回の勾配更新で新しい課題に適応できる初期パラメータを学ぶ。画像の少数例分類に加え回帰と強化学習も試したが、課題の分布が変われば再評価が必要だ。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
Integrated Gradients 論文の解説：入力ごとの予測への寄与を求める
基準入力から実際の入力までの勾配を積分し、画素や単語の寄与を求める。感度と実装不変性という条件を示したが、寄与の見え方は基準入力の選び方に左右される。基準入力の選択と数値積分の近似条件を伴う説明であり、見た目の強調箇所を原因そのものと扱えない。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Axiomatic Attribution for Deep Networks
Wasserstein GAN 論文の解説：生成モデルの学習信号を見失わない
本物と生成データの分布の距離に注目し、判別器をcriticとして学習するWGAN。学習曲線と画像品質が従来GANより対応しやすい例を示したが、重みのクリップや最適化設定には制約がある。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Wasserstein GAN
MoE原論文を読む 必要な部分だけを動かして容量を増やす
大きなモデルほど毎回の計算も増えるとは限らない。2017年の疎ゲートMoE論文は、入力ごとに使う専門ネットワークを選び、計算量を抑えながら容量を増やす方法を検証した。成果の測定条件と運用上の難しさを読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
2016年の論文20本
YOLO9000 論文の解説：検出と分類を合わせ9000超のカテゴリへ
YOLOv2の速度と精度を改良し、YOLO9000は検出ラベルと分類ラベルを同時に学ぶ。VOCでのFPSとImageNet検出での未注釈カテゴリの結果を分けて読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 YOLO9000: Better, Faster, Stronger
CLEVR 論文の解説：画像推論の失敗を切り分ける診断設計
CLEVRは合成画像10万枚に約100万の質問を作り、数え上げ、比較、関係の推論を関数プログラムで記録する。総合点に隠れた失敗を切り分ける方法と、自然画像の実務評価とは異なる診断の使い道を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 CLEVR: A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning
EWC 論文の解説：前の課題を忘れず次を学ぶ制約
Elastic Weight Consolidationは過去の課題に重要だった重みを大きく変えないよう学習する。順番に学ぶMNISTとAtariの結果を読み、旧課題の保持と新課題の獲得の折り合い、任意の課題を無制限に記憶できるわけではない点を確認する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Overcoming catastrophic forgetting in neural networks
VQA v2 論文の解説：質問文だけで答えられる偏りを減らす
VQA v2は同じ質問に答えが異なる似た画像を対にし、言語の頻度だけに頼るモデルを見分ける。元の評価と均衡化した評価での成績差を、訓練データと検証データの組み合わせを揃えて読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Making the V in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering
MS MARCO 論文の解説：検索ログ由来の質問で回答を試すデータセット
MS MARCOはBingの検索質問とWebの候補文を基に、回答可能性、自然文の回答、文書の順位付けを扱う。約101万の質問と人手で書き直した回答約18万件を分け、検索と回答それぞれの失敗を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 MS MARCO: A Human Generated MAchine Reading COmprehension Dataset
Neural Architecture Search 論文の解説：初期NASの成果と費用
強化学習でモデル構造を生成する初期のNeural Architecture Searchは、CIFAR-10などで強い結果を得た。800 GPUを並列使用した探索費用も含めて読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Neural Architecture Search with Reinforcement Learning
Xception 論文の解説：畳み込みを分けて特徴を学ぶ
XceptionはInceptionの構造を見直し、depthwise separable convolutionを中心に据えた。ImageNetと大規模JFTでの精度差と、パラメータが近くても速度は同じでない点を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Xception: Deep Learning with Depthwise Separable Convolutions
GNMT 論文の解説：希少語と翻訳速度に取り組んだ実用設計
GoogleのGNMTは8層ずつのLSTM、注意機構、WordPiece、低精度演算を組み合わせた。WMTのBLEUと人手評価を分け、翻訳品質と実行効率の設計を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation
SRGAN 論文の解説：鮮明に見える拡大と画素の正確さの評価
SRGANは4倍の画像拡大で敵対的損失と知覚的な内容損失を使い、質感の再現を狙った。人手の自然さ評価が上がる一方、PSNRは下がる例を読み、見た目と元画像への忠実さを用途ごとに分ける理由を考える。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
WaveNet 論文の解説：波形を一サンプルずつ作る音声生成
WaveNetは過去の波形から次のサンプルを予測し、拡張畳み込みで広い時間範囲を扱う。英語と中国語の音声合成で聞き手が付けた自然さの評価を確認し、逐次生成の速度制約とサービスで別途測るべき指標を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 WaveNet: A Generative Model for Raw Audio
DenseNet 論文の解説：層を密につなぎ特徴を再利用する設計
DenseNetは各層がそれまでの特徴マップを受け取り、後続層へ渡す。ImageNetでの誤り率とパラメータ効率を、層の構成やFLOPsの条件とともに読む。実機での推論遅延とメモリを別に確かめる理由も整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Densely Connected Convolutional Networks
Layer Normalization 論文の解説：バッチに依存せず層を整える
Layer Normalizationは一つの入力の層内で平均と分散を計算し、学習時と推論時に同じ処理を行う。再帰型モデルでの安定性と、Batch Normalizationとの差が何に由来するかを読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Layer Normalization
DP-SGD 論文の解説：差分プライバシーで学習データの影響を制限する
2016年のDP-SGD研究は個別の勾配を切り詰めて雑音を加え、学習全体のプライバシー費用を追跡した。MNISTとCIFAR-10の精度と、ε・δの意味、保護対象の単位まで含めた保証の条件を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Deep Learning with Differential Privacy
SQuAD 論文の解説：答えを文章から抜き出す質問応答の基準
SQuADはWikipediaの記事から作った10万件超の質問と、本文中の短い答えを集めた。初期モデルと人手の差を確認し、抽出型評価で測れる読解能力と、資料検索や回答不能の質問など別に測るべき課題を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 SQuAD: 100,000+ Questions for Machine Comprehension of Text
InfoGAN 論文の解説：潜在変数に意味を持たせる表現学習
InfoGANは生成画像と一部の潜在変数の相互情報量を高め、ラベルなしで数字の形と書き方などを分けようとした。画像操作の実験と、解釈を過大評価しないための条件を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets
Hyperband 論文の解説：試す候補と学習予算の配分
Hyperbandは候補を少ない資源で試し、成績の良いものへ予算を増やす。早期終了で探索を速めた比較条件と、初期成績が最終の順位を誤って示すリスク、探索全体の費用を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization
SqueezeNet 論文の解説：同程度の画像精度を小さい重みで得る設計
SqueezeNetは小さな畳み込みを使い、AlexNetに近いImageNet精度を約50分の1のモデルサイズで得た。圧縮後の0.47MBと、推論速度や実機性能とは別の評価を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size
Visual Genome 論文の解説：画像の物体と関係を細かく記すデータセット
Visual Genomeは10万枚超の画像に物体、属性、物体間の関係、領域説明を密に付けた。一枚あたりの注釈量が支える細かな評価と、人手ラベルの揺れや画像分布の偏りを分けて読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations
Federated Averaging 論文の解説：端末にデータを残して学ぶ
Federated Averagingは各端末のデータで局所更新し、サーバーがモデルを平均する。通信回数を減らした実験と、端末間のデータ分布が異なる条件、データを送らないことだけではプライバシー保証にならない点を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Communication-Efficient Learning of Deep Networks from Decentralized Data
A3C 論文の解説：並列の試行で強化学習を安定させる実験
A3Cは複数のactorが別々に環境を進め、共有モデルを更新する。Atari 57ゲームの成績とCPU・GPUの訓練時間を照合し、並列化による安定性、平均と中央値の違い、実機制御に一般化できない範囲を読む。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Asynchronous Methods for Deep Reinforcement Learning
2015年の論文20本
ResNetの原論文を読む 深くしても学べる画像認識へ
層を増やせば必ず良くなるわけではない。ResNetは、深いネットワークほど訓練誤差が増える問題を、入力を足し戻す残差ブロックで調べた。ImageNetとCIFAR-10の比較から、改善の範囲と実務での読み方を整理する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Deep Residual Learning for Image Recognition
SSD 論文の解説：複数解像度から一度に物体を探す
SSDは複数の特徴マップに異なる大きさの基準枠を置き、候補生成を別工程にせず物体を検出する。原論文は300×300入力でVOC 2007のmAP 74.3%、59fpsを報告した。小物体や入力解像度の条件も確認したい。
- 論文初公開（arXiv）
- TRAIL公開
原論文 SSD: Single Shot MultiBox Detector
Dueling Network 論文の解説：状態の価値と行動差を分ける
Dueling Networkは状態そのものの価値と、行動ごとの差を別の経路で推定して組み合わせる。原論文の57 Atariゲームでは、30無行動開始の中央値が単一路線132.6%に対し151.5%だった。改善は評価条件と他手法の併用で変わる。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Dueling Network Architectures for Deep Reinforcement Learning
DCGAN 論文の解説：画像生成で得た特徴の分類への転用
DCGANはGANの生成器と識別器へ畳み込み構造の設計規則を入れ、画像を生成しながら特徴を学ぶ。ImageNetで事前学習した識別器の特徴をCIFAR-10へ移すと82.8%の分類精度だったが、比較手法Exemplar CNNの84.3%には届かない。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
Prioritized Experience Replay 論文の解説：重要な経験から多く学ぶ
Prioritized Experience Replayは、価値推定の誤差が大きい経験を再生しやすくする。DQNとの49 Atariゲーム比較で41ゲームの得点が改善したが、優先度による学習の偏りを補正する必要がある。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Prioritized Experience Replay
Deep Compression 論文の解説：重みを削り量子化して保存する
Deep Compressionは枝刈り、再学習付き量子化、ハフマン符号化を順に使ってモデルを小さくする。原論文ではAlexNetを240MBから6.9MB、VGG-16を552MBから11.3MBへ縮めた。保存量と実機速度は別に測る必要がある。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding
Double DQN 論文の解説：行動価値の過大評価を抑える
Double DQNは次の行動を選ぶネットワークと、その価値を評価するネットワークを分ける。原論文の49 Atariゲームでは人間を基準にした得点中央値がDQNの93.5%から114.7%へ上がった。個々のゲームでの優位は一様ではない。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Deep Reinforcement Learning with Double Q-learning
DDPG 論文の解説：連続値の行動を直接選ぶ強化学習
DDPGはDQNで使われた経験再生と目標ネットワークを、連続値の行動を出すactor–criticへ組み込んだ。原論文は20超のシミュレーション制御課題を試したが、乱数による失敗も報告し、実ロボットの安定性まで示していない。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Continuous control with deep reinforcement learning
ニューラルスタイル転写 論文の解説：内容と画風の組み合わせ方
ニューラルスタイル転写の原論文は、事前学習した画像分類CNNの上層表現を内容、特徴間の相関を画風の近似として使う。写真の構図と絵画の質感を組み合わせたが、評価は主に図による視覚例で、意味の保持を数値で保証しない。
- 論文初公開（arXiv）
- TRAIL公開
原論文 A Neural Algorithm of Artistic Style
Pointer Networks 論文の解説：入力の位置を答えとして選ぶ
Pointer Networksは、出力語彙を固定せず、入力列の位置を注意機構で選んで出力する。原論文の巡回セールスマン問題では20都市までの学習を50都市へ広げると巡回路長が悪化し、出力が無効になる例もあった。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Pointer Networks
GAE 論文の解説：方針勾配のばらつきを調整する
Generalized Advantage Estimationは、方針勾配に使う「行動がどれだけ良かったか」の推定を平滑化する。原論文のカートポール試験は21乱数で比較し、中間的なγとλが良かった。値は課題ごとに選び直す必要がある。
- 論文初公開（arXiv）
- TRAIL公開
原論文 High-Dimensional Continuous Control Using Generalized Advantage Estimation
YOLO 論文の解説：画像を一度見て物体を検出する
初代YOLOは候補領域ごとに分類する方法を改め、一つのネットワークから枠とクラスを直接予測した。原論文のVOC 2007では45fpsでmAP 63.4%。高速だが位置のずれと小物体に弱いという条件も示された。
- 論文初公開（arXiv）
- TRAIL公開
原論文 You Only Look Once: Unified, Real-Time Object Detection
Spatial Transformer 論文の解説：画像の変形をモデルに学ばせる
Spatial Transformerは位置と変形のパラメータを入力から予測し、特徴画像を微分可能な方法で切り出す。原論文の歪ませたMNISTでは改善したが、変形に頑健なことと、どんな画像でも正しい位置を説明することは違う。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Spatial Transformer Networks
Faster R-CNN 論文の解説：候補領域もニューラルネットで作る
Faster R-CNNは物体候補の生成と分類で画像特徴を共有する。原論文ではPASCAL VOC 2007の条件で300候補のRPNがSelective Searchの2000候補を上回った。速度と精度は特徴抽出器とGPU条件に依存する。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
U-Net 論文の解説：少数の顕微鏡画像から輪郭を学ぶ
U-Netは画像の文脈を取り込む縮小経路と、細部の位置を戻す拡大経路を結び、画素ごとの分割を学ぶ。原論文は電子顕微鏡画像と細胞追跡で成果を示したが、輪郭の指標や拡張条件を外して一般化はできない。
- 論文初公開（arXiv）
- TRAIL公開
原論文 U-Net: Convolutional Networks for Biomedical Image Segmentation
Fast R-CNN 論文の解説：候補領域の分類を一度の画像計算へ
Fast R-CNNは画像全体の特徴を一度計算し、各候補領域から必要な特徴を取り出す。原論文はVGG16の学習をR-CNNより9倍速くしたが、候補領域の生成は別工程に残り、全処理の速度とは区別する必要がある。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Fast R-CNN
End-to-End Memory Networks 論文の解説：記憶を繰り返し参照する
End-to-End Memory Networksは文章を外部メモリの形で保持し、質問に応じて複数回読み直す。原論文は合成質問応答20課題で1回より複数回の参照が有効な場合を示したが、経路探索など難問では高い誤りが残った。
- 論文初公開（arXiv）
- TRAIL公開
原論文 End-To-End Memory Networks
知識蒸留 論文の解説：大きなモデルの予測を小さなモデルへ移す
知識蒸留は教師モデルの確率分布を温度で柔らかくし、生徒モデルの学習に使う。原論文では音声認識の10モデルアンサンブルに近い性能を単一モデルで示した。教師の誤りと評価課題は引き継ぎ得る。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Distilling the Knowledge in a Neural Network
TRPO 論文の解説：方針更新の大きさを制約する
TRPOは強化学習の方針を更新する際、旧方針からのKL距離を制約する。原論文は連続制御と7つのAtariゲームで試したが、単調改善の理論は理想化した手順に関するもので、実験版の全試行への保証ではない。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Trust Region Policy Optimization
Batch Normalization 論文の解説：ミニバッチで学習を安定させる
Batch Normalizationは中間表現をミニバッチごとに正規化し、学習する尺度とずれを加える方法だ。原論文のImageNet実験では同じ精度に必要な更新回数が減ったが、バッチ統計と推論時の統計の違いを理解して使う必要がある。
- 論文初公開（arXiv）
- TRAIL公開
原論文 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift