- Mem0は長い会話から事実を抜き出し、古い記憶との重複や矛盾を調べて保存する仕組みを提案した。
- 論文の会話ベンチマークでは、全文を毎回渡す方法の回答点が高い一方、Mem0は回答時の遅延を抑えた。
- 対象は10本の長い会話。記憶を作る費用や、別の業務での成績まで示す数字ではない。
何を確かめた研究か
Mem0の原論文は、AIとの会話が長期間続くとき、過去の内容を毎回すべて入力する代わりに、必要な事実だけを保存して取り出せるかを問う。長い入力は費用と応答時間が増える。一方、要約や検索だけでは、以前の発言が後で訂正された場合に古い内容を使う危険がある。
著者らは通常のMem0と、人物や出来事の関係をグラフとして保存するMem0gを提案した。論文の初公開と参照版はともに2025年4月28日である。題名には「本番向け」とあるが、この記事では論文が測った会話試験の範囲で評価する。
どう検証したか
Mem0は新しい発言を読み、記憶すべき事実を抜き出す。既存の似た記憶と比べ、追加、更新、削除、何もしない、のいずれかを選ぶ。実験では、この抽出と判断にGPT-4o-miniを使った。Mem0gは事実間の関係をグラフにして、時系列や複数人の関係を扱う。
評価にはLOCOMOを使う。10本の長い会話に、平均で約600の発言のやり取りと約2万6千トークンがあり、各会話に平均約200問が付く。単一の事実、複数の事実、時間関係、開かれた質問の4種類を測った。正答は、語の重なりを測るF1やBLEU-1に加え、別のAI採点器による点数Jで比較する。答えが存在しない質問の部門は、参照回答がないため除外した。
何が分かったか
第1版の表2では、全会話を毎回渡す方法のJが72.90%、Mem0は66.88%、Mem0gは68.44%だった。回答品質だけなら、全文投入がこの設定では最も高い。一方、回答生成まで含む95パーセンタイルの遅延は、全文投入17.117秒、Mem0が1.440秒、Mem0gが2.590秒だった。Mem0の遅延は同条件で約92%低い。
通常のRAGで最も高い設定のJは60.97%、Mem0はそれを上回った。ただし、RAGは論文で試した分割幅と取得数1または2の設定に限る。Mem0gは通常のMem0よりJが1.56ポイント高い一方、回答時の遅延も長い。グラフ化には利点と負担の両方がある。
限界は何か
試験対象は10本の会話で、社内文書や医療記録などには広げていない。JはAI採点器による値で、人の評価と同一ではない。著者らが比較したOpenAIの記憶機能も、会話から手動で記憶を抽出して与える条件を含み、通常の製品同士の公平な実測比較ではない。
表2の遅延は質問時の検索と回答生成を測る。記憶の抽出・更新や、最初の会話を処理する負担は別に見なければならない。論文の「トークン節約」を、運用全体の費用削減と読み替えるべきではない。古い記憶が正しく削除されたか、機密情報が不要になった時に消せるかも、実務では別途検証が必要だ。
仕事との接点
長期記憶を持つAIを導入するなら、正答率と速度の両方を測り、利用者が過去の情報を訂正した後に正しく更新されるかを試す。記憶を作る費用や削除の反映まで含めて記録する。これはTRAIL編集部の提案であり、Mem0のベンチマークが自社環境の応答速度や安全性を保証するわけではない。