- 同じ文を独立のdropoutで二度符号化すると、教師なし対照学習の正例を作れる。
- 教師あり設定では自然言語推論の含意文を正例、矛盾文を難しい負例に使う。
- 七つのSTSタスク平均は教師なしBERT-baseで76.25、教師ありBERT-baseで81.57だった。
何を確かめた研究か
文をベクトルに変換し、意味の近い文どうしを近くに置くと、検索や重複検出に使える。ただし、どの文を「近い」と教えるかは難しい。SimCSEの論文は、文を二度モデルに通すだけで対照学習の正例を作れるかを調べた。
教師なし設定では、入力文は同じでも、ニューラルネットワーク内部のdropoutが独立に働くため、少し異なる二つの表現が得られる。この二つを近づけ、バッチ内の別の文を遠ざける。学習にSTSの類似度ラベルを使わない点が特徴だ。
教師ありの設定
もう一つの設定では自然言語推論のデータを用いる。ある文から導かれる含意文を正例、反対の意味を持つ矛盾文を難しい負例にする。教師なしと教師ありの二つを同じ名前で呼ぶが、必要な訓練データは異なる。どちらの結果かを区別せずに性能を引用すると、導入時の条件を見誤る。
論文は複数の既存の文埋め込み法と比較し、七つの意味類似度タスクの平均を報告する。BERT-baseを用いた教師なしSimCSEは76.25、教師ありSimCSEは81.57だった。これは評価セットと相関指標をそろえた比較であり、検索業務そのものの成功率ではない。
なぜdropoutが効くのか
同じ文の二つの表現を単に一致させるだけでは、すべての文が似た表現になる危険がある。論文では対照学習で他の文を負例とし、dropoutによるゆらぎを与える。dropoutを取り除くと訓練が表現の崩壊に向かうという分析も示す。つまり、データ拡張をほとんど加えないように見えても、モデル内部の確率的な変化が学習を支えている。
限界と仕事との接点
STSは人が付けた文の意味的な近さを測る課題であり、製品検索で必要な関連性、事実性、安全性をすべて測るわけではない。また、教師あり方式では自然言語推論データの言語や文体が新しい領域と異なる可能性がある。
社内文書検索で使う場合は、論文の平均値だけで選ばず、自社の問い合わせと文書から小さな評価集合を作り、キーワード検索や既存モデルと比較したい。誤って近いとされた文がどんな種類かも見る。これはTRAIL編集部の実務提案で、論文が個別の業務環境を検証した結果ではない。