- wav2vec 2.0は文字起こしのない音声で事前学習し、少量の文字付き音声で認識モデルへ調整した。
- 隠した音声表現を推測する対照学習と、離散化した音声表現を組み合わせる。
- 少量の「文字付き」データでの成績は、大量の未ラベル音声を使った条件とともに読む必要がある。
何を確かめた研究か
音声認識には音声と正確な文字起こしの組が必要だが、その作成は高価だ。wav2vec 2.0の原論文は、文字の付いていない音声から先に表現を学び、少量の正解付き音声で認識へ調整できるかを問う。音声波形を特徴列へ変え、一部の区間を隠す。その前後の文脈を使い、元の区間に対応する表現を別の候補と区別するよう学習する。
候補には音声特徴を離散的な記号へ変換したものを使う。生の波形をそのまま文章へ訳す手法ではなく、音声内の構造を捉える事前学習と、文字との対応を学ぶ後段を分けた方法である。
どう検証したか
著者らはLibriSpeechの未ラベル音声で事前学習し、文字付きデータの量を10分、1時間などに減らして微調整した。別設定ではLibri-Lightの約5万3000時間の未ラベル音声も用いる。評価は主にLibriSpeechのcleanとotherに分かれたテスト音声で、単語誤り率WERを使った。低い値ほど、単語の置換、欠落、挿入が少ない。
学習の効果を確かめるため、隠す処理や離散表現に関する設計を変えた比較も行う。結果を読む際は、文字付き音声が少ないことと、音声全体の学習量が少ないことを区別したい。事前学習には多量の録音と計算が必要である。
対照学習では、隠された位置の正しい音声表現を、同じ系列から選ぶ複数の候補と比べる。文字列を直接予測する前段階で、音の時間的な文脈を覚える仕組みだ。微調整では文字付き音声を使い、最終的に単語列との対応を学ぶ。ラベルをほとんど使わないという表現を「教師なしで完成した文字起こし」と読まない方がよい。少数例の実験では、未ラベル音声の量も条件に含まれる。
何が分かったか
論文は、文字付きデータが十分ある場合に低いWERを示し、少量の場合にも従来の半教師あり手法と比較して強い結果を報告した。特に10分の文字付き音声でも、大量の未ラベル音声による事前学習を組み合わせると認識が可能だった。これは、文字起こしの費用を抑える研究として意義がある。
ただし「10分の音声だけで高精度」という説明は誤解を招く。10分は文字付きデータの量であり、事前学習した大量の音声を含む条件の結果だ。
限界は何か
原論文の評価は主に英語の読み上げ音声を中心とする。雑音、会話の重なり、方言、専門用語、別言語で同じWERになるとは確かめていない。未ラベル音声が豊富でも、対象現場の録音と性質が違えば転移の効果は変わる。WERは文字列の一致を測るが、重要な固有名詞や数字の誤りに重みを付ける指標ではない。
事前学習を自前で行うか、既存の重みを使うかでも費用とデータの扱いが変わる。論文の比較結果だけでは、どちらが適切か決まらない。読み上げ音声と自然な会話では、話速や発音の揺れも異なる。差を分けて調べる。
仕事との接点
業務の文字起こしで試すなら、自社の録音で人が正解を付けた評価セットを作り、雑音、話者の重なり、固有名詞を分けて誤りを測る。事前学習データの条件も記録する。これはTRAIL編集部の提案であり、原論文が日本語の会議録音を評価したものではない。