- Whisperの研究は、大量の音声とその文字起こしを使い、別の音声データでも働く認識モデルを作れるか調べた。
- 著者らは約68万時間の多言語・複数課題の音声で学習し、追加学習なしで公開評価データに適用した。
- 長い録音の繰り返しや聞こえない語の生成、言語ごとの性能差は、論文自身が挙げる課題だ。
何を確かめた研究か
音声認識は、同じ条件で録られたデータには強くても、録音場所や話し方が変わると精度が落ちることがある。新しい環境ごとに正解付き音声を集めて追加学習する方法にも費用がかかる。Whisperの原論文は、多様な音声と文字の組を大量に学習すれば、初めて見る公開データにも追加学習なしで対応できるかを問う。
著者らは、インターネット上の音声と対応する文章を使った。文字が完全に確認された小さなデータだけに絞らず、量と多様さを重視する「弱い教師あり学習」だ。英語の文字起こしだけでなく、ほかの言語の認識や英語への音声翻訳も一つの学習に含めた。
どう検証したか
学習に使った音声は約68万時間。公開された複数の音声認識データに対し、そのデータ専用の追加学習をせずに評価した。評価には、正解の文字列と比べた単語の誤り率「WER」を主に使う。値が低いほど、単語の置き換え、抜け、余計な挿入が少ない。ただし、文字表記の違いでも値が変わるため、著者らは比較前の表記統一にも注意を払った。
論文は、短い英語音声、多言語音声、翻訳、雑音を加えた条件、長時間音声を分けて調べている。長時間音声は短い区間に分けて処理し、そのつなぎ方や読み出し方を工夫した。したがって、一つの平均値で全条件の性能を言い表せる研究ではない。
長い録音では約30秒の処理窓をずらして先へ進む。区間の時刻を誤って予測すると、次の区間の文字起こしにも影響しうる。短い音声の評価だけでは、この連鎖する誤りを捉えきれない。
何が分かったか
英語の短い音声では、追加学習なしのWhisperと、特定のデータで学習した比較モデルが、読み上げ音声の基準データ上で近い誤り率だった。ところが別の音声データへ移すと、論文の表2ではWhisperの平均WERが比較モデルより相対的に55.2%低かった。これは、選ばれた英語の評価データと比較条件に限る結果であり、「どんな録音でも誤りが半分」という意味ではない。
多言語でも、追加学習をしない状態で一定の成績を示した。一方、論文の表3では別方式に及ばない評価データもある。著者らは、ある言語の学習データ量と、その言語での認識性能の関係も示している。多言語対応という表示だけでは、言語ごとの精度は分からない。
限界は何か
長時間音声では、同じ言葉の繰り返し、区間の最初や最後の語の欠落、音声と無関係な文章を出す場合がある。論文は、読み出し方の工夫で誤りを減らしたが、完全には解決していないと述べる。
また、学習用データは英語に偏る。多くの言語では音声データが少なく、認識性能も低いと著者らは記す。公開ベンチマークの結果だけでは、日本語の会議、話者が重なる録音、業界固有の名前をどれだけ正確に記録できるかは判断できない。
仕事との接点
会議の文字起こしを試すなら、きれいな短い音声だけでなく、実際のマイク、周囲の雑音、長時間の録音、専門用語を含むサンプルを使う。重要な議事録では、発言内容と生成された文章を人が照らし合わせる手順も必要だ。これはTRAIL編集部の提案であり、論文は日本企業の会議運用における費用対効果を検証していない。