- WaveNetは直前までの生の波形から次の音声サンプルの確率分布を予測する生成モデルである。
- 英語と中国語の音声合成で、聞き手が評価した自然さは従来方式を上回った。
- 第2版の表1では英語のMOSがWaveNet 4.21、自然音声4.55。中国語は4.08、自然音声4.21である。
何を確かめた研究か
従来の音声合成は音響特徴や録音片の連結を使うことが多かった。WaveNetは生の波形を一サンプルずつ予測し、音声を直接生成する。未来の波形を見ない因果畳み込みと、間隔を空けて広い時間範囲を参照する拡張畳み込みを組み合わせた。
どう検証したか
論文は北米英語と中国語の音声合成を行い、聞き手による5段階の自然さ評価を、パラメトリック方式と音声片を連結する方式と比べた。話者を条件に加える実験や音楽、音素認識への応用もあるが、主要な品質比較は音声合成の条件に基づく。
入力のテキストから音声を作る実験では、言語上の情報や音声特徴を条件として波形を予測する。波形モデル単体が文章の意味や発音を全て決めるわけではない。比較した方式の前処理や合成器も含めたシステム評価としてMOSを読む必要がある。
何が分かったか
表1の英語の平均意見得点（MOS）はWaveNet 4.21、LSTM-RNNのパラメトリック方式3.67、連結方式3.86、自然音声4.55だった。中国語はWaveNet 4.08、比較方式が3.79と3.47、自然音声4.21である。論文は、比較したデータと試験文ではWaveNetが従来方式より自然だと報告する。英語と中国語で自然音声との差も違う。
限界は何か
一サンプルずつ生成するため、学習を並列化できても生成には逐次的な計算が必要になる。論文の聴感評価は対象の言語と音声データ、聞き手によるもので、他言語や長い対話、騒音下での聞き取りまで示さない。MOSは自然さの尺度であり、事実内容や発話の適切さの尺度ではない。
日本語で同じ順位になるかも、この実験からは分からない。
仕事との接点
読み上げに使うなら、対象言語の聞き手で自然さを測り、応答遅延と安定性も同時に測る。これは論文の条件から導くTRAIL編集部の提案であり、論文が現在の対話サービスでの運用を検証したわけではない。