- Tacotronは文字列から音声の時間周波数表現を生成し、従来の複雑な段階をまとめようとした。
- US英語の自然さの5点評価は3.82で、比較したパラメトリック方式の3.69を上回った。
- 連結型の方式は4.09で、Tacotronが全方式を上回ったわけではない。
何を確かめた研究か
Tacotronの原論文は、文章を読む音声を作る工程を、個別の言語分析・音響モデル・波形生成の手作業の設計に強く依存させず学習できるかを問う。文字と録音の組から、注意機構を使うsequence-to-sequenceモデルが音声のスペクトログラムを生成する。スペクトログラムから最終的な波形へ戻す段階にはGriffin-Limを使うため、文字から波形まで完全に一つのニューラルモデルという意味ではない。
どう検証したか
US英語の学習済みモデルを、未見の100文で人に聞いてもらい、自然さを5段階で評価した。一文につき8件の評価を集め、ヘッドホンを使った回答だけをMOS（平均意見点）へ含めた。比較したのは当時の実運用パラメトリック方式と録音断片の連結方式。主観評価なので声質、文章、再生条件が結果に効く。
何が分かったか
表2ではTacotronが3.82±0.085、パラメトリック方式が3.69±0.109、連結方式が4.09±0.119だった。Tacotronはパラメトリック方式より高いが、連結方式より低い。論文は、音声をサンプル単位ではなくフレーム単位で生成するため、一部の自己回帰的な波形生成法より推論が速いと説明する。ただし表2は速度を測った表ではなく、この主張を任意の機器での倍率として使えない。
図4の要素除去では、後処理ネットワークを入れることでスペクトログラムの高周波成分が改善したと分析する。自然さの改善に関わる設計は注意機構だけではない。
実験は自然さに関する主観点であり、読み飛ばしや内容の誤りを個別に数えた値ではない。また比較した連結方式は録音した断片を利用するため、音質だけを学習方式の差と解釈できない。
限界と仕事との接点
Griffin-Limの波形化には聞こえる雑音が残り得ると著者らは述べる。英語一言語の試験で、日本語の読み分けや専門語の発音を保証しない。音声合成を評価するなら、自然さ、発音の正しさ、数字・固有名詞の読み、遅延を別々に測り、同じ再生条件で人に聞いてもらう。最後はTRAIL編集部の提案である。