ID:64068さん

# プロジェクト概要 ## テキスト音声合成システムについて テキスト音声合成システムとは、テキストから人工的な音声を作り出す技術です。入力として与えられるテキストからテキストの内容を反映した人工的な音声発話を出力します。AppleのSiri、AmazonのAlexaなどに代表される活用される技術で、LINE CLOVAにも活用される技術です。 一般的なテキスト音声合成システムは言語処理部、音響モデル、ボコーダーの3つのモジュールから構成されます。 1つめの言語処理部では、日本語テキストから音声の言語的な情報を表す言語特徴量を作成します。テキストから自然な合成音声を生成するにあたって、言語処理部では言語依存のテキスト正規化、音素系列への変換、アクセント位置の予測、音声的なポーズ位置の予測など数多くの処理が行われます。このような様々な処理によって抽出される言語特徴量の品質により、合成音声の品質が大きく左右されます。 例えば、「朝の空気は爽やかです。」という生テキストを言語処理部によって「asano kuukiha / sa wayaka desu.」のような表記から構成される言語特徴量へと変換します。この言語特徴量は、音素系列から構成され、赤字をアクセント、'/'記号の位置をポーズ位置として表しています。 2つめは音響モデルです。音響モデルでは、言語処理部によって作成された言語特徴量を音響特徴量へと変換します。音響特徴量とは音声の音響的な情報を表す特徴量を指し、メルスペクトログラムなどが用いられます。言語特徴量から直接音声波形を生成することは難しいため、音響モデルによって一旦音響特徴量へと変換します。 そして最後に3つめはボコーダーです。ボコーダーは音響モデルによって変換された音響特徴量から音声波形を生成します。 ## 言語処理部における句境界予測について 言語処理部では、言語特徴量として音声的なポーズを挿入します。このようなポーズを句境界と呼びます。句境界は連続する句の間に挿入される音声的なポーズとして定義され、息継ぎやアクセントの変化などによって発生します。一般的にテキスト上で句境界は読点で表され、テキスト音声合成システムが読点を観測した時、音声的なポーズとして句境界が挿入されるとして判定されます。 しかし、このようなルールベースの手法では音声的に正しい位置にポーズを挿入することができないため、機械学習に基づく句境界予測手法が研究されてきました。 また、日本語を対象とした句協会予測の研究手法はいままで提案されてきませんでした。 そこで本プロジェクトでは、より自然な音声を生成するために、句境界の挿入位置を適切に予測するモデルの研究開発を行いました。 研究結果は音声信号処理分野のトップカンファレンスであるINTERSPEECH2021に採択されています。 詳しい手法や実験結果については以下URLをご参照ください。 arxiv: https://arxiv.org/abs/2104.12395 blog: https://engineering.linecorp.com/ja/blog/newgrads-nlp-text-to-speech/ # チーム構成・規模 研究メンバー: 4名 自分の役割 - First authorとして問題設定、実装、実験、論文執筆の実施。