目の見えない開発者が単独でスピーチシンセサイザーを構築した方法

私たちは皆、何らかの形で、視覚の問題を抱えているユーザーに遭遇しました。 UIの責任者は、サイト、モバイルアプリケーション、その他のソフトウェアに関係なく、そのような人々のニーズを考慮する必要があることを知っている可能性が高いため、コントラストを上げたり、フォントを大きくしたりするモードを作成しました。



しかし、ユーザーが完全に盲目であり、これらすべてのモードが彼の生活を楽にしない場合はどうなりますか？これは、スクリーンリーダーとサウンドシンセサイザーがアリーナに入る場所です。そして今日はそのうちの一つについてお話ししたいと思います。



これはRhVoiceから呼び出され、Habréに関するいくつかの出版物で言及されています。しかし、多くの人がそれをロシアの（そしてそれだけではない）スピーチの最高の無料シンセサイザーであると考えていることを知っていました、そしてそれは完全に盲目の開発者-オルガヤコブレバによって一人で書かれましたか？



今日、私たちは歴史的な正義を取り戻し、シンセサイザー自体、特にオルガについて少し学びます。



すぐに すべてのカードを開きましょう：synthesizer githubシンセサイザー



コードはGPLの下で無料で配布されます。つまり、誰でも製品に統合できます。Windows、Linux、Androidの3つのプラットフォームで利用できます。Olgaは開発者だけであり、Linuxで動作します。ロシア語のスピーチの（オープンソースの）最高のシンセサイザーは、ユーザー自身によって考慮されており、これらは視力の悪い人々だけではありません。その作業では、シンセサイザーは統計的パラメトリック合成を使用し、HTSなどの既存のプロジェクトの開発に基づいていました、および公開された科学的研究。これは、隠されたマルコフモデルで動作するハイブリッドディープニューラルネットワークです。このようなネットワークのタスクは、観測可能なものに基づいて未知のパラメータを解決することです。これは最も単純なベイジアンネットワークであると考えることができます。 HTS自体は、別のプロジェクトであるHTKの開発に基づいていました。しかし、ここでは、アルゴリズムや適用された手法の説明など、いくつかの開発が無料で公開されていることに最も関心があります。



シンセサイザー自体は、日常業務のツールとして位置付けられています。それは本を鳴らすようなより創造的な目的に使用することができますが、人々が話しているときはそれでもより良いです。



オルガは、ほぼ10年前にプロジェクトを開始しました。そのとき、彼女はLinuxの研究を始め、そこで自分にとって便利なシンセサイザーを見つけられませんでした。彼女は、このための特別なBrailleディスプレイを使用して、すべてのコードを自分で作成します。これは、テキスト情報を6つのドットブレイル文字の形式で表示するように設計された特別なデバイスです。彼女はまた、その歴史をDOSにさかのぼり、視覚障害者の積極的な参加によって作成されたスクリーンリーダーであるJAWSも使用しています。



紹介が終わったので、スピーチシンセサイザーの世界をもう少し深く掘り下げてみましょう。

スピーチシンセサイザーとは何ですか？何が含まれていますか？

従来、シンセサイザーは、言語コンポーネントと音声信号生成コンポーネントの2つの部分で構成されていると考えられていました。言語コンポーネントは、スクリーンリーダーから受信したテキストを分析します。そのタスクは、テキストを文に、文をフレーズ、単語、音節に分割することです。最後に、すべての単語の文字起こしが作成され、そこから音のマップが作成されます（誰もが知っているように、それが常に書かれている、または言われている方法ではありません）。この分析は、さまざまな研究の深さで行うことができます。たとえば、RhVoiceには、文や音声の一部での役割の定義などの複雑な操作のためのリソースが不足しています。ただし、いずれの場合も、解析の最後に、事前に録音されたサウンドのベースを使用して音声信号生成コンポーネントで組み立てる必要のあるサウンドのセットを取得します。各コンポーネントについては、後で詳しく説明します。





シンセサイザーでの作業のデモンストレーション

オルガの物語

オルガはチェボクサリーに住み、チュバシュ州立大学の数学部を卒業し、プログラマーとして働いています。すべての盲人のように、彼女は専門学校で勉強しました。当初、ニジニー・ノヴゴロドの学校には6つのクラスがありました。当時、チェボクサリーには完全に盲目の子供を受け入れる場所がなかったためです。しかし6年後、彼女はまだ故郷に戻ることができ、オルガはチェボクサリーでの勉強を終えました。同じ学校で、オルガは数学に夢中になり、後に数学部に入学することができました。ある時点で、彼女はIWTに入ることを考えていましたが、ここでは彼女自身の能力の不確実性が影響を及ぼしました。はい、そして数学部の卒業生の中には何人かの盲人がいました、そして紹介インタビューで、学部長は彼らのプログラマーがICTよりもさらによく準備されていると言いました。



オルガは、学校ではなく大学でコンピューターを使った最初の経験をしました。図書館では、JAWSプログラム（1989年以来歴史をリードしてきたスクリーンリーダー）がインストールされた、視覚障害者用の特別なコンピューターを購入しました。そこで彼女はサラ・モーリーの有名なWindows95の教科書を学びました。おそらく、あなたは今、驚くでしょう。あなたが聞いたことがないような有名な教科書は何ですか？答えはその名前にあります：「視覚障害者のためのWindows95」..。そのような教科書と私たち全員に馴染みのある教科書との主な違いは、さまざまなオブジェクトとそれらを管理するためのオプションを説明することに重点を置いていることです。目の不自由な人にとっては、「ドロップダウンリストをクリックして目的のメニュー項目を選択する」というフォームの指示はやや役に立たないからです。画面やマウスカーソルなどは表示されません。ウィンドウとドロップダウンリストがどのように表示されるかはわかりません。ちなみに、このため、別の非自明なニュアンスが発生します-盲目の人々は、使用されるシンセサイザーのビットの人質である可能性があります。そのため、5年前のWindows 8への移行中に、多くの人が音声シンセサイザーからの64ビットアプリケーションのサポートの欠如に直面し、このサポートがすでに実装されているRhVoiceに切り替えました。



しかし、オルガが自分で新しいエリアを探索し始めたばかりの時代に戻りましょう。当時のスピーチシンセサイザーは、ニコライの声によるディガロプログラムでした。これは非常に標準的なバンドルであるため、その作業の結果は、オンラインにアクセスしたすべての人に聞かれました。彼の声は「ロボット」という言葉の代名詞と見なすことができるため、彼はインターネット文化にしっかりと参入し、YouTubeの無数のビデオで使用されました。これがおそらく、絶対的な大多数がディガロがニコライの姓であると確信している理由です。 





ディガロニコライの栄光

自分のプロジェクトを始める

オルガのシンセサイザーの世界への旅は、フェスティバルシンセサイザー用のNVDA（NonVisual Desktop Access）ドライバーの開発から2010年頃に始まりました。 NVDAは無料のスクリーンリーダーで、視覚障害者や視覚障害者がコンピューターを完全に操作できるようにします。同様のクラスのプログラムには、音声シンセサイザーとブレイルディスプレイに出力する機能が含まれています。



フェスティバルのおかげで、オルガはスピーチシンセサイザーの世界に飛び込み、営利企業だけでなく、コンピューターに話をさせたい人もいることを発見しました。当時、すでにいくつかのオープンスピーチシンセサイザーがあり、それらは主にスピーチ合成技術を研究している科学者によって配布されていました。



そのため、オルガは同じフェスティバルで経験豊富な同僚の作品に基づいて最初の実験を行いました。これは、1995年にAlanBlackが率いる科学者のグループによって作成されたアカデミックスピーチシンセサイザーです。彼らは合成の方法を開発し、彼らの研究に基づいて彼ら自身のシンセサイザーを作りました。それはもともと彼らの仕事の結果の単なるデモンストレーションでした。時が経つにつれ、同様に重要なプロジェクトFestVoxが追加され、新しい人工的な声を生成できるようになりました。さらに、かなり優れたドキュメントが追加されました。その時、フェスティバルはすでにかなり良いスピーチベースでアレクサンダーのロシアの声を持っていました。



スピーチベースとは何ですか：RhVoiceの場合、これらは1000以上の特別な文であり、明確で感情のない発音で話者によって読まれます。これらの文は、すべてのダイフォン、つまり2つの電話のすべての組み合わせが含まれるように選択する必要があります。そして、より大きな変動性のためにそれぞれ数回あればいいでしょう。記憶によると、最初のバージョンでは約600のフレーズが使用されていました。さらに、シンセサイザーはこれらの音から任意の単語を形成することができます。この方法は英語ではユニット選択と呼ばれ、我が国ではスピーチユニットの選択方法として知られています。はい、最もファッショナブルで若々しいわけではありませんが、アイアンのように確実に機能します。各文はデータベースに入力され、分析されます。音が決定され、音節、単語、文での位置が決定されます。個々の電話番号は分類され、相互の相対的な位置など。逆の操作、つまり音声合成中に、文字起こしから取得した各電話番号について、データベースから最も適切な（読み取り：閉じる）例を選択するだけです。厳密な対応を見つけることが可能な場合もあれば、最も類似したものに満足しなければならない場合もあります。哲学者の世界では、これは理論的および実用的な音声学と呼ばれ、昨日発明されませんでした。したがって、音声学の教科書を読まずに音声合成装置を使用することは不可能です。ちなみに、モスクワ州立大学では特に優れた教科書が出版されました。哲学者の世界では、これは理論的および実用的な音声学と呼ばれ、昨日発明されませんでした。したがって、音声学の教科書を読まずに音声合成装置を使用することは不可能です。ちなみに、モスクワ州立大学では特に優れた教科書が出版されました。哲学者の世界では、これは理論的および実用的な音声学と呼ばれ、昨日発明されませんでした。したがって、音声学の教科書を読まずに音声合成装置に従事することは不可能です。ちなみに、モスクワ州立大学では特に優れた教科書が出版されました。



そして、これらのオファーはどこで入手できますか？自分で書くこともできますが、これはかなり難しい作業であり、2つの代替方法があります。事前に誰かが書いた文章をとることはできますが、著作権を侵害したり、個人のお金がかかる場合があります。したがって、一部の声の作者はWikipediaのテキストを使用しています。英語やロシア語などの大きな言語の場合、必要な例を簡単に見つけることができます。この意味で、小さな言語は幸運ではありません。たとえば、このトリックはベラルーシのウィキペディアでは機能しませんでした。



言語と声の違いは何ですか？結局のところ、7年前にはまだウクライナ人やタタール人のアナウンサーはいませんでした。それらはシンセサイザーでどのように表示されますか？

スピーチシンセサイザーの声

それはすべて、この言語の音声システムが正式に記述されているデータベースを作成することからなる言語の分析から始まります。そのような基地はすでに誰かによって作られ、市場で売られることができます（非常に良いお金で）。それ以外の場合は、自分で行う必要があります。各言語の分析のために、個別のプログラムが開発されており、言語の複雑さにもよりますが、これには最大1年半の作業が必要になる場合があります。たとえば、イタリア語は音声合成の点で非常に単純ですが、アラビア語や中国語などの言語は非常に複雑です。しかし、平均して、言語アナライザーは1年で作成されます。準備ができた後、すでに声が書かれています。これには約3か月かかりました。スタジオでのボイスオーバーやその他の作業の録音には、2〜3週間かかります。これは事実によるものです話者は1日約4時間、質の高い美しさで話すことができます。それから彼は疲れて、もはや十分にきれいに聞こえません。これが愚かだと思うなら、いいえ-これらの記録の品質には非常に深刻な要件が課せられます。営利企業は、声の主観的な美しさだけでなく、可能であれば、シンセサイザーの特定の言語に特定の声を使用して、全体のキャストを行います。



次に、レコードはデータベースに従ってチャンクにセグメント化され、言語アナライザーを使用して、これらのチャンクが結合されます。つまり、これは名詞であり、動詞であり、この隣にあるという分析が行われます。つまり、このように聞こえ、最も近い電話番号が置き換えられます。したがって、アナライザーの役割は非常に重要です。つまり、単語内の音節の配置だけでなく、文内の単語の配置や句読点も考慮に入れる必要があります。これはすべて発音に影響します。一部の言語では、同じ単語が名詞であるか動詞であるかによって、発音が異なる場合があります。



しかし、これは商用製品のルートであり、その作成者はそのような詳細な調査のためのリソースを持っています。独立した開発者は、より単純なオプションを使用します。音声の一部による完全な分類はありませんが、たとえば、独立した単語/前置詞/結合などのレベルでのみ使用されます。オルガはさらに独自の道を歩み、教科書や音声学に関する記事に基づいて言語モジュールを作成しました。幸いなことに、このトピックに関しては十分な数の研究が発表されています。



ほとんどのシンセサイザーが最初に女性の声を持っていることに気づきましたか？これは作者の好みによるものではなく、女性の声の発達の複雑さによるものです。女性の声は当然高く、高い周波数は低い周波数よりも処理が困難です。そして、あなたがなんとか女性の声を作ることができれば、男性の声は間違いなくうまくいくでしょう。しかし、それどころか、事実ではありません。

オルガの場合、これはトピックに対する個人的な情熱であり、必需品ですらあります。商業開発はどうですか？追加する言語と追加しない言語をどのように決定しますか？すべてへの答えはお金です。最初の明白なオプションは、新しい声の可能な販売市場を分析することです。簡単に言えば、国の経済水準はどのくらいで、住民は製品を購入するお金を持っているかどうかです。 2番目のインセンティブはすでにもっと興味深いものです。特定の言語の音声合成を作成することは、政府または他の組織の要望です。したがって、音声シンセサイザーは、誰かがこれを処理し、開発にお金を割り当てたという理由だけで、非常に小さな言語用に作られました。そして、例えば、スカンジナビア諸国では、すべての書かれた文書が視覚障害者や視覚障害者にアクセス可能でなければならないという法律があります。したがって、発行された新聞には独自の音声バージョンが必要です。



そして、価格の順序を理解するために：民間企業からの新しい声の開発は、言語の複雑さに応じて、約1万から4万ユーロの費用がかかります。アナライザーモジュールの開発には何倍もの費用がかかります。 RhVoiceに関して、Olgaは原則的な立場にあります-彼女のプロジェクトは常に無料です。では、アナウンサーのお金はどこから来るのでしょうか。初期の段階では、助けを提供するボランティアがいました。彼らは独自のスタジオを持っていて、アナウンサーにお金を払うことを申し出たので、オルガはボイスオーバーの提案のリストしか送ることができませんでした。これは、いくつかの新しい言語がRhVoiceに登場した方法です。それから彼らは特定の要求で彼女に目を向け始めました。



しかし、さらなる開発の運命は、無料アクセスで必要なリソースを見つけることにかかっています。たとえば、以前はウクライナ語のストレスのオープン辞書はなく、ストレスがどのように配置されているかを知らずにシンセサイザーを構築することは不可能です。現在はすでに追加されていますが、多くの作業が行われています。ロシア語は、資料の入手可能性の点ではるかに幸運です。そして、カノンボイス「アレクサンダー」はその作成者によって公開されました。そのおかげで、オルガはスピーチシンセサイザーの作成に関する最初の実験を開始することができました。



言語がまったくわからない場合、どうすればシンセサイザーを作成できますか？従来、あなたはロシア語と英語を知っていますが、アラビア語を開発するように求められていますか？技術的な制限はありません。主なことは、言語やその構造に関する記事や資料をインターネットで見つけたり、哲学者に相談したりすることです。これは、最初の音声シンセサイザーを開発するのに十分かもしれません。実際、概して、開始情報の量は標準的です：音韻のリスト、文字表現から発音までの転写規則、音声の補助部分に関する詳細など。主な問題は、開発者がネイティブスピーカーの参加なしに彼の仕事の結果を確認できないことです。そして、ネイティブスピーカーは明確で理解できないフィードバックを与えるだけでなく、何かがうまくいかなかった場所のすべての微妙なニュアンスを説明する必要があります。 RhVoiceの場合、Tatarは非常に難しい言語になっています。哲学者はオルガを大いに助け、彼女はこれらの仕事を始めた盲人と視覚障害者のためのカザン図書館の代表者とつながりました。シンセサイザーの作業の過程で、ロシア語から借用した単語の正しい発音の別の辞書が編集されました。そのため、借用はロシア語ではなく、タタール語の規則に従って正確に聞こえます。そして、そのような辞書がプロの哲学者によって編集されたのは良いことです。たとえば、Kyrgyzにはそのような辞書はなく、技術的にはまだ発見されていない問題領域、解決方法がたくさんあります。シンセサイザーの作業の過程で、ロシア語から借用した単語の正しい発音の別の辞書が編集されました。そのため、借用はロシア語ではなく、タタール語の規則に従って正確に聞こえます。そして、そのような辞書がプロの哲学者によって編集されたのは良いことです。たとえば、Kyrgyzにはそのような辞書はなく、技術的にはまだ発見されていない問題領域、解決方法がたくさんあります。シンセサイザーの作業の過程で、ロシア語から借用した単語の正しい発音のために別の辞書が編集されました。そのため、借用はロシア語ではなく、タタール語の規則に従って正確に聞こえます。そして、そのような辞書がプロの哲学者によって編集されたのは良いことです。たとえば、キルギスにはそのような辞書はなく、技術的にはまだ発見されていない問題領域、解決方法がたくさんあります。



別の問題はストレスの配置です。一部の言語では、ストレスの場所を予測できますが、同じロシア語とウクライナ語では、辞書なしでは実行できません。さらに、これらの辞書に基づくストレス予測アルゴリズムがあります。しかし、基本的な語彙を持たずにこれを行うことは不可能です。



将来は何ですか？むしろ、ユーザーが最も頻繁に求める新機能や既存の機能の改善は何ですか？ここで議論の余地のないリーダーは、1つまたは別の言語を追加する要求です。新しい言語での作業が進行中ですが、上記のように、これはそれほど速くはなく、外部の専門家の助けに依存しています。また、より自然に近づけるために音質の改善を求める声も多く聞かれます。ただし、Olgaで利用可能なツールを使用すると、ここで劇的な改善はありません。確かに、バージョンごとに、サウンドの変更は引き続き行われます。



現在、Olgaは、モバイルデバイスで十分なパフォーマンスを提供できる低レベルのCのような言語で記述されたニューラルネットワーク用の既製のコンポーネントがあることを望んでいます。また、携帯電話で起動すると、他のプラットフォームでも動作します。そのようなプロジェクトはすでに開発されており、その後、彼女はシンセサイザーを作り直すことができるようになります。解決すべきもう1つの重要な問題は、RhVoiceに独自の言語と音声を追加する簡単で直接的な方法がないことです。この作品にお金を払う準備ができている人もいますが、問題はエルクラシコです。多くのリクエストがあり、オルガはその1つです。ほとんどの楽しいプロジェクトと同様に、コードベースは魔法の森なので、作成者以外の誰かがそれを理解するのは致命的な作業です。 ..。これらのプロジェクトのほとんどで、開発者は希望する人に一連のツールとドキュメントを提供します。これにより、言語の音声学を知り、残りの知識を持って、独自の言語モジュールを作成できます。これまでのところ、オルガにはどちらもありません。しかし、そうする計画があります。



結論として、このように、1人の熱心な人のおかげで、非常に良い仕事が長年にわたって行われていると言いたいと思います。オルガ、ありがとうございました。

オルガの利己的な仕事に感謝したり、RhVoiceの開発に参加したり、知識、ベストプラクティス、スポンサーシップでプロジェクトを支援したりする場合は、彼女のgithubからオルガに連絡してください。