未来を予測する：ニューロコンピューターの音声認識モデル

人間のスピーチとは何ですか？これらは単語であり、その組み合わせにより、この情報またはその情報を表現できます。疑問が生じます。ある単語が終わり、別の単語が始まるとき、どうやって知るのでしょうか。質問は奇妙で、多くの人が考えるでしょう。誕生から私たちは周りの人々のスピーチを聞いて、私たちは話したり、書いたり、読んだりすることを学ぶからです。もちろん、蓄積された言語知識の荷物は重要な役割を果たしますが、それに加えて、音声の流れを構成要素の単語や音節に分割する脳のニューラルネットワークがあります。今日は、ジュネーブ大学（スイス）の科学者が、単語と音節を予測することにより、音声復号化のニューロコンピュータモデルを作成した研究について学びます。どの脳のプロセスがモデルの基礎になったか、大きな言葉「予測」が意味するものは、作成されたモデルはどの程度効果的ですか？これらの質問への答えは、科学者のレポートで私たちを待っています。行け。

研究の基礎

私たち人間にとって、人間の発話は理解可能で明瞭です（ほとんどの場合）。しかし、マシンの場合、これは単なる音響情報のストリームであり、理解する前にデコードする必要がある固体信号です。



人間の脳はほとんど同じように機能しますが、それは非常に迅速に発生し、私たちには気付かれません。科学者たちは、このプロセスや他の多くの脳プロセスの基盤は、特定のニューロンの振動とそれらの組み合わせであると信じています。



特に、音声認識はシータとガンマ振動の組み合わせに関連付けられています。これは、音韻の持続時間と時間的起源の事前の知識なしに、音節の音素のエンコーディングを階層的に調整できるためです。アップストリーム処理*リアルタイム。

* (bottom-up) — , .

自然な音声認識は、文脈信号に大きく依存して、音声信号の内容と時間構造を予測します。以前の研究では、連続スピーチの知覚中に重要な役割を果たすのは予測メカニズムであることが示されています。このプロセスはベータ版の振動に関連しています。



脳が絶えず環境のメンタルモデルを生成および更新する場合、音声認識のもう1つの重要なコンポーネントは予測コーディングと呼ばれます。このモデルは、実際のタッチ入力と比較されるタッチ予測を生成するために使用されます。予測信号と実際の信号を比較することで、メンタルモデルを更新および修正するために役立つエラーを特定できます。



言い換えれば、脳は常に何か新しいことを学び、常にその周りの世界のモデルを更新しています。このプロセスは、音声信号の処理において重要であると考えられています。



研究者たちは、多くの理論的研究が音声処理へのボトムアップとトップダウン*の両方のアプローチをサポートしていることに注意しています。

トップダウン処理*（トップダウン）-リバースエンジニアリング手法を使用して構成サブシステムのアイデアを取得するためのシステムのコンポーネントへの分析。

以前に開発されたニューロコンピューターモデルは、現実的なシータとガンマ興奮性/抑制性ネットワークの接続を含み、音声を前処理して、正しくデコードできるようにしました。



予測コーディングのみに基づく別のモデルでは、個々の音声要素（単語または単一の音声要素として表示される場合は全文など）を正確に認識することができます。



したがって、どちらのモデルも、異なる方向で機能しました。 1つは音声分析のリアルタイムの側面に焦点を当て、もう1つは孤立した音声セグメントの認識に焦点を当てました（分析は不要）。



しかし、これらの根本的に異なるモデルの基本原理を1つに結合するとどうなるでしょうか。私たちが検討している研究の著者によると、これにより、パフォーマンスが向上し、ニューロコンピューター音声処理モデルの生物学的リアリズムが向上します。



彼らの研究では、科学者たちは予測コーディングに基づく音声認識システムが神経振動のプロセスから何らかの利益を得ることができるかどうかを確認することを決定しました。



彼らは、予測符号化構造に基づいてニューロコンピュータモデルPrecoss（予測符号化と音声の振動から）を開発し、自然な音声の連続的な性質に対処するためにシータおよびガンマ振動関数を追加しました。



この研究の具体的な目標は、予測コーディングと神経振動の組み合わせが、自然文の音節構成要素の運用上の識別に有益であるかどうかという質問への回答を見つけることでした。特に、シータ波が上流および下流の情報ストリームと相互作用できるメカニズムが検討され、この相互作用が音節復号化プロセスの効率に及ぼす影響が評価されました。

アーキテクチャPrecossモデル

モデルの重要な機能は、連続音声に存在する時間信号/情報を使用して、音節の境界を決定できる必要があることです。科学者たちは、時間的予測を含む内部生成モデルがそのような信号から利益を得るはずであることを示唆しています。この仮説と、音声認識中に発生する反復プロセスを説明するために、連続予測コーディングモデルが使用されました。



開発されたモデルは、「何を」と「いつ」を明確に分離します。 「何」-音節のアイデンティティとそのスペクトル表現（一時的なものではなく、スペクトルベクトルの順序付けられたシーケンス）を指します。 「いつ」は、音節のタイミングと持続時間を予測することを指します。



結果として、予測は2つの形式を取ります。thetaモジュールによって通知される音節の始まりです。ガンマ同期単位シ​​ーケンスの持続時間を定義する外因性/内因性シータ振動によって通知される音節持続時間（下の図）。





画像＃1



Precossは、生成モデルを参照して、そのソースの内部表現からセンサー信号を抽出します。この場合、タッチ入力は、音声信号の遅い振幅変調と、モデルが4つのコンポーネントから内部的に生成する完全な自然文の6チャネル聴覚スペクトログラムに対応します。

• シータスイング;
• シータモジュールの遅い振幅変調のブロック;
• 音節単位のプール（自然な紹介文にあるのと同じ数の音節、つまり4から25まで）;
• スペクトル時間モジュールの8つのガンマ単位のバンク。

一緒に、音節の単位とガンマ波形は、入力スペクトログラムに関するトップダウン予測を生成します。8つのガンマ単位はそれぞれ、音節の1つの位相を表します。それらは順次アクティブ化され、アクティブ化シーケンス全体が繰り返されます。したがって、音節の各単位は、それぞれ6つの成分（周波数チャネルごとに1つ）を持つ8つのベクトル（ガンマ単位ごとに1つ）のシーケンスに関連付けられています。個々の音節の音響スペクトログラムは、音節の持続時間全体を通して、音節の対応する単位をアクティブにすることによって生成されます。



シラブルブロックは特定の音響パターンをエンコードしますが、ガンマブロックは、シラブルの期間中、対応するスペクトル予測を一時的に使用します。シラブルの長さに関する情報は、その瞬間的な速度がガンマシーケンスの速度/持続時間に影響するため、シータ波によって与えられます。



最後に、目的の音節に蓄積されたデータは、次の音節を処理する前に削除する必要があります。これを行うために、音節の最後の部分をエンコードする最後の（8番目の）ガンマブロックは、すべての音節単位を全体的に低い活性化レベルにリセットし、新しい証拠を収集できるようにします。





画像2



モデルのパフォーマンスは、ガンマシーケンスが音節の先頭と一致するかどうか、およびその持続時間が音節の持続時間と一致するかどうかによって異なります（50〜600 ms、平均= 182 ms）。



シラブルのシーケンスに対するモデルの評価は、シラブルのユニットによって提供されます。これは、ガンマユニットとともに、導入スペクトログラムと比較される予想されるスペクトル時間パターン（モデルの結果）を生成します。モデルは、生成されたスペクトログラムと実際のスペクトログラムの差を最小限に抑えるために、現在の音節に関する推定を更新します。活動レベルは、スペクトログラムが感覚入力に対応する音節単位で増加し、他の単位では減少します。理想的には、リアルタイムで予測エラーを最小化すると、入力音節に対応する音節の1つの異なる単位でのアクティビティが増加します。

シミュレーション結果

上記のモデルには生理学的に動機付けされたシータ振動が含まれています。これは、音声信号の低速振幅変調によって制御され、音節の始まりと持続時間に関する情報をガンマ成分に送信します。



このシータとガンマの関係は、内部的に生成された予測と入力データから見つかった音節の境界との時間的整合を提供します（画像＃3のオプションA）。





画像＃3



遅い振幅変調に基づく音節同期の関連性を評価するために、モデルAをオプションBと比較しました。この場合、シータ活動は振動によってモデル化されませんが、ガンマシーケンスの自己反復から生じます。



モデルBでは、ガンマシーケンスの継続時間は、シータ振動によって外因的に（外部要因により）制御されなくなり、内因的に（内部要因により）シーケンスが繰り返されると、内部シータリズムの形成につながる優先ガンマ速度を使用します。シータ振動の場合のように、ガンマシーケンスの持続時間は、シータ範囲の好ましい速度を持ち、可変音節持続時間に適応する可能性があります。この場合、ガンマシーケンスの繰り返しから生じるシータリズムをテストできます。



シラビック単位で累積データを合成およびダンプするシータガンマの特定の効果をより正確に評価するために、以前のモデルAおよびBの追加バージョンが作成されました。



オプションCとDは、好ましいガンマ線照射率がないことで区別されました。オプションEおよびFは、音節の累積データをリセットしない点で、オプションCおよびDとはさらに異なりました。



モデルのすべてのバリアントのうち、Aのみが真のシータガンマ関係を持ち、ガンマ活動はシータモジュールによって決定されますが、Bモデルでは、ガンマレートは内因的に設定されます。



モデルのどのバリアントが最も効果的であるかを確立する必要がありました。そのバリアントの作業の結果は、共通の入力データ（自然文）の存在下で比較されました。上の画像のグラフは、各モデルの平均パフォーマンスを示しています。



オプション間には大きな違いがありました。モデルAおよびBと比較して、モデルEおよびF（平均23％）およびCおよびD（15％）ではパフォーマンスが大幅に低下しました。これは、新しい音節を処理する前に、前の音節に関する蓄積データを消去することが、自然音声での音節ストリームの符号化における重要な要素であることを示しています。



オプションAおよびBとオプションCおよびDを比較すると、刺激（A）または内因性（B）のいずれであっても、シータガンマの関連付けにより、モデルのパフォーマンスが大幅に向上します（平均8.6％）。



一般的に言って、モデルのさまざまなバージョンを使った実験では、（音節のスペクトル構造に関する内部情報に基づいて）ガンマユニットの各シーケンスの後に音節ユニットがリセットされたとき、およびガンマレートがシータガンマカップリングによって決定されたときに最適に機能することが示されました。



したがって、自然な文章を使用したモデルのパフォーマンスは、刺激によるシータ振動による音節の開始の正確なシグナリングにも、シータ-ガンマ関係の正確なメカニズムにも依存しません。



科学者自身が認めているように、これはかなり意外な発見です。一方、刺激駆動型と内因性シータガンマリンクの間にパフォーマンスの違いがないことは、自然な発話における音節の持続時間がモデルの期待に非常に近いという事実を反映しています。この場合、入力データによって直接駆動されるシータ信号には利点がありません。



そのような予期せぬ出来事のターンをよりよく理解するために、科学者は別の一連の実験を行いましたが、圧縮された音声信号（x2およびx3）を使用しました。行動研究が示すように、x2倍に圧縮されたスピーチの理解は実質的に変化しませんが、3倍に圧縮されると大幅に低下します。



この場合、刺激されたシータガンマリンクは、音節の解析とデコードに非常に役立ちます。シミュレーション結果を以下に示します。





画像＃4



予想通り、圧縮率が上がると全体的なパフォーマンスが低下しました。 x2を圧縮するために、刺激と内因性シータガンマリンケージの間にまだ有意差はありませんでした。しかし、圧縮x3の場合には大きな違いがあります。これは、シータガンマリンクを駆動する刺激主導のシータウォブルが、内因的に設定されたシータ速度よりも音節エンコーディングプロセスに有益であることを示唆しています。



したがって、比較的固定された内因性シータジェネレータを使用して自然な音声を処理できます。しかし、より複雑な入力音声信号の場合（つまり、音声レートが常に変化している場合）は、制御されたシータジェネレーターが必要です。これにより、ガンマエンコーダーに音節に関する正確なタイミング情報（音節の開始と音節の持続時間）が提供されます。



モデルが入力文の音節を正確に認識する能力は、さまざまな比較モデルの変動する複雑さを考慮していません。したがって、ベイジアン情報量基準（BIC）が各モデルに対して評価されました。この基準は、モデルの正確さと複雑さの間のトレードオフを数値化します（画像＃5）。





画像5番の



オプションAが最も高いBIC値を示しました。モデルAとモデルBの以前の比較では、それらのパフォーマンスを正確に区別できませんでした。ただし、BIC基準のおかげで、バリアントAは、刺激によるシータ振動のないモデル（モデルB）よりも自信を持って音節認識を提供することが明らかになりました。



研究のニュアンスの詳細については、科学者のレポートとそれに追加の材料。

エピローグ

上記の結果を要約すると、モデルの成功は2つの主な要因に依存すると言えます。最初に最も重要なのは、音節の内容（この場合は、そのスペクトル構造）に関するモデル情報に基づいて蓄積されたデータをダンプすることです。2番目の要素は、シータとガンマプロセスの関係です。これにより、ガンマ活動がシータサイクルに含まれ、音節の予想される期間に対応します。



開発されたモデルの中心は、人間の脳の機能を模倣したものです。システムに入る音は、神経活動を連想させるシータ波によって変調されました。これにより、音節の境界を定義できます。さらに、より速いガンマ波は音節のエンコードに役立ちます。その過程で、システムは可能な音節を提供し、必要に応じて選択を調整します。システムは第1レベルと第2レベル（シータとガンマ）の間をジャンプして、正しいバージョンの音節を検出し、次の音節のプロセスを開始するためにゼロ設定します。



実地テストでは、2888音節の解読に成功しました（自然音声220文、英語が使用されました）。



この研究は、2つの対立する理論を組み合わせ、それらを単一のシステムとして実践するだけでなく、脳が音声信号をどのように認識するかをよりよく理解することも可能にしました。私たちはスピーチを「現状のまま」、つまり 複雑なサポートプロセスなし。ただし、シミュレーションの結果を考えると、神経シータとガンマ振動により、脳が、どの音声認識が形成されるかに基づいて、どの音節を聞くかについて小さな予測を行うことができることがわかります。



誰もが何を言っても、人間の脳は時々、探査されていない宇宙の隅々や世界の海の絶望的な深さよりもはるかに神秘的で不可解なように見えます。



ご静聴ありがとうございました。好奇心旺盛で、良い週をお過ごしください。:)

一部の広告

いつもご利用いただきありがとうございます。私たちの記事は好きですか？もっと面白い資料を見たいですか？注文や友人に推薦することにより、私たちをサポートしています、$ 4.99からご開発者向けクラウドVPS、あなたのための私達によって発明されたエントリーレベルのサーバのユニークなアナログ： VPS（KVM）E5-2697 v3の（6つのコア）10ギガバイトDDR4 480ギガバイトSSDの1Gbpsについて全体の真実19ドルから、またはサーバーを正しく分割する方法は？（RAID1およびRAID10、最大24コア、最大40GB DDR4で利用可能なオプション）。



Dell R730xdは、アムステルダムのEquinix Tier IVデータセンターで2倍安いですか？オランダでは199ドルのIntel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TVが2つだけあります！デルR420-2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB-$ 99から！インフラストラクチャビルディングの構築方法についてお読みください。サーバーを使用するクラスDell R730xd E5-2650 v4は1ペニーで9000ユーロかかりますか？