1バイトの分類された情報を外部に転送せずにオープンソースの音声アシスタントを作成する方法

なぜ石油会社はNLPを必要とするのですか？どのようにしてコンピューターにプロの専門用語を理解させるのですか？ 「圧力」、「スロットル応答」、「環状」とは何かを機械に説明することは可能ですか？新入社員と音声アシスタントはどのように接続されていますか？地質学者-開発者の日常業務を容易にする石油生産支援用ソフトウェアへのデジタルアシスタントの導入に関する記事で、これらの質問に答えようとします。



当研究所では、石油業界向けに独自のソフトウェア（https://rn.digital/）を開発しており、ユーザーに気に入っていただくためには、便利な機能を実装するだけでなく、インターフェースの利便性を常に考える必要があります。今日のUI / UXのトレンドの1つは、音声インターフェイスへの移行です。結局のところ、人が何と言おうと、人にとって最も自然で便利な相互作用の形式はスピーチです。そのため、当社のソフトウェア製品に音声アシスタントを開発して実装することが決定されました。



UI / UXコンポーネントの改善に加えて、アシスタントの導入により、新入社員がソフトウェアを使用するための「しきい値」を減らすこともできます。私たちのプログラムの機能は広範であり、それを理解するのに1日以上かかる場合があります。アシスタントに目的のコマンドの実行を「依頼」する機能により、タスクの解決に費やす時間が短縮されるだけでなく、新しいジョブのストレスも軽減されます。



企業のセキュリティサービスは外部サービスへのデータ転送に非常に敏感であるため、ローカルで情報を処理できるオープンソースソリューションに基づくアシスタントの開発を検討しました。



構造的に、アシスタントは次のモジュールで構成されています。

• 音声認識（ASR）
• セマンティックオブジェクトの選択（自然言語理解、NLU）
• コマンドの実行
• スピーチの合成（Text-to-Speech、TTS）

アシスタントの原則：言葉（ユーザー）からアクション（ソフトウェア）まで！



各モジュールの出力は、システム内の次のコンポーネントのエントリポイントとして機能します。そのため、ユーザーのスピーチはテキストに変換され、処理のために機械学習アルゴリズムに送信されて、ユーザーの意図が決定されます。この意図に応じて、必要なクラスがコマンド実行モジュールでアクティブ化され、ユーザーの要求が満たされます。操作が完了すると、コマンド実行モジュールはコマンド実行ステータスに関する情報を音声合成モジュールに送信し、音声合成モジュールはユーザーに通知します。



各ヘルパーモジュールはマイクロサービスです。したがって、必要に応じて、ユーザーは音声テクノロジーをまったく使用せずに、チャットボットの形式を介してアシスタントの「頭脳」（セマンティックオブジェクトを強調表示するモジュール）に直接目を向けることができます。

音声認識

音声認識の最初の段階は、音声信号の処理と特徴の抽出です。オーディオ信号の最も単純な表現はオシログラムです。これは、任意の時点でのエネルギー量を反映しています。ただし、この情報は話された音を決定するのに十分ではありません。さまざまな周波数範囲に含まれるエネルギーの量を知ることは重要です。これを行うには、フーリエ変換を使用して、オシログラムからスペクトルへの遷移が行われます。





これはオシログラムです。





そして、これは各瞬間のスペクトルです。



ここでは、振動する気流が喉頭（ソース）と声道（フィルター）を通過するときに音声が形成されることを明確にする必要があります。音を分類するには、フィルターの構成、つまり唇と舌の位置に関する情報のみが必要です。この情報は、スペクトルの対数の逆フーリエ変換を使用して実行される、スペクトルからセプストラム（cepstrum-スペクトルという単語のアナグラム）への遷移によって区別できます。繰り返しますが、x軸は周波数ではなく、時間です。 「周波数」という用語は、セプストラムの時間領域と元のオーディオ信号を区別するために使用されます（Oppenheim、Schafer。DigitalSignal Processing、2018）。





Cepstrum、または単に「スペクトルの対数のスペクトル」。はい、はい、一般的なのは用語であり、タイプミスではありません



声道の位置に関する情報は、最初の12個のセプストラム係数にあります。これらの12のケプストラル係数は、オーディオ信号の変化を表す動的機能（デルタおよびデルタ-デルタ）で補完されます。 （Jurafsky、Martin。SpeechandLanguage Processing、2008）。結果として得られる値のベクトルは、MFCCベクトル（メル周波数ケプストラル係数）と呼ばれ、音声認識で使用される最も一般的な音響機能です。



次に標識はどうなりますか？これらは、音響モデルへの入力として使用されます。これは、どの言語単位がそのようなMFCCベクトルを「生成」する可能性が最も高いかを示しています。さまざまなシステムでは、そのような言語単位は、音符、音符、または単語の一部である可能性があります。したがって、音響モデルは、MFCCベクトルのシーケンスを最も可能性の高い一連の音韻に変換します。



さらに、音のシーケンスについては、適切な単語のシーケンスを選択する必要があります。ここで、システムによって認識されるすべての単語の文字起こしを含む言語辞書が役立ちます。このような辞書の編集は、特定の言語の音声学と音声学の専門家の知識を必要とする骨の折れるプロセスです。転記の辞書からの行の例：

よくskvaa zh yn ay

次のステップでは、言語モデルがその言語での文の事前確率を決定します。言い換えれば、モデルは、そのような文が言語で現れる可能性の推定値を提供します。優れた言語モデルでは、「Chart theoilrate 」というフレーズの方が「Chartthenineoil」という文よりも可能性が高いと判断されます。



音響モデル、言語モデル、および発音辞書の組み合わせにより、仮説の「グリッド」が作成されます。これは、動的プログラミングアルゴリズムを使用して最も可能性の高い単語シーケンスを見つけることができるすべての可能な単語シーケンスです。そのシステムは、認識されたテキストとしてそれを提供します。





音声認識システムの動作の概略図



ホイールを再発明して音声認識ライブラリを最初から作成することは現実的ではないため、私たちの選択はkaldiフレームワークに当てはまりました。ライブラリの疑いのない利点は、その柔軟性であり、必要に応じて、システムのすべてのコンポーネントを作成および変更できます。さらに、Apache License 2.0を使用すると、商用開発で​​ライブラリを自由に使用できます。



音響モデルをトレーニングするためのデータとして、フリーウェアオーディオデータセットVoxForgeを使用しました。一連の電話番号を単語に変換するために、CMUSphinxライブラリが提供するロシア語の辞書を使用しました。辞書には石油産業に固有の用語の発音が含まれていなかったので、それに基づいて、ユーティリティを使用しますg2p-seq2seqは、新しい単語の文字起こしをすばやく作成するために、grapheme-to-phonemeモデルをトレーニングしました。言語モデルは、VoxForgeからの音声トランスクリプトと、石油およびガス業界の用語、フィールドの名前、鉱業会社の名前を含む、私たちが作成したデータセットの両方でトレーニングされました。

セマンティックオブジェクトの選択

そのため、ユーザーのスピーチを認識しましたが、これは単なる1行のテキストです。コンピュータに何をすべきかをどのように伝えますか？初期の音声制御システムは、厳しく制限されたコマンドセットを使用していました。これらのフレーズの1つを認識すると、対応する操作を呼び出すことができました。それ以来、自然言語の処理と理解の技術（それぞれNLPとNLU）が飛躍的に進歩しました。すでに今日、大量のデータでトレーニングされたモデルは、ステートメントの意味をよく理解することができます。



認識されたフレーズのテキストから意味を抽出するには、2つの機械学習の問題を解決する必要があります。

1. ユーザーチームの分類（インテント分類）。
2. 名前付きエンティティの割り当て（名前付きエンティティの認識）。

モデルを開発する際には、Apache License2.0で配布されているオープンソースのRasaライブラリを使用しました。



最初の問題を解決するには、テキストを機械で処理できる数値ベクトルとして表す必要があります。このような変換には、StarSpaceニューラルモデルが使用されます。これにより、要求テキストと要求クラスを共通のスペースに「ネスト」できます。





StarSpaceニューラルモデル



トレーニング中に、ニューラルネットワークは、要求ベクトルと正しいクラスのベクトルの間の距離を最小化し、異なるクラスのベクトルまでの距離を最大化するようにエンティティを比較することを学習します。テスト中に、クエリxに対してクラスyが選択され、次のようになります。







コサイン距離は、ベクトルの類似性の尺度として使用され ます。





ここで、

xはユーザーの要求、yは要求のカテゴリーです。



ユーザーインテント分類子をトレーニングするために、3000のクエリがマークアップされました。全部で8つのクラスを卒業しました。ターゲット変数成層法を使用して、サンプルを70/30の比率でトレーニングサンプルとテストサンプルに分割しました。階層化により、列車とテストでのクラスの元の分布を維持することができました。トレーニングされたモデルの品質は、一度にいくつかの基準によって評価されました。

• リコール-このクラスのすべてのリクエストに対する正しく分類されたリクエストの割合。
• 正しく分類されたリクエストのシェア（精度）。
• 精度-システムがこのクラスに起因するすべての要求に対する、正しく分類された要求の割合。
• F1 – .

システムエラーマトリックスは、分類モデルの品質を評価するためにも使用されます。 y軸はステートメントの真のクラスであり、x軸はアルゴリズムによって予測されたクラスです。

コントロールサンプルでは、​​モデルは次の結果を示し





ました。テストデータセットのモデルメトリック：精度-92％、F1-90％。



2番目のタスク（名前付きエンティティの選択）は、特定のオブジェクトまたは現象を表す単語やフレーズを識別することです。そのような実体は、例えば、預金または鉱業会社の名前であり得る。



この問題を解決するために、マルコフフィールドの一種である条件付きランダムフィールドのアルゴリズムを使用しました。 CRFは識別モデルです。つまり、条件付き確率Pをモデル化します。（Y | X）観測X（ワード）からの潜在状態Y（ワードクラス）。 ユーザーの要求を満たすために、アシスタントは、フィールド名、ウェル名、開発オブジェクト名の3種類の名前付きエンティティを強調表示する必要があります。モデルをトレーニングするために、データセットを準備して注釈を付けました。サンプル内の各単語には、対応するクラスが割り当てられました。名前付きエンティティ認識問題のトレーニングセットの例。













しかし、すべてがそれほど単純ではないことが判明しました。プロの専門用語は、フィールド開発者や地質学者の間で非常に一般的です。 「インジェクター」はインジェクションウェルであり、「サモトラー」はおそらくサモトラーフィールドを意味することを人々が理解するのは難しいことではありません。限られた量のデータでトレーニングされたモデルの場合、そのような平行線を描くことは依然として困難です。この制限に対処するために、Rasaライブラリのこのようなすばらしい機能は、同義語の辞書を作成するのに役立ちます。



##同義語：Samotlor

-Samotlor

-Samotlor-

ロシア最大の油田



同義語を追加することで、サンプルをわずかに拡張することもできました。データセット全体のボリュームは2000リクエストで、70/30の比率でトレーニングとテストに分割しました。モデルの品質はF1メトリックを使用して評価され、コントロールサンプルでテストした場合は98％でした。

コマンドの実行

前のステップで定義されたユーザー要求クラスに応じて、システムはソフトウェアカーネルで対応するクラスをアクティブ化します。各クラスには、少なくとも2つのメソッドがあります。要求を直接実行するメソッドと、ユーザーの応答を生成するメソッドです。



たとえば、「request_production_schedule」クラスにコマンドを割り当てると、RequestOilChartクラスのオブジェクトが作成され、データベースから石油生産に関する情報がアンロードされます。専用の名前付きエンティティ（ウェル名やフィールド名など）は、データベースまたはソフトウェアカーネルにアクセスするためのクエリのスロットを埋めるために使用されます。アシスタントは、アップロードされたデータの値で埋められたスペースである、準備されたテンプレートの助けを借りて答えます。







アシスタントプロトタイプが機能している例。

音声合成

連結音声合成の仕組み



前の段階で生成されたユーザー通知テキストが画面に表示され、口頭音声合成モジュールの入力としても使用されます。音声生成は、RHVoiceライブラリを使用して実行されます..。GNU LGPL v2.1ライセンスでは、フレームワークを商用ソフトウェアのコンポーネントとして使用できます。音声合成システムの主要コンポーネントは、入力テキストを処理する言語プロセッサです。テキストは正規化されます。数字は書面による表現に縮小され、略語は解読されます。次に、発音辞書を使用して、テキストの文字起こしが作成され、音響プロセッサの入力に送信されます。このコンポーネントは、音声データベースから音声要素を選択し、選択した要素を連結して、音声信号を処理します。

すべてを一緒に入れて

これで、音声アシスタントのすべてのコンポーネントの準備が整いました。正しい順序でそれらを「収集」してテストするだけです。前述したように、各モジュールはマイクロサービスです。 RabbitMQフレームワークは、すべてのモジュールを接続するためのバスとして使用されます。この図は、一般的なユーザーリクエストの例を使用して、アシスタントの内部作業を明確に示しています







。作成されたソリューションにより、インフラストラクチャ全体を会社のネットワークに配置できます。ローカル情報処理は、システムの主な利点です。ただし、デジタルアシスタント市場のトップベンダーの力を使用するのではなく、データを収集し、モデルをトレーニングしてテストする必要があるため、自律性にお金を払う必要があります。



現在、アシスタントを製品の1つに統合しています。





たった1つのフレーズであなたの井戸やお気に入りの茂みを検索するのはとても便利です！



次の段階では、ユーザーからのフィードバックを収集して分析する予定です。アシスタントによって認識および実行されるコマンドを拡張する計画もあります。



この記事で説明されているプロジェクトは、当社での機械学習手法の使用例だけではありません。そのため、たとえば、データ分析を使用して、地質学的および技術的対策の候補となる井戸を自動的に選択します。その目的は、石油生産を刺激することです。今後の記事の1つで、このクールな問題をどのように解決したかを説明します。それを見逃さないように私たちのブログを購読してください！