ニューロンを「ゼロから」、またはテクニカルサポートディスパッチャのアシスタントを作成した方法

こんにちは、Habr！私の名前はアレクサンダーソロビエフです。DataLineのプログラマーです。



ファッショナブルなニューラルネットワークを当社に導入した経験を共有したいと思います。それはすべて、独自のサービスデスクを構築することを決定したときに始まりました。なぜそしてなぜあなた自身のもの、あなたは私の同僚のアレクセイ・ボルコフ（cface）ここ。 



システムの最近の革新についてお話します。サポートの第一線のディスパッチャを支援するニューラルネットワークです。興味があれば、猫へようこそ。

タスクの明確化

ヘルプデスクマネージャーにとっての頭痛の種は、入ってくる顧客の要求に割り当てるための迅速な決定です。リクエストは次のとおりです。

こんにちは。



私は正しく理解しています。特定のユーザーにカレンダーを共有するには、カレンダーを共有したいユーザーのPCでカレンダーへのアクセスを開き、アクセスを許可したいユーザーのメールを入力する必要がありますか？

規則によると、ディスパッチャは2分以内に応答する必要があります。アプリケーションを登録し、緊急性を判断し、責任のあるユニットを任命します。この場合、ディスパッチャは会社の44の部門から選択します。 



ディスパッチャの指示では、最も一般的なクエリの解決策について説明しています。たとえば、データセンターへのアクセスを提供することは単純な要求です。ただし、サービスリクエストには、ソフトウェアのインストール、状況やネットワークアクティビティの分析、ソリューションの請求に関する詳細の確認、あらゆる種類のアクセスの確認など、多くのタスクが含まれます。責任者から誰に質問を送信するかを要求から理解するのが難しい場合があります。

Hi Team,

 

The sites were down again for few minutes from 2020-07-15 14:59:53 to 2020-07-15 15:12:50 (UTC time zone), now they are working fine. Could you please check and let us know why the sites are fluctuating many times.

 

Thanks

アプリケーションが間違った部門に送られる状況がありました。リクエストは機能するようになり、他のパフォーマーに再割り当てされるか、ディスパッチャーに返送されました。これにより、ソリューションの速度が向上しました。リクエストを解決する時間は、クライアント（SLA）との契約に記載されており、期限を守る責任があります。



システム内で、ディスパッチャのアシスタントを作成することにしました。主な目標は、従業員がアプリケーションをより迅速に決定するのに役立つプロンプトを追加することでした。 



何よりも、私は新しいトレンドに屈して、チャットボットをサポートの最前線に置きたくありませんでした。あなたがそのような技術サポート（すでにこれで罪を犯していない）に書き込もうとしたことがあるなら、あなたは私が何を意味するかを理解しています。 



第一に、彼はあなたを非常によく理解しておらず、非定型の要求にはまったく答えません。第二に、生きている人に到達することは非常に困難です。



一般的に、ディスパッチャをチャットボットに置き換える予定はありませんでした。これは、顧客がまだ生きている人と通信できるようにするためです。



最初は安くて元気に降りようと思い、キーワードアプローチを試してみました。キーワードの辞書を手動で編集しましたが、これだけでは不十分でした。このソリューションは、問題のない単純なアプリケーションにのみ対応していました。 



サービスデスクの作業中に、リクエストの確かな履歴が蓄積されました。これに基づいて、同様の着信リクエストを認識し、適切な実行者にすぐに割り当てることができます。グーグルとしばらくの間、私は自分の選択肢をさらに深く掘り下げることにしました。  

学習理論

私のタスクは古典的な分類タスクであることが判明しました。入力で、アルゴリズムはアプリケーションのプライマリテキストを受け取り、出力で、それを以前から知られているクラスの1つ、つまり会社の部門に割り当てます。 



非常に多くの解決策がありました。これは、「ニューラルネットワーク」と「ナイーブベイジアン分類子」、「最も近い隣人」、「ロジスティック回帰」、「決定ツリー」、「ブースティング」、および他の多くのオプションです。 



すべてのテクニックを試す時間はありません。したがって、私はニューラルネットワークに落ち着きました（私は長い間それらを使って作業したいと思っていました）。後で判明したように、この選択は完全に正当化されました。



そこで、ここからニューラルネットワークに飛び込み始めました。学び学習アルゴリズムニューラルネットワーク：教師あり（監視付き学習）、教師なし（監視なし学習）、教師の部分的関与（半監視付き学習）、または「強化学習」。 



私の仕事の一環として、先生との教え方が思い浮かびました。トレーニングには十分なデータがあります。10万を超える解決済みのアプリケーションです。 

実装の選択

実装にはEncogMachine LearningFrameworkライブラリを選択しました。例を含む、アクセス可能で理解しやすいドキュメントが付属しています。さらに、私に近いJavaの実装。 



簡単に言うと、作業の仕組みは次のようになります。  

1. ニューラルネットワークのフレームワークは事前に構成されています。シナプス接続によって接続されたニューロンのいくつかの層です。 
   
   
   
   
   
2. あらかじめ決められた結果のトレーニングデータのセットがメモリにロードされます。
   
   
3. . «».  «» . 
   
   
4. «» : , , .
   
   
5. 3 4 . , . , - .
   
   

フレームワークのさまざまな例を試してみましたが、ライブラリが入力の数値を強打で処理することに気付きました。したがって、ボウルと花びらのサイズによってアイリスのクラスを定義した例（フィッシャーズアイリス）はうまく機能しました。



しかし、私はいくつかのテキストを持っています。これは、文字を何らかの形で数字に変換する必要があることを意味します。それで私は最初の準備段階である「ベクトル化」に移りました。 

ベクトル化の最初のオプション：文字による

テキストを数字に変換する最も簡単な方法は、ニューラルネットワークの最初の層でアルファベットを取ることです。それは33文字であることがわかります-ニューロン：ABVGDEOZHZYKLMNOPRSTUFHTSCHSHSCHYEYUY​​A。



それぞれに番号が割り当てられます。単語内の文字の存在は1と見なされ、存在しない場合はゼロと見なされます。



次に、このエンコーディングの「hello」という単語にはベクトルがあります。 







このようなベクトルは、トレーニングのためにニューラルネットワークにすでに与えられています。結局のところ、この数は001001000100000011010000000000000 = 1216454656です。



理論を深く掘り下げ てみると、文字を分析することに特別な意味がないことに気づきました。それらは意味的な意味を持ちません。たとえば、「A」の文字は提案のすべてのテキストに含まれます。このニューロンは常にオンであり、結果に影響を与えないことを考慮してください。他のすべての母音と同じように。そして、アプリケーションのテキストには、アルファベットのほとんどの文字があります。このオプションは適切ではありません。

ベクトル化の2番目の変形：辞書による

そして、あなたが手紙ではなく言葉を取るなら？ダールの説明辞書を考えてみましょう。そして、すでにテキスト内の単語の存在を1として数え、存在しないことを0として 



数えます。しかし、ここで私は単語の数に遭遇しました。ベクトルは非常に大きくなります。入力ニューロンが200kのニューロンは永遠に時間がかかり、多くのメモリとCPU時間を必要とします。あなたはあなた自身の辞書を作らなければなりません。さらに、テキストには、ウラジミール・イワノビッチ・ダルが知らなかったIT固有の機能が含まれています。



私は再び理論に目を向けました。テキストを処理するときに語彙を短くするには、Nグラムのメカニズム（N要素のシーケンス）を使用します。 



アイデアは、入力テキストをいくつかのセグメントに分割し、それらから辞書を作成し、元のテキスト内のフレーズの有無を1または0としてニューラルネットワークにフィードすることです。つまり、アルファベットの場合のように文字ではなく、文字だけでなく、フレーズ全体が0または1と見なされます。



最も人気のあるのは、ユニグラム、バイグラム、トリグラムです。「WelcometoDataLine」というフレーズを例として、それぞれの方法について説明します。

1. ユニグラム-テキストは「good」、「welcome」、「v」、「DataLine」という単語に分割されます。
   
   
2. Bigram-「welcome」、「welcome to」、「toDataLine」という単語のペアに分割します。
   
   
3. トライグラム-同様に、「welcome to」、「welcometoDataLine」の各3ワード。
   
   
4. Nグラム-あなたはアイデアを得る。Nの数、連続する単語の数。
   
   
5. N-. , . 4- N- : «»,« », «», «» . . .
   
   

私は自分自身をユニグラムに限定することにしました。しかし、ユニグラムだけではありません-言葉はまだあまりにも多く出てきました。 1980年に単語を統一するために使用されたアルゴリズム「Porter'sStemmer」



が助けになりました。 



アルゴリズムの本質：基本的な意味の部分だけを残して、単語から接尾辞と末尾を削除します。たとえば、「重要」、「重要」、「重要」、「重要」、「重要」、「重要」という単語は、ベース「重要」になります。つまり、6語ではなく、1語が辞書に表示されます。そして、これは大幅な削減です。



さらに、「ノイズ」が発生しないように、辞書からすべての数字、句読点、前置詞、まれな単語を削除しました。その結果、10万のテキストに対して、3kの単語の辞書が得られました。あなたはすでにこれで作業することができます。

ニューラルネットワークトレーニング

だから私はすでに持っています：

1. 3kワードの辞書。
2. ベクトル化された辞書表現。
3. ニューラルネットワークの入力層と出力層のサイズ。理論によれば、辞書は最初の層（入力）に提供され、最後の層（出力）はソリューションクラスの数です。会社の部門数で44個あります。
   
   
   
   
   
   

ニューラルネットワークをトレーニングするために選択できるものはほとんどありません。

1. 教授法。
2. アクティベーション機能。
3. 隠れ層の数。

パラメータの選択方法。パラメータは、特定のタスクごとに常に経験的に選択されます。これは、多くの実験を必要とするため、最も長くて退屈なプロセスです。



そこで、11kアプリケーションの参照サンプルを取得し、さまざまなパラメーターを使用してニューラルネットワークの計算を行いました。

1. 10kで私はニューラルネットワークを訓練しました。
2. 1kで、すでにトレーニング済みのネットワークをテストしました。

つまり、10kで語彙を作成し、学習します。そして、訓練されたニューラルネットワーク1kの未知のテキストを示します。結果はエラーのパーセンテージです：テキストの総数に対する推測されたユニットの比率。



その結果、未知のデータで約70％の精度を達成しました。 



経験的に、間違ったパラメータを選択すると、トレーニングを無期限に継続できることがわかりました。数回、ニューロンは無限の計算サイクルに入り、作業機械を一晩吊るしました。これを防ぐために、私は100回の繰り返しの制限を受け入れるか、ネットワークエラーの減少が止まるまで受け入れました。 



：ここでのパラメータである



方法を教えるが。 Encogには、いくつかのオプションがあります。：Backpropagation、ManhattanPropagation、QuickPropagation、ResilientPropagation、ScaledConjugateGradient。



これらは、シナプスでの重みを決定するさまざまな方法です。いくつかの方法はより速く動作し、いくつかはより正確であり、ドキュメントでより多くを読む方が良いです。弾力性のある伝播は私にとってうまくいきました。 



アクティベーション機能。入力としきい値の加重和の結果に応じて、出力でのニューロンの値を決定する必要があります。 



私は16のオプションから選択しました。すべての機能をチェックする時間がありませんでした。したがって、私は最も人気があると考えました：さまざまな実装でのシグモイドと双曲線の接線。



結局、ActivationSigmoidに落ち着きました。 



隠れ層の数..。理論的には、隠れ層が多いほど、計算が長くなり、困難になります。私は1つのレイヤーから始めました。計算は迅速でしたが、結果は不正確でした。私は2つの隠された層に落ち着きました。3層の場合、はるかに長いと見なされ、結果は2層のものとあまり変わりませんでした。 



これで私は実験を終えました。ツールを生産用に準備できます。

生産へ！

さらに技術の問題。 

1. RESTを介してニューロンと通信できるように、Sparkを台無しにしました。
   
   
2. 計算結果をファイルに保存するように教えられました。サービスを再起動するときに再計算するたびにではありません。
   
   
3. サービスデスクから直接トレーニング用の実際のデータを読み取る機能が追加されました。以前にcsvファイルでトレーニングされました。 
   
   
4. ニューラルネットワークを再計算して、再計算をスケジューラにアタッチする機能が追加されました。
   
   
5. 厚い瓶にすべてを集めました。
   
   
6. 私は同僚に、開発マシンよりも強力なサーバーを求めました。
   
   
7. Zadeploilとzashedulilは週に1回再集計します。
   
   
8. 私はボタンをサービスデスクの適切な場所にねじ込み、この奇跡の使い方を同僚に書きました。
   
   
9. ニューロンが何を選択し、人が何を選択したかに関する統計を収集しました（以下の統計）。 
   
   

テストアプリケーションは次のようになります。 







ただし、「マジックグリーンボタン」を押すとすぐにマジックが発生します。カードのフィールドに入力されます。ディスパッチャは、システムが正しくプロンプトを表示し、要求を保存することを確認する必要があります。







その結果、ディスパッチャにとってこのようなインテリジェントなアシスタントが実現します。



たとえば、年初からの統計。 







同じ原理に従って作られた「非常に若い」神経回路網もあります。しかし、まだデータはほとんどなく、彼女はまだ経験を積んでいます。







私の経験が誰かが自分の神経ネットワークを作るのに役立つなら、私はうれしいです。 

ご不明な点がございましたら、お気軽にお問い合わせください。