ニューラルネットワークビジュアル検索

歴史は時期尚早の発見や発明の多くの例を知っています。そのうちの一つについてお話ししたいと思います。



私たちは、アクティブなセマンティックニューラルネットワークに基づいて構築された、ロシアのITへの最初の西洋ベンチャー資本投資を受けたビジュアル検索エンジンについて話しています。カットの下で、操作とアーキテクチャの基本原則について説明します。

起源

私は人生でとても幸運でした。私は、優れた人物であり、心臓外科医であり、サイバーネティクスであるニコライ・ミハイロビッチ・アモソフに師事しました。私は不在で勉強しました-USSRの崩壊は私に直接会う機会を与えませんでした。







ニコライ・ミハイロヴィッチについては多くのことが言えます。彼はチェレポヴェッツ近くの村で農民の家族に生まれ、同時に「グレートウクライナ人」プロジェクトで2位を獲得し、ワイズのヤロスラフに1位をもたらしました。 USSRで最初の人工弁を独自に開発した優れた心臓外科医およびサイバネティックエンジニア。通り、医学校、大学、イヴァンコフスコエ貯水池をクルージングするボートは彼にちなんで名付けられました。



これについては、ウィキペディアや他のサイトで多くのことが書かれています。



アモソフのあまり明るくない面に触れたいと思います。広い展望、2つの教育（医療と工学）により、彼はアクティブセマンティックニューラルネットワーク（Mネットワーク）の理論を開発することができました。その中で、50年以上前に、その独自性が今なお際立っていることが実装されました。



そして、その時点で十分な計算能力があれば、おそらく強力なAIが今日すでに実装されているでしょう。



彼の作品では、アモソフは神経生理学と数学のバランスを維持し、知性の情報プロセスを研究して説明しました。彼の作品の結果はいくつかの作品で紹介されており、最後は1979年に出版されたモノグラフ「心のアルゴリズム」でした。



モデルの1つについての短い引用は次のとおりです。



「…（私たちは）研究を実施しました。その目的は、神経生理学および神経心理学の分野におけるMネットワークの可能性を研究し、そのようなモデルの実用的および認知的重要性を評価することでした。音声メカニズムをシミュレートするMオートマトンが開発および研究されました。モデルは、知覚、理解、言語表現などの口頭スピーチの側面を提示します。



このモデルは、比較的単純な音声機能を再現するように設計されています（!!!）-限られたタイプ、繰り返し、命名の質問への回答。次のブロックが含まれています：聴覚、感覚スピーチ、固有受容スピーチ、概念、感情、動機付け、運動スピーチ、アーティキュレーション、SUTブロック。モデルのブロックは、特定の脳の形成と相関しています...



...モデルの入力は、単語やフレーズに結合されたロシア語のアルファベットの文字、およびオブジェクトの画像に対応する特別なオブジェクトでした。モデルの出力では、その動作モードに応じて、ロシア語のアルファベットの文字のシーケンスが観察されました。これは、入力された質問への回答、入力された単語の繰り返し、またはオブジェクトの名前のいずれかでした。



モデルの作成に神経生理学的データが広く使用されたという事実により、実験では、器質的で機能的な性質の脳病変の数をシミュレートすることが可能になり、音声機能の障害につながりました。



そして、これは作品のほんの一例です。



もう1つは、移動ロボットの制御です。「…ロボット制御システムは、自身の安全を確保し（障害物を回避し、危険な場所を回避し、内部パラメーターを指定された制限内に維持し）、時間とエネルギーのコストを最小限に抑えて、意図的な動きの実装を想定しています。」







また、モノグラフは、「彼にとって有用で危険なオブジェクトを含む環境での特定の被験者の自由な行動をモデル化した結果を説明しています。被験者の行動の動機は、疲労感、飢え、自己保存への欲求によって決定されました。被験者は環境を研究し、運動の目標を選択し、この目標を達成するための計画を立て、行動ステップを実行し、運動中に得られた結果を計画された結果と比較し、新たな状況に応じて計画を補足および調整することによってそれを実行しました。

理論の特徴

彼の作品の中で、アモソフは、現在私たちが言うように、「強力な知性」の情報/アルゴリズムモデルを作成しようとしました。私の意見では、彼の理論は哺乳類の脳で実際に何が起こっているかを最も詳しく説明しています。



Mネットワークの主な特徴は、他のニューラルネットワークパラダイムと根本的に区別され、各ニューロンの厳密な意味的負荷と、その状態を内部評価するためのシステムの存在です。ニューロン-受容体、ニューロン-オブジェクト、ニューロン-感情、ニューロン-アクションがあります。







学習は、内部状態を考慮して、変更されたHebbルールに従って行われます。したがって、決定は、意味的に指定されたニューロンの活動の理解可能な分布に基づいて行われます。



ネットワークは、繰り返し繰り返すことなく、「オンザフライ」で学習します。同じメカニズムが、音声や視覚データの認識、運動活動など、さまざまな種類の情報で機能します。このパラダイムは、意識と潜在意識の両方の働きをシミュレートします。



興味のある方は、インテリジェンスのさまざまな側面の理論と実際の実装についてより詳細に説明されたAmosovの本を見つけることができますが、ビジュアル検索エンジンQuinturaSearchを構築した経験について説明します。

キンチュラ

Quintura社は2005年に設立されました。私たちのアプローチを示すデスクトップアプリケーションのプロトタイプは、私たち自身のお金で実装されました。ラトミール・ティマシェフとアンドレイ・バロノフ（後のABRTファンド）のエンジェルマネーで、プロトタイプが完成し、交渉が行われ、ルクセンブルグのファンドであるマングローブキャピタルパートナーズから投資を受けました。これは、IT分野におけるロシアへの最初の西洋の投資でした。ファンドの3つのパートナー全員がセルギエフ・ポサドに来て、私たちの目を見て、投資を決定しました。



受け取った資金は6年間、Web検索エンジンの全機能（情報の収集、インデックス作成、クエリの処理、結果の発行）の開発に使用されました。コアはMネットワーク、またはMネットワークのセット（ドキュメントごとに1つの概念的なネットワークとネットワーク）でした。ネットワークは、ドキュメントの1回のパスでトレーニングされました。数回の再計算サイクルで、キーワードが割り当てられ、クエリの意味に一致するドキュメントが見つかり、それらの注釈が作成されました。ネットワークはリクエストのコンテキストを理解しました。より正確には、ユーザーは検索に必要な意味を追加し、関連のないコンテキストを持つドキュメントを検索結果から削除することで、リクエストを明確にすることができました。

基本原則とアプローチ

上記のように、ネットワーク内の各ニューロンには独自のセマンティック負荷があります。特許を説明するために、私たちは視覚的な写真を提案しました（品質についてお詫びします-写真の元は保存されていません、以下は私たちの特許のスキャンからの写真とさまざまなサイトからの私たちに関する記事からの写真を使用しました）：







簡略化された、概念的なネットワークはニューロンのセットです-概念に関連する概念お互いの発生頻度に比例して、接続によってお互いに。ユーザーがクエリワードを入力すると、このワードのニューロンが「プル」され、次に、ユーザーはそれに関連付けられているニューロンをプルします。また、接続が強いほど、他のニューロンは要求ニューロンに近くなります。







リクエストに複数の単語がある場合、リクエストの単語に対応するすべてのニューロンが引き寄せられます。







無関係な単語を削除することにした場合、削除された概念とそれに関連する概念の両方をプルダウンして、その単語に負荷をかけます。



その結果、クエリワードが一番上（最大のフォント）にあり、関連する概念が並んで配置されているタグクラウドが得られます。リンクが大きいほど、フォントも大きくなります。



以下は、クエリ「beauty」によって検出されたドキュメントのセマンティックマップです。







「fashion」という単語の上にマウスを置くと、マップが再構築され







ます。「travel」という単語の上にマウスポインターを移動すると、別のマップが表示されます。







したがって、必要な方向を示すことでリクエストを絞り込み、必要なコンテキストを形成できます。



マップの再構築と同時に、特定のコンテキストに最も関連性のあるドキュメントを受け取り、関連性のない単語を削除することで不要なブランチを除外します。



次の原則に従ってドキュメントインデックスを作成します







。ニューロンには4つの層があります。単語の層、概念の層（1つの層に組み合わせることができます）、文の層、ドキュメントの層。



ニューロンは、増幅と抑制の2種類の接続によって相互に接続できます。したがって、各ニューロンは、アクティブ、ニュートラル、および抑制の3つのタイプの状態になります。ニューロンは、ネットワークを介した増幅接続、抑制性の「アンカー」を介して活動を送信します。コンセプトレイヤーは、シノニムを操作したり、他のコンセプトよりも「強力な」または重要なコンセプトを強調したり、ドキュメントのカテゴリを定義したりするのに役立ちます。



たとえば、単語レイヤーのAppleという単語は、果物、解剖学的用語、および会社の概念に関連付けられます。オイル-オイルとオイル付き。髪型、労働の道具、武器、救済を伴うロシア語の「編組」。等。



直接接続と逆接続の両方で双方向接続を確立します。学習（リンクの変更）は、Hebbルールに基づいてドキュメントを1回通過するだけで発生します。また、互いに近い単語間のリンクを増やします。また、同じ文、段落、ドキュメント内の単語をより小さなリンクでリンクします。同じドキュメント内とドキュメントのグループ内の両方で単語が並んで見つかることが多いほど、それらの間のつながりが強くなります。



このアーキテクチャにより、次のタスクを効果的に解決できます。

• 検索コンテキストの設定と管理。
• 検索コンテキストに一致するドキュメントを検索します（クエリワードを含むだけではありません）。
• 一連のドキュメントのセマンティックコンテキストを表示する（検索エンジンとクエリの単語との関連付けは何ですか）。
• 1つまたは複数のドキュメントのキーワードを強調表示します。
• ドキュメントに注釈を付ける。
• 意味が似ているドキュメントを検索します。

各タスクの実装について考えてみましょう。

検索コンテキストの設定と管理

このケースは前に説明しました。ユーザーがクエリワードを入力すると、これらのワードは関連するすべてのワードを励起します。次に、最も近い概念（最大の励起を持つ）を選択するか、前のステップで励起されたすべてのニューロンからネットワークを介して励起をさらに送信することができます。この場合、それらは開始します。仕事の協会。最も興奮している単語/概念の数がマップに表示されます（表示するものを選択することもできます-単語、概念、またはその両方のレイヤー）。必要に応じて、無関係な単語が削除され（マップから関連する概念が削除され）、それによって必要な検索コンテキストの正確な説明が提供されます。

検索コンテキストに一致するドキュメントの検索

このステップでのネットワークの最初の2つのレイヤーの状態は、興奮を次のレイヤーに送信します。次のレイヤーのニューロンは興奮によってランク付けされ、クエリの単語だけでなく、生成されたコンテキストとの関連性によってランク付けされたドキュメントのリストを取得します。



したがって、結果には、リクエストの単語を含むドキュメントだけでなく、それらの意味に関連するドキュメントも含まれます。結果のドキュメントを使用して、「必要な」ドキュメントに含まれる概念を強化するか、無関係なドキュメントに関連する概念の重みを下げることにより、検索コンテキストを変更できます。このようにして、クエリを簡単かつ直感的に絞り込み、検索結果を管理できます。

ドキュメントのコレクションのセマンティックコンテキストの表示

ニューロン-ドキュメントからニューロン、コンセプト/ワードへの反対方向への励起の転送により、ドキュメントのセットに存在するセマンティックコンテキストの視覚的なマップを取得できます。これは、意味のあるタグマップを取得し、意味空間をナビゲートするための代替方法です。このプロセスは、励起の方向を変更することによって、つまり検索コンテキストのドキュメントを受信することによって、またはアクティブなドキュメントの検索コンテキストを変更することによって、繰り返し実行できます。



通常、検索エンジンのシナリオは次のとおりです。最初のマップは、最新のニュース、人気のある記事、クエリ、またはこれらの組み合わせに基づいて作成されます。次に、ユーザーはマップから単語をクリックしてリクエストの作成を開始するか、入力フィールドに目的の単語を入力して新しいリクエストを作成することができます。



私たちの子供向けサービスQuinturaKidsでは、書くことができなかった（またはそれが困難だった）子供たちでさえ、必要な情報を探して働くことができました。





これが最初の地図の様子で



、ユーザーは「スペース」という単語をクリックした後にこれを見ました。







子供のサービスは手動で選択され承認されたサイトに基づいて構築されていたため、子供は大人から何も見ることができませんでした。これは、見つかったドキュメントの数が少ないことを説明しています。英語版には、Yahooの子供向けディレクトリのおかげで何倍ものドキュメントが含まれていました。

1つまたは複数のドキュメントのキーワードを強調表示する

実は、ドキュメントのレイヤーやセンテンスのレイヤーから興奮を伝えるときにアクティブになる単語や概念がキーワードです。また、アクティビティごとにランク付けされ、一定量が切り取られて表示されます。



ここでは、別のソリューションを適用しました。私たちは、すべての言葉や概念の総興奮は100％に等しいと信じています。次に、アクティビティのパーセンテージをしきい値として設定することにより、キーワードと見なす単語の数を簡単に制御できます。







たとえば、ボーイングのヘッドライナー契約を扱っているドキュメントがあるとします。興奮がこの文書のニューロンから単語/概念の層に伝達されたとき、この図に示されている単語は興奮していました。加重された総覚醒は100％に減少し、各単語に個別の加重を与えました。また、キーワードの「意味」の75％を取得したい場合は、「BOEING」、「787」、「DREAMLINER」という単語が表示され、「意味」の85％を取得したい場合は、これらの単語に「SALES」を追加します。



この方法では、表示されるキーワードと文/ドキュメントの数を自動的に制限できます。

ドキュメントに注釈を付けます。

スニペットの受信も上記の方法で実行されました。まず、ドキュメントのキーワードを取得します。その後、キーワードから興奮を直接分散して、文のリストを取得し、これらの文の重みを100％にして、必要な「意味」を切り取ります。その後、これらの文を、ドキュメントのテキストに出現した順序で表示します。 ..。

意味が似ているドキュメントを見つける

レイヤーと意味が似ている単語/概念を探しているドキュメントに対応するニューロンから、ドキュメントレイヤーとは反対の方向に励起が転送されるため、コンテキストまたは意味が元のドキュメントと似ているドキュメントを見つけることができます。ワード/コンセプトレイヤーで興奮の伝達を数ビート行うと、元のコンテキストを拡張できます。この場合、すべての単語に完全に一致するわけではないが、トピックが同じであるドキュメントを見つけることができます。



実際、このメカニズムを使用して、あらゆるものの類似性を判断できます。たとえば、ユーザーIDがニューロンに対応するレイヤーをネットワークに追加することで、同様の関心を持つ人々を見つけることができます。文章やドキュメントのレイヤーを音楽やビデオ作品のインデックスに置き換えると、音楽/ビデオ検索が可能になります。

つづく

この記事では、Quinturaビジュアル検索エンジンの基本原則のみを取り上げます。会社の生涯の6年間で、アクティブなセマンティックニューラルネットワークのアーキテクチャと、障害耐性のある拡張可能なクラスターの構築の両方に関連する、多くの複雑な問題が解決されました。検索インデックスは、並行して動作する多くのニューラルネットワークで構成され、これらのネットワークの結果が組み合わされ、ユーザーの関心の個別のマップが作成されました。



プロジェクトの枠組みの中で、サイト検索サービス、子供向け検索エンジン、テキスト分析ツールが実装され、世界の情報オントロジーの形成、ニューラルネットワーク形態の構築に関する作業が開始され、9つの米国特許が取得されました。



しかし、システムを収益化することはできませんでした。当時、ニューラルネットワークブームはなく、大規模な検索エンジンとの合意に達することができませんでした（そのうちの1つのアーキテクトが私たちに言ったように、「パラダイムが多すぎて、それらを組み合わせる方法がわかりません」）。



プロジェクトは終了しなければなりませんでした。



個人的には、まだ「控えめな表現」があります。このプロジェクトにセカンドライフを与えたいと強く願っています。Googleの元広告責任者が、ユーザーが「コンテンツのパーソナライズフィルターと追跡ツールのバブルから抜け出す」ことができる広告なしの検索エンジンを構築していることを知っていると、開発の関連性に対する自信が強まるだけです。



NikolaiAmosovの理論に基づいて構築されたアクティブなニューラルネットワークの機能をもう一度リストします。

• その場で学ぶ;
• ネットワーク全体を再トレーニングする必要なしに新しいエンティティを追加する。
• 明確なセマンティクス-ネットワークがこれまたはその決定を行った理由は明らかです。
• さまざまなアプリケーション向けの統一されたネットワークアーキテクチャ。
• 結果として、シンプルなアーキテクチャ-高性能。

この記事が、実装されたテクノロジーを開発者の一般に公開するための最初のステップであり、Amosovのアクティブなセマンティックニューラルネットワークのオープンソースプロジェクトの始まりとなることを願っています。