グラフニューラルネットワークとは

グラフネットワークは、古典的なニューラルネットワークモデルをグラフデータに適用する方法です。画像（各ピクセルに8つの隣接ピクセルがある）やテキスト（単語のシーケンス）のような規則的な構造を持たないグラフは、機械学習や人工知能の分野で広く普及している古典的な神経モデルからは長い間見えませんでした。 。ほとんどのグラフベクトル化モデル（グラフ内の頂点のベクトル表現を構築する）はかなり遅く、行列因数分解またはスペクトルグラフ分解に基づくアルゴリズムを使用していました。 2015-16年には、より効率的なランダムウォークモデル（DeepWalk、Line、Node2vec、Hope）が登場しました。ただし、グラフのベクトルモデルを構築するときに追加の機能に影響を与えなかったため、制限もありました。頂点またはエッジに保存できます。グラフニューラルネットワークの出現は、グラフ埋め込みの分野での研究の論理的な継続となり、単一のフレームワークの下で以前のアプローチを統合することを可能にしました。

それらは何のためにあり、どのように配置されていますか

グラフニューラルネットワークの1つの層は、ニューラルネットワークの通常の完全に接続された層ですが、その重みはすべての入力データに適用されるのではなく、グラフ内の特定の頂点に隣接するデータにのみ適用されます。前のレイヤーからの独自の表現。ネイバーと頂点自体の重みは、共通の重み行列または2つの別々の行列によって設定できます。正規化を追加して、収束を高速化できます。アクティベーションの非線形関数は異なる場合がありますが、一般的な構造は同じままです。同時に、グラフ畳み込みネットワークは、隣接するグラフの情報の集約からその名前が付けられましたが、注意のグラフメカニズム（GAT）または帰納的学習モデル（GraphSAGE）はこの定義にはるかに近いものです。

応用

レコメンダーシステム

グラフは、eコマースプラットフォーム上の製品とのユーザーインタラクションのコンテキストで進化します。その結果、多くの企業がグラフィカルニューラルネットワークを使用してレコメンダーシステムを作成しています。通常、グラフは、ユーザーと製品の相互作用をモデル化し、適切に選択されたネガティブサンプルを考慮して埋め込みを教え、結果をランク付けすることによって、製品のパーソナライズされたオファーが選択され、特定のユーザーにリアルタイムで表示されるために使用されます。このようなメカニズムを備えた最初のサービスの1つは、 Uber Eatsでした。GraphSageニューラルネットワーク は、食べ物やレストランの推奨事項を選択します。



地理的な制約のため、推奨される食品のグラフは比較的小さいですが、一部の企業は数十億の接続を持つニューラルネットワークを使用しています。たとえば、中国の巨人アリババは、数十億のユーザーと製品のためにグラフ埋め込みとグラフニューラルネットワークを立ち上げ ました。このようなグラフを作成するだけでも、開発者にとっては悪夢です。しかし、Aligraphパイプラインのおかげで わずか5分で4億ノードのグラフを作成できます。印象的です。 Aligraphは、効率的な分散グラフストレージ、最適化されたフェッチオペレーター、および多数のネイティブグラフニューラルネットワークをサポートします。このパイプラインは現在、会社の多数の製品にわたる推奨事項とパーソナライズされた検索に使用されています。



Pinterestは、パーソナライズされたPageRankを使用してネイバーを効率的に照合し、ネイバーからの情報を集約することで頂点の埋め込みを更新するPinSageモデルを提案しました 。次のPinnerSageモデル すでにマルチ埋め込みを使用して、ユーザーのさまざまな好みを考慮に入れることができます。これらは、レコメンダーシステムの分野における注目すべき例のほんの一部です。また、Amazonによる知識グラフとグラフニューラルネットワークの調査、または FabulaAIによるグラフニューラルネットワークの使用による偽のニュースの検出についても読むことができ ます。しかし、これがなくても、グラフニューラルネットワークがユーザーの相互作用からの重要な信号で有望な結果を示すことは明らかです。

組み合わせ最適化

組み合わせ最適化ソリューションは、金融、ロジスティクス、エネルギー、科学、および電子機器の設計における多くの重要な製品の中心です。これらのタスクのほとんどは、グラフを使用して説明されています。そして前世紀にわたって、より効率的なアルゴリズムソリューションを作成するために多くの努力が費やされてきました。しかし、機械学習革命は私たちに新しい説得力のあるアプローチをもたらしました。 Google Brain



チーム は、グラフニューラルネットワークを使用して、Google TPUなどの新しいハードウェアの消費電力、面積、チップのパフォーマンスを最適化し ました。..。コンピュータプロセッサは、それぞれ独自の座標とタイプを持つメモリグラフとロジックコンポーネントとして表すことができます。配置密度とロードルーティングの制約を考慮して、各コンポーネントの場所を決定することは、依然として時間のかかるプロセスであり、電子エンジニアにとっては芸術作品です。 グラフモデルとポリシーおよび強化学習の組み合わせにより、最適なチップ配置を見つけ、人間が設計したものと比較してよりパフォーマンスの高いチップを作成できます。



別のアプローチには、機械学習モデルを既存のソリューションツールに統合することが含まれます。たとえば、 M。ガスが率いるチーム分枝限定変数選択ポリシーを学習するグラフネットワークを提案しました：混合整数線形計画（MILP）ソリューションツールの重要な操作。その結果、学習された表現は、ソリューションツールの期間を最小限に抑え、出力速度とソリューション品質の間の適切なトレードオフを実証しようとします。



では 、より最近のコラボレーションDeepMindとGoogleは、MILPツールによって解決される2つの主要なサブ問題でグラフネットワークを使用します。変数の同時割り当てとターゲット値の制約です。提案されたニューラルネットワークベースのアプローチは、Googleが製品のパッケージ化や計画システムに使用するものを含め、巨大なデータセットを使用する既存のソリューションツールよりも2〜10倍高速であることが判明しました。あなたはこの分野に興味がある場合は、最近の研究（のカップルお勧めできる 1、 2はるかに深くグラフニューラルネットワーク、機械学習、及び組合せ最適化の組み合わせを議論します）、。

コンピュータビジョン

実世界のオブジェクトは深く相互接続されているため、これらのオブジェクトの画像はグラフニューラルネットワークを使用して正常に処理できます。たとえば、シーングラフ（画像内のオブジェクトのセットとそれらの関係）を介して画像のコンテンツを認識することができます 。シーングラフは、画像の検索、コンテンツの理解と理解、字幕の追加、視覚的な質問への回答、画像の生成に使用されます。これらのグラフは、モデルのパフォーマンスを大幅に向上させることができます。



Facebookの作品の1つで人気のあるCOCOデータセットのオブジェクトをフレームに入れ、その位置とサイズを設定し、この情報に基づいてシーングラフを作成できると説明しました。その助けを借りて、グラフニューラルネットワークはオブジェクトの埋め込みを決定し、そこから畳み込みニューラルネットワークがオブジェクトマスク、フレーム、およびアウトラインを作成します。 エンドユーザーは、（ノードの相対的な位置とサイズを定義することにより）グラフに新しいノードを追加するだけで、ニューラルネットワークがこれらのオブジェクトを使用して画像を生成できます。



コンピュータビジョンのグラフのもう1つのソースは、相互接続された2つの画像の並置です。これは、記述子を作成することによって手動で解決されていた古典的な問題です。マジックリープ、 3Dグラフィックスの会社 SuperGlueと呼ばれるグラフニューラルネットワークに基づくアーキテクチャを作成しました 。このアーキテクチャにより、3Dシーンの再生、位置認識、同時ローカリゼーションおよびマッピング（SLAM）のためのリアルタイムビデオマッチングが可能になります。SuperGlueは、注意メカニズムに基づくグラフィカルニューラルネットワークで構成されています。画像の要点を見つける方法を教えてくれます。要点は、マッチングのために最適なトランスポート層に転送されます。最新のビデオカードでは、このモデルはリアルタイムで機能し、SLAMシステムに統合できます。：複数のグラフとコンピュータビジョンの組み合わせについて、これらの研究に記述されている 1、 2。

物理学と化学

粒子または分子間の相互作用をグラフ形式で表現し、グラフニューラルネットワークを使用して新しい材料や物質の特性を予測することで、さまざまな自然科学の問題を解決できます。たとえば、FacebookとCMUは、Open Catalystプロジェクトを通じて、 再生可能な太陽エネルギーと風力エネルギーを貯蔵する新しい方法を模索しています。考えられる解決策の1つは、化学反応によってこのエネルギーを他の燃料、たとえば水素に変換することです。しかし、このためには、高強度の化学反応のための新しい触媒を作成する必要があり、DFTのような今日知られている方法 は非常に高価です。プロジェクトの作者が 投稿しましたグラフニューラルネットワークの触媒、DFT減衰、ベースラインの最大のコレクション。開発者は、数ミリ秒以内に計算されるエネルギーと分子間力の効率的な推定で、数日にわたって実行される現在の高価なシミュレーションを補完する新しい低コストの分子シミュレーションを見つけることを望んでいます。



DeepMindの研究者は、グラフニューラルネットワークを使用して、水や砂などの複雑な粒子システムのダイナミクスをエミュレートしています。各ステップでの各粒子の相対運動を予測することにより、システム全体のダイナミクスをもっともらしく再現し、この運動を支配する法則についてさらに学ぶことができます。たとえば、これは、固体の理論で最も興味深い未解決の問題、つまりガラス状態への移行を解決しようとする方法 です。..。グラフニューラルネットワークを使用すると、遷移中のダイナミクスをエミュレートできるだけでなく、時間と距離に応じて粒子が互いにどのように影響するかをよりよく理解するのにも役立ちます。



アメリカの物理学研究所 Fermilabは、大型ハドロン衝突型加速器でグラフニューラルネットワークを使用して数百万のデータを処理し、新しい粒子の発見に関連する可能性のあるデータを見つけることに取り組んでい ます。著者は、グラフニューラルネットワークをプログラマブルロジック集積回路に実装し、データ収集用のプロセッサに組み込んで、 グラフニューラルネットワークを世界中のどこからでもリモートで使用できるようにしたいと考えています。高エネルギー物理学におけるそれらの応用についてもっと読む この研究。

医薬品開発

製薬会社は積極的に医薬品開発の新しい方法を模索しており、互いに激しく競争し、研究に数十億ドルを費やしています。生物学では、グラフを使用してさまざまなレベルでの相互作用を表すことができます。たとえば、分子レベルでは、ノード間の結合は、分子内の原子間力、またはタンパク質内のアミノ酸塩基間の相互作用を示します。より大きなスケールでは、グラフはタンパク質とRNAまたは代謝産物との間の相互作用を表すことができます。抽象化のレベルに応じて、グラフは、ターゲットを絞った識別、分子特性の予測、ハイスループットスクリーニング、新薬の設計、タンパク質の設計、および薬物の転用に使用できます。



おそらく、この分野でのグラフニューラルネットワークの使用の最も有望な結果は、2020年にCellで公開されたMITの研究者による研究です。彼らは、分子の抗生物質特性を予測するChempropと呼ばれる深層学習モデルを適用しました ：大腸菌の増殖を阻害します。 FDAが承認したライブラリーからわずか2,500の分子上の訓練の後、Chempropを含む医薬品転用ハブを含む、より大きなデータセットに適用されたHalicinの分子 AIの後に名前を変更した HAL 9000を映画「ASpaceOdyssey2001」より。その構造が既知の抗生物質とは非常に異なるため、その前にハリシンが糖尿病の治療に関連してのみ研究されたことは注目に値します。しかし、invitroおよびinvivoでの臨床実験は、ハリシンが広域抗生物質であることを示しています。強力なニューラルネットワークモデルとの広範な比較により、グラフニューラルネットワークを使用して発見されたハリシン特性の重要性が浮き彫りになりました。この作業の実際的な役割に加えて、Chempropアーキテクチャは他の人にとっても興味深いものです。多くのグラフニューラルネットワークとは異なり、5つのレイヤーと1600の隠れた次元が含まれています。これは、このようなタスクのグラフニューラルネットワークの一般的なパラメーターをはるかに超えています。これが将来の新薬における数少ないAIの発見の1つにすぎないことを願っています。この方向性について詳しくは、 こちらをご覧くださいそして ここに。

グラフニューラルネットワークがトレンドになったとき

グラフ埋め込みは2018年にピークに達し、2016年に提案された構造埋め込みとグラフニューラルネットワークモデルが多くの実用的なアプリケーションでテストされ、ソーシャルネットワークPinterestの推奨で使用されたPinSAGEモデルの最も有名な例を含む高効率を示しました。それ以来、このトピックに関する研究の成長は指数関数的になり、以前の方法ではモデル内のオブジェクト間の通信を効果的に考慮することができなかった分野でのアプリケーションがますます増えています。機械学習の自動化と新しい効率的なニューラルネットワークアーキテクチャの検索も、グラフニューラルネットワークのおかげで開発の新たな推進力を受けたことは注目に値します。

彼らはロシアでもトレンドですか？

残念ながら、ロシアはほとんどの場合、人工知能の分野における現代の研究に遅れをとっています。国際会議や主要なジャーナルの記事数は、米国、ヨーロッパ、中国の科学者による記事よりも桁違いに少なく、新しい分野の研究に対する財政的支援は、行き詰まっている学者の骨の折れる環境で抵抗に直面しています。前世紀からのアプローチと、実際の成果ではなく、長老支配の縁故主義の原則に基づいて助成金を発行します。その結果、TheWebConf、ICDM、WSDM、KDD、NIPSなどの主要な会議では、ロシアの科学者の名前は主に西洋の大学と提携しており、頭脳流出の傾向と、この分野の先進国との深刻な競争を反映しています。 AI開発、特に中国の。



Coreによると、A *の評価が最も高いコンピュータサイエンスの分野の会議、たとえば、ハイパフォーマンスコンピューティングに関する会議を見ると、メイントラックで受け入れられる記事の平均助成額は100万ドルであり、ロシアの科学財団からの最大のプログラムは15〜30回です。このような状況では、実際、研究開発組織を持つ大企業で実施された研究は、グラフニューラルネットワークに基づく新しいアプローチを模索する唯一の推進力です。



ロシアでは、グラフニューラルネットワークの理論が私のリーダーシップの下で高等経済学部で研究されています。SkoltechとMIPTにもグループがあり、応用研究はITMO、カザン連邦大学、およびズベルのAI研究所で実施されています。 、R＆Dプロジェクトでは、JetBrains、Mail.ru Group、Yandex。



世界の舞台では、ドライバーはTwitter、Google、Amazon、Facebook、Pinterestです。

つかの間の傾向または長期的な傾向？

すべての傾向と同様に、グラフニューラルネットワークの流行は、非構造化データで考えられるすべての依存関係を記述する大規模なアーキテクチャを備えた変圧器に取って代わられましたが、トレーニングに数百万ドルの費用がかかり、巨大企業のみが利用できるモデルを生成しています。グラフニューラルネットワークは、構造データに基づいて機械学習を構築するための標準として成功しただけでなく、複数例の学習問題やメトリック学習の高効率など、関連業界で構造的注目を集める効果的な手段であることが証明されています。 。グラフニューラルネットワークのおかげで、材料科学、薬理学、医学の分野で新たな発見が得られると確信しています。おそらく、異なるグラフデータ間で知識を転送する特性を持つビッグデータ用の新しい、より効率的なモデルがあるでしょう。モデルは、構造が特徴の類似性と反対であるグラフへの適用性の問題を克服しますが、一般的に、機械学習のこの領域は独立した科学に変わりました、そして今それを掘り下げる時が来ました、これは科学と産業応用の両方で、新しい産業の発展に参加するまれな機会。



機械学習のスキルを向上させ、グラフニューラルネットワークを研究したい場合は、MADEビッグデータアカデミーでお待ちしています 。