ニューラルネットワークの世界が向かっているところ：iPavlovの作成者へのインタビュー

カットの下で-深い学習、AI開発の現在の方向性、GPTニューラルネットワークを世界の論理的なビューにリンクすること、スタッフの不足、そしてiPavlovがどのように始まったかについて：口頭の人工知能プロジェクト。







今日、MIPTのニューラルネットワーク研究所の責任者であるMikhailBurtsevと物理的および技術的な会話をしています。彼の研究対象には、ニューラルネットワーク学習モデル、神経認知およびニューロハイブリッドシステム、適応システムと進化アルゴリズムの進化、ニューロコントローラーとロボティクスが含まれます。これはすべて議論されます。

-Phystechのニューラルネットワークとディープラーニングの研究所の歴史はどのように始まったのですか？

-2015年に、私は「Foresight Fleet」と呼ばれる、Agency for Strategic Initiatives（ASI）のイニシアチブに参加しました。これは、National TechnicalInitiativeの下で議論するためのこのような数日間のプラットフォームです。重要なトピックは、企業が世界市場で主導的な地位を占める可能性のあるロシアに登場するために開発する必要のある技術に関するものでした。主なメッセージは、形成された市場に参入することは非常に難しいということでしたが、テクノロジーは新しい領域と新しい市場を開き、私たちが参入する必要があるのはまさにそれらです。



そこで、私たちはヴォルガに沿って自動車で航海し、そのような市場を創造し、現在の技術的障壁を打破するのにどのような技術が役立つかについて話し合いました。そして、将来についてのこの議論では、パーソナルアシスタントとのトピックが成長しました。 Alexa、Alice、Siriなど、すでにそれらを使い始めていることは明らかであり、人間とコンピューターの間の理解には技術的な障壁があることは明らかでした。一方で、例えば強化学習の分野では、自然言語処理において多くの研究開発が蓄積されてきました。そして、明らかになりました。多くの困難なタスクは、ニューラルネットワークの助けを借りてますます改善されています。 



そして、私はちょうどニューラルネットワークアルゴリズムの研究をしていました。先見の明のある艦隊の議論の結果に基づいて、私たちは近い将来の技術開発プロジェクトのコンセプトを策定し、それは後にiPavlovプロジェクトに変換されました。これがPhystechとのやりとりの始まりでした。 



より詳細には、3つのタスクを策定しました。インフラストラクチャ-ユーザーとの対話を行うためのオープンライブラリを作成します。 2つ目は自然言語処理の研究です。さらに、特定のビジネス上の問題の解決策。



Sberbankがパートナーとして機能し、プロジェクト自体はNational TechnicalInitiativeの翼の下で形成されました。

, 2015 -: deephack.me — , , - , . Open Data Science. 

2018年の初めに、オープンライブラリDeepPavlovの最初のリポジトリを公​​開しました。過去2年間で、ユーザーの着実な増加が見られました（ロシア語と英語に焦点を当てています）。インストールの約50％は米国から、20〜30％はロシアからのものです。全体として、それはかなり成功したオープンソースプロジェクトであることが判明しました。 私たちは、会話型AIに関するグローバルな研究課題を開発するだけでなく、貢献しようとしています。この分野での学術競争の必要性を認識し、主要な機械学習会議であるNeuIPSの一環として、会話型AIチャレンジシリーズを立ち上げました。  







また、大会の開催だけでなく、参加も行っています。そこで、昨年、私たちの研究室のチームは、アマゾンからのAlexa Prizeというコンテストに参加しました。これは、20分間話すことに興味を持つチャットボットを作成することです。 





次の大会は11月に始まります。 



これは大学の大会で、参加者の中心は学生と大学職員でした。合計350チームがあり、昨年の結果に基づいて7チームがトップに選ばれ、3チームが招待されました。私たちはトップになりました。

私たちの対話システムは、米国のユーザーと約10万回の対話を行い、最終的に5段階中約3.35〜3.4の評価を得ました。これは非常に良いことです。これは、MIPTでかなり短い時間で世界クラスのチームを結成できたことを示しています。

現在、研究所はさまざまな企業とプロジェクトを実施しています。大規模な企業の中には、HuaweiとSberbankがあります。さまざまな方向へのプロジェクト：AutoML、ニューラルネットワーク理論、そしてもちろん、私たちの主な方向-NLP。

-機械学習では困難だった課題について：なぜこれらの問題を解決するために深層学習が始まったのですか？

-わかりにくい。ここで、私の直感を少し簡単に説明します。重要なのは、モデルに多くのパラメーターがある場合、驚くべきことに、結果を新しいデータにうまく一般化できるということです。パラメータの数は例の数に見合ったものにできるという意味で。同じ理由で、古典的なMLは長い間、ニューラルネットワークの圧力に抵抗してきました。この状況では、良いことは何も起こらないようです。





深層学習モデルにおけるパラメーターの上昇（出典）



驚くべきことに、これは当てはまりません。私たちの研究室のIvanSkorokhodovは（.pdf）、ほとんどすべての2次元パターンが神経回路網喪失関数の空間に見られることを示しました。

この平面上の各点が1セットのニューラルネットワークパラメータに対応するように平面を選択できます。そして、それらの損失は任意のパターンに対応するため、この図に直接当てはまるようなニューラルネットワークを選択できます。

とても面白い結果です。これは、そのようなばかげた制限があっても、ニューラルネットワークはそれに割り当てられたタスクを学習できることを示唆しています。それはここでの一種の直感についてです、はい。





IvanSkorokhodovによる記事のパターンの例

-近年、深層学習の分野で大きな進歩が見られますが、指標の限界に身を投じる地平線はすでに見えていますか？

AIモデルのサイズとそれらが消費するリソースの増加（出典：openai.com/blog/ai-and-compute /）



-私たちのNLPでは、制限はまだ感じられていませんが、たとえば、強化学習では、何かがすでに始まっているようですスリップ。つまり、過去2年間、質的な変化はありませんでした。モンテカルロツリーサーチとのハイブリダイゼーションにより、アタリからアルファゴへの大きなブームがありましたが、今では直接的なブレークスルーはありません。



しかし、NLPでは、それは逆です。再帰ネットワーク、畳み込みネットワーク、そして最後に、トランスアーキテクチャとGPT自体（テキストの生成によく使用される、最新で最も興味深いトランスモデルの1つ-著者のメモ）すでに純粋に大規模な開発です。そして、何か新しいことを成し遂げる余地はまだあるようです。したがって、NLPでは、上からのバーはまだ表示されていません。もちろん、ここで何かを予測することはほとんど不可能ですが。

-機械学習のための言語とフレームワークの開発を想像すると、純粋なnumpy、scikit-learnからtensorflow、kerasで（条件付きで）書くことから-抽象化のレベルが高まりました。次は何ですか？

— , : - . , , low level high level code: numpy . , , NLP : .

• Tensorflow / Pytorch — : . 
• : NLP- — DeepPavlov. 
• : — DeepPavlov Dream .
• DeepPavlovエージェントを含むスキル/パイプラインを切り替えるためのシステム。 

 



会話型AIテクノロジースタック



アプリケーションやタスクが異なれば、ツールの柔軟性も異なる必要があるため、この階層の要素がなくなることはないと思います。低レベルシステムと高レベルシステムの両方が、必要に応じて進化します。たとえば、プログラマーが利用できないビジュアルライブラリだけでなく、開発者向けの低レベルのライブラリもどこにも行きません。

-社会実験は現在、神経回路網が自分の前にあるのか人の前にあるのかを人々が理解しなければならない古典的なチューリングテストとの類推によって行われていますか？

-このような実験は定期的に実施されます。Alexaチャレンジでは、ボットと人のどちらと話しているのかわからないまま、会話の質を評価する必要がありました。これまでのところ、ライブ会話の観点からは、機械と人の違いは大きいですが、年々減少しています。ちなみに、  これに関する記事はAIMagazineに掲載されました。

科学界の外では、これは定期的に行われます。最近、誰かがGPTモデルをトレーニングし、彼女のTwitterアカウントを設定して、回答を投稿し始めました。多くの人がサインアップし、アカウントが人気を博し、それがニューラルネットワークであることを誰も知りませんでした。 



Twitterのように、定式化が一般的で「深遠」である場合のこのような短い形式は、ニューラルネットワーク推論システムにぴったりです。

-飛躍を期待できる最も有望な分野はどこだと思いますか？ 

-（笑）飛躍するのは、私の好きな方向性をすべて統一したことだと言えます。問題化の枠組みの中で、より詳細に説明しようと思います。現在のトランスフォーマーベースのGPTモデルがあります。これらのモデルには人生の目的はなく、人間のようなテキストを生成するだけで、完全に目的がありません。そして、彼らはそれを世界自体の文脈での状況や目標に結び付けることはできません。 



そして、その方法の1つは、世界の論理ビューをGPTにバインドすることです。これは、多くのテキストを読み、実際、すでに多くの論理接続があります。たとえば、「Wikidata」とのハイブリダイゼーション（これは、世界に関する知識を説明するグラフであり、その頂点はWikipediaの記事です）。



GPTがナレッジベースを使用できるように2つを接続できれば、それは飛躍的な進歩になります。



NLPモデルの無目的性の問題に対する2番目のアプローチは、人間の目標の理解をモデルに統合することに基づいています。知識グラフに関連付けられた生成言語モデルを駆動できるモデルがあれば、それをトレーニングして、人が目標を達成できるようにすることができます。そして、そのようなアシスタントは、NLPを通じてその人、その人の目標、そして状況を理解する必要があります-そして、彼は行動を計画する必要があります。そして計画では、強化学習が最も効果的です。



これらすべてをどのように組み合わせて最適化するかは、未解決の問題です。



そして最後は、ニューラルネットワークアーキテクチャの検索です。たとえば、進化的アプローチを使用する場合、特定のタスクに最適なアーキテクチャの空間を探しています。しかし、これらすべてが今日決定されるわけではありません。検索するスペースが多すぎます。 

良いニュースから：ハードウェアは非常に急速に進化しており、おそらくこれにより、5〜10年で、ニューラルネットワーク言語モデル、知識グラフ、強化学習を組み合わせることができるようになります。そして、機械による人間の理解に飛躍的な進歩を遂げます。

そのようなアシスタントの助けを借りて、他のタスクのソリューションを開始することが可能になります：画像分析、医療記録または経済状況の分析、商品の選択。



したがって、科学的な観点から、今後5年間で、ハイブリダイゼーションの分野で急速な発展が見られると思います。クールなタスクがたくさんあります。

みんな、スタッフ不足は甚大で、新しくて面白い結果を得る絶好のチャンスがあり、また業界の発展に影響を与えるでしょう。接続する-あなたは瞬間をつかむ必要があります！

（著者はそのようなシステムだけを扱っているので、この答えを積極的に支持しています。） 

-深い学習に飛び込むにはどうすればよいですか？

-私には、最も簡単な方法は、深層学習学校でコースを受講することです。当初は高校生を対象としていましたが、学生には非常に適しています。一般的に、これは素晴らしい仕事です。私はそこでスケジューリングと入門講義を手伝いました。 



また、大学の入門コースを見たり、タスクを実行したりすることをお勧めします。インターネットにはたくさんのことがあります。 「再生」するためのすべてのツールの中で最も優れているのは、GoogleのColabです。タスクの例は数百万あり、コンピューターにソフトウェアをまったくインストールしなくても、最新のソリューションを見つけて実行できます。



別の方法は、Kaggleで競争することです。また、ロシア語を話すデータサイエンスのコミュニティであるOpen DataScienceにも参加してください。、いくつかの深い学習チャネルがあります。アドバイスやコードを手伝う準備ができている人は常にそこにいます。



これらが主な方法です。

---

Leader-ID：友人、AIプロジェクトを推進するためのアクセラレーターの選択が開始されたため、インディー開発者向けのログインオプションを検討しました。いいえ、これはチームのみが集中的に参加する基本的な条件を変更するものではありません。しかし、現在自分のプロジェクトを持っていないが参加したいという個人からの質問がたくさんあります（そして、これらはプログラマーだけでなく、デザイナーはAIプロジェクトに大きな関心を持っています）。そして、私たちは解決策を見つけました。無料のオンラインハッカソンを通じて、チームや志を同じくする人々を集める手助けをします。10月10日12:00に開始し、ちょうど1日後に終了します。その上で、ボットはあなたをチームに分配し、次に彼のリーダーシップの下で、あなたはプロジェクト開発の主要な段階を通過し、それを群島20.35に提出します。すべての詳細はあなたの個人アカウントにあります、あなたはただ時間内に登録する必要があります。