現代の人工知能革命は、慎重な研究競争から始まりました。これは、ImageNetコンペティションの3年目である2012年に発生しました。チームにとっての課題は、動物や人から風景まで、千の画像を認識するソリューションを構築することでした。
最初の2年間で、最高のチームは75％を超える精度を達成しませんでした。 3年目に、研究者のチーム（教授と彼の学生）が突然その上限を突破しました。彼らは驚異的な10.8％で競争に勝ちました。教授の名前はジェフリー・ヒントンであり、彼の方法は深い学習でした。
ヒントンは1980年代から深層学習に取り組んできましたが、データと計算能力の不足により効率が制限されてきました。この方法に対する彼の確固たる信念は、最終的に莫大な利益をもたらしました。コンテストの4年目には、ほぼすべてのチームが深い学習を適用し、奇跡的な精度の向上を達成しました。すぐに、深層学習は、画像認識タスクだけでなく、さまざまな業界で適用されるようになりました。
昨年、ヒントンは、人工知能のパイオニアであるヤン・レクンとジョシュア・ベンジオとともに、この科学分野への基礎的貢献に対してチューリング賞を受賞しました。
人間の知性をすべて再現するには、深い学習で十分だと思います。何がそんなに自信があるのですか？
私は深い学習がすべてを行うことができると信じていますが、かなりの数の概念的なブレークスルーがあるに違いないと思います。たとえば、2017年に、Ashish Vaswaniと彼の同僚は、単語の意味を表す非常に優れたベクトルを出力するトランスフォーマーを導入しました。それは概念的なブレークスルーでした。現在では、ほとんどすべての最高の自然言語処理で使用されています。そのようなブレークスルーがたくさん必要になります。
そして、そのようなブレークスルーがあれば、深層学習を使用して人工知能を人間の知能に近づけるでしょうか？
はい。特に、思考のようなものを実装するために神経活動の大きなベクトルを取得する方法に関連するブレークスルー。しかし、私たちには巨大な規模も必要です。人間の脳には約100兆のパラメーターまたはシナプスがあります。現在、1750億のパラメーターを持つGPT-3と呼ばれる非常に大きなモデル。これは脳の1000分の1です。GPT-3は今ではかなり信頼できるテキストを生成できますが、それでも脳に比べると小さいです。
規模について話すとき、それは大規模なニューラルネットワーク、データ、またはその両方を意味しますか？
両方とも。コンピュータサイエンスで起こることと人間で起こることの間にはミスマッチがあります。人々は、受け取るデータの量と比較して、膨大な数のパラメーターを持っています。ニューラルネットワークは、はるかに少ないデータと多くのパラメータで驚くほどうまく機能しますが、人間はさらに優れています。
多くのAIスペシャリストは、AIの健全性はさらに追求する必要のある能力であると信じています。同意しますか？
これが最も重要なことの1つであることに同意します。また、動きの制御は非常に重要だと思います。そして、今日、深層学習ネットワークはそれを上手くやっています。特に、Googleによる最近のいくつかの研究では、システムが机の引き出しを開き、ブロックを取り外し、自然な言語で何をしたかを伝えることができるように、細かい運動スキルとスピーチを組み合わせることが可能であることが示されています。
優れたテキストを生成するGPT-3のようなものの場合、テキストを生成するために多くのことを理解する必要があることは明らかですが、それがどれだけ理解するかは実際には明確ではありません。しかし、何かが引き出しを開いてブロックを取り出し、「引き出しを開いてブロックを取り出したところです」と言うと、それが何をしているのか理解できないとは言い難いです。
AIの専門家は、常に人間の脳を無尽蔵のインスピレーションの源と見なしてきました。AIに対するさまざまなアプローチは、認知科学のさまざまな理論から生まれました。あなたは脳がそれを理解するために本当に世界の見方を構築していると思いますか、それともそれは単に有用な考え方ですか？
認知科学では、2つの思想の学校の間で長い間議論がありました。最初の学校のリーダーであるスティーブン・コスリンは、脳が視覚的な画像で動作するとき、私たちはピクセルとその動きについて話していると信じていました。2番目の学校は従来のAIとより一致していました。その支持者は言った：「いや、いや、これはナンセンスだ。これらは階層的な構造の説明です。心には特定の象徴的な構造があり、私たちはこの構造そのものを制御します。」
どちらの学校も同じ過ちを犯したと思います。Kosslinは、外部画像はピクセルで構成されており、ピクセルは私たちが理解できる表現であるため、ピクセルを操作していると考えました。第二学校は、私たちが象徴的な表現を操作し、記号を通して物事を表現するので、私たちが理解するのは象徴的な表現であると考えました。これらのエラーは同等だと思います。脳の中には神経活動の大きなベクトルがあります。
象徴的な表現がAIへの1つのアプローチであると今でも信じている人々がいます。
まったく正しい。私には、象徴的なアプローチを本当に信じて、この意味で素晴らしい仕事をしたヘクター・レベスクのような良い友達がいます。私は彼に同意しませんが、象徴的なアプローチは完全に合理的な試みです。しかし、最終的には、シンボルは単に外の世界に存在することに気づき、大きなベクトルに対して内部操作を実行すると思います。
他の人との関係で最も反対だと思うAIの見方は何ですか？
さて、私の問題は、私がこれらの反対の見解を持っていて、5年後にそれらが主流になったということです。1980年代からの私の反対意見のほとんどは現在広く受け入れられています。今では、彼らに反対する人々を見つけることは非常に困難です。そうです、私の反対意見は何らかの形で損なわれました。
誰が知っているか、おそらくあなたのAIでの作業の見方や方法も地下にあり、数年後には業界標準になるでしょう。主なことはあなたの進歩を止めないことです。また、バナー割引に10％追加される特別なプロモーションコードHABRを提示することで、これを喜んでお手伝いします。
- 上級コース「MachineLearningPro + DeepLearning」
- コース「データサイエンスのための数学と機械学習」
- 機械学習コース
- データサイエンスの職業訓練
- Data Analyst
- - Data Analytics