Sberは、オープンアクセスで7億6000万のパラメーターを持つロシア語モデルGPT-3Largeを公開しました

コンピュータ技術の分野における過去10年間は​​、新しい「人工知能の泉」の始まりによって特徴づけられました。しかし、今日の業界の状況は、おそらく春ではなく、本格的な「AIの夏」と言えます。自然言語処理（NLP）の分野だけで、過去10年以内に、2つの実際の技術革命がありました。結果として得られた2番目のGPT-3モデルは、技術メディアだけでなく、科学界をはるかに超えて有名になりました。たとえば、GPT-3はTheGuardianのエッセイを書きましたAIが人間を脅かさない理由。GPT-3は、詩と詩を作成し、翻訳を実行し、対話を行い、質問に答えますが、これらのタスクの実行方法を具体的に学んだことはありません。最近まで、GPT-3のすべての機能は、英語を話すユーザーだけが理解できました。私たちSberbankは、この厄介な見落としを修正することにしました。そして今、私たちはそれから何が起こったのかをあなたに話します。





画像ソース

自然言語処理における2つの革命

NLPの最初の革命は、監視されていない学習方法を使用して取得された、言語のセマンティクスのベクトル表現に基づくモデルの成功に関連していました。これらのモデルの開花は、トマシュ・ミコロフ博士の学生であるヨシュア・ベンジオ（現代の深層学習の創設者の一人、チューリング賞受賞者）の結果の発表から始まりました。）、および人気のあるword2vecツール。2番目の革命は、再発性神経ネットワークにおける注意メカニズムの開発から始まりました。その結果、注意メカニズムは自給自足であり、再発ネットワーク自体がなくても十分に使用できることが理解されました。結果として得られるニューラルネットワークモデルは「トランスフォーマー」と呼ばれます。これは、2017年にGoogleBrainとGoogleResearchの研究者グループによって書かれた「AttentionIsAllYouNeed」というタイトルの記事で科学界に提示されました。トランスベースのネットワークの急速な発展により、OpenAIのGenerative Pre-trained Transformer 3（GPT-3）のような巨大な言語モデルが生まれました。多くのNLP問題を効率的に解決することができます。



巨大な変圧器モデルのトレーニングには、かなりの計算リソースが必要です。最新のグラフィックカードを手に取って、そのようなモデルを自宅のコンピューターでトレーニングすることはできません。オリジナルのOpenAIの出版物では、モデルの8つのバリエーションが提示されており、1億2500万のパラメーターを持つ最小のもの（GPT-3 Small）を使用して、強力なテンソルコアを備えたプロのビデオカードNVidia V100を使用してトレーニングしようとすると、約6か月かかります。 1,750億個のパラメーターを持つモデルの最大バージョンを使用すると、結果はほぼ500年待たなければなりません。最新のコンピューティングデバイスをレンタルで提供するクラウドサービスのレートでモデルの最大バージョンをトレーニングするコスト、10億ルーブルを超えます（これは、関係するプロセッサの数の増加に伴う線形パフォーマンススケーリングの影響を受けますが、これは原則として達成できません）。

長生きするスーパーコンピューター！

このような実験は、かなりのコンピューティングリソースを持つ企業だけが利用できることは明らかです。このような問題を解決するために、2019年にSberbankはクリストファリスーパーコンピューターを稼働させました。これは、我が国で利用可能なスーパーコンピューターの中でパフォーマンスで第1位になりました。Infinibandテクノロジーに基づく超高速バスで接続された75個のDGX-2計算ノード（それぞれ16個のNVidia V100カードを搭載）わずか数時間でGPT-3Smallをトレーニングできます。ただし、そのようなマシンの場合でも、モデルのより大きなバリアントをトレーニングするタスクは簡単ではありません。まず、マシンの一部は、コンピュータービジョン、音声認識と合成、およびSberbankエコシステムのさまざまな企業が関心を持つ他の多くの分野の問題を解決するために設計された他のモデルのトレーニングで忙しいです。第二に、モデルの重みが1つのカードのメモリに収まらない状況で、同時に多くの計算ノードを使用する学習プロセス自体は、かなり非標準的です。



一般的に、多くの人に馴染みのあるtorch.distributedが私たちの目的に適していない状況に陥っていました。それほど多くのオプションがなかったため、NVidiaMegatron -LMの「ネイティブ」実装に目を向けました。そして、Microsoftの新しい発案であるDeepSpeedは、クリストファリでカスタムドッカーコンテナを作成する必要があり、SberCloudの同僚がすぐに助けてくれました。 DeepSpeedは、まず、モデルの並列トレーニングに便利なツールを提供しました。つまり、1つのモデルを複数のGPUに分散し、GPU間でオプティマイザーをシャーディングします。これにより、追加のコードを山積みすることなく、より大きなバッチを使用したり、15億を超える重みを持つモデルをトレーニングしたりできます。



驚いたことに、その開発における過去半世紀にわたる技術は、スパイラルの次のラウンドを説明しました-メインフレーム（端末アクセスを備えた強力なコンピューター）の時代が戻ってきているようです。主な開発ツールは、開発者専用に割り当てられたパーソナルコンピュータであるという事実には、すでに慣れています。 1960年代後半から1970年代初頭にかけて、メインフレームの1時間の運用コストは、コンピューターオペレーターの1か月分の賃金とほぼ同じでした。これらの時代は永遠に過ぎ去り、「鉄」は労働時間よりも永遠に安くなったように見えました。しかし、ハードウェアが印象的な復活を遂げたようです。現代の機械学習スペシャリストの日常生活は、ストルガツキー兄弟の「月曜日は土曜日に始まる」という話から、サーシャプリバロフの日常生活に再び似ています。、私たちの場合の「アルダン」の場所が「クリストファリ」によって占められていることと、魔法と魔術の役割が深い学習の方法によって実行されていることだけが異なります。

SberDevicesの経験から

過去に何度も、トランスフォーマーに基づく他のモデルを学ぶ必要がありました。これらは、BERTのさまざまな継承者であり、GoogleのT5のようなエンコーダーデコーダーモデルです。最新のSberBoxおよびSberPortalから始めて、さまざまなサーフェス用にSberDevicesによって作成された仮想アシスタントそして、通常のSberbank Onlineアプリケーションで終わり、ユーザーとの通信の過程でさまざまな問題を解決するために、作業でいくつかの同様のモデルを使用します。たとえば、仮想アシスタントJoyは、おしゃべりモードでGPT-2 Mediumモデルを使用し、ロシア文学の大規模なコーパスでトレーニングされ、特別な対話データセットでトレーニングされ、最も興味深い回答を選択するように設計された特別なランキングメカニズムを備えています。このようなモデルは、事前に準備された回答のライブラリから手がかりを選択するのではなく、「オンザフライ」で独自のフレーズを作成することで、ユーザーとの会話を行うことができます。これにより、モデルとのコミュニケーションがより多様で楽しいものになります。







もちろん、そのような「チャッター」は、マイクロインテントのシステム（最も敏感な質問のいくつかに制御された回答を提供するように設計されたルール）と挑発的な質問をかわすように設計された別のモデルの形で保険なしで使用することはできませんが、そのような限られた形式でも使用できます「ジェネレーティブ」「チャッター」は、彼の対談者の気分を大幅に高めることができます。



一言で言えば、Sberbankの経営陣が、GPT-3をトレーニングするための研究プロジェクトにコンピューティングリソースを割り当てることを決定したときに、大型の変圧器モデルを教えた経験が役に立ちました。このようなプロジェクトでは、一度に複数のユニットの努力を組み合わせる必要がありました。 SberDevicesの一部には、このプロセスにおけるリーダーシップの役割は（他のチームからの専門家の数の参加を得て）、およびの一部に実験的機械学習システム専攻によって撮影されたSberbank.AI -でAGI NLPのチーム。 ChristophariをサポートするSberCloudの同僚も積極的にプロジェクトに参加しました。



AGI NLPチームの同僚と一緒に、総量600GBを超えるロシア語のトレーニングコーパスの最初のバージョンを組み立てることができました。ロシア文学の膨大なコレクション、ロシア語と英語のWikipediaのスナップショット、ニュースとQ＆Aサイトのスナップショットのコレクション、Pikabuの公開セクション、人気のある科学ポータル22century.ruと銀行ポータルbanki.ruからの資料の完全なコレクション、およびOmnia Russicacorpusが含まれています。さらに、プログラムコードを処理する機能を試したかったので、トレーニングコーパスにgithubとStackOverflowのスナップショットを含めました。..。 AGI NLPチームは、モデルの検証キットとテストキットの準備だけでなく、多くのデータのクリーニングと重複排除を行ってきました。 OpenAIで使用されている元のコーパスで、英語と他の言語の比率が93：7である場合、この場合、ロシア語と他の言語の比率は約9：1です。



最初の実験の基礎として、GPT-3ミディアム（3億5000万パラメーター）およびGPT-3ラージ（7億6000万パラメーター）アーキテクチャを選択しました。そうすることで、スパースの交互トランスブロックのようにモデルをトレーニングしましたそして、すべての注意ブロックが完了した高密度の注意メカニズムとモデル。事実、OpenAIの元の作品はインターリーブブロックについて説明していますが、特定のシーケンスは提供していません。モデル内のすべてのアテンションブロックが完了すると、トレーニングの計算コストが増加しますが、モデルの予測可能性が最大限に活用されるようになります。現在、科学界は、トレーニングモデルの計算コストを削減し、精度を高めるように設計された、さまざまな注目モデルを積極的に研究しています。短期間で、研究者たちは、適応型アテンションスパンを備えたロングフォーマー、リフォーマー、トランスフォーマーを提案しました。、圧縮トランス、ブロックワイズトランス、BigBird、linformer、および他の多くの同様のモデル。この分野でも研究を行っていますが、密なブロックのみで構成されるモデルは、モデルのさまざまな「加速」バージョンの精度の低下の程度を評価できる一種のベンチマークです。

コンペティション「AI4ヒューマニティーズ：ruGPT-3」

今年、AIジャーニーの枠組みの中で、Sberbank.AIチームはAI 4 Humanities：ruGPT-3コンペティションを開催しました。全体的なテストの一環として、参加者は、事前にトレーニングされたruGPT-3モデルを使用して作成されたビジネスまたは社会問題のソリューションのプロトタイプを提出するように招待されます。特別ノミネート「AIJジュニア」の参加者は、課題の特定のトピック/テキストのruGPT-3に基づいて、ruGPT-3に基づいてグレード11（USE）の4つの人道的主題（ロシア語、歴史、文学、社会科学）に関する意味のあるエッセイを生成するためのソリューションを作成するよう招待されます。



特にこれらの競技会では、GPT-3モデルの3つのバージョンをトレーニングしました：1）GPT-3ミディアム、2）トランスのスパースブロックとデンスブロックが交互に配置されたGPT-3ラージ、3）最も「強力な」GPT-3ラージ。密なブロック。トレーニングデータセットとトークナイザーはすべてのモデルで同一です。BBPEトークナイザーと600GBのボリュームを持つカスタムLarge1データセットが使用されました（その構成は上のテキストに示されています）。



3つのモデルはすべて、競争リポジトリからダウンロードできます。







3番目のモデルがどのように機能するかのいくつかの楽しい例を次に示します。

GPT-3のようなモデルは私たちの世界をどのように変えますか？

GPT-1 / 2/3のようなモデルは、実際には1つの問題を正確に解決することを理解することが重要です。つまり、前のトークンのシーケンスで次のトークン（通常は単語またはその一部）を予測しようとします。このアプローチにより、「ラベルなし」のデータをトレーニングに使用できます。つまり、「教師」を関与させずに使用できます。一方、NLP分野のかなり幅広い問題を解決できます。実際、たとえば、対話のテキストでは、返信-返信はコミュニケーションの歴史の続きであり、フィクションの作品では、各段落のテキストは前のテキストを継続し、質疑応答セッションでは、回答のテキストは質問のテキストの後に続きます。その結果、大容量モデルは、特別な追加トレーニングなしでこのような多くの問題を解決できます。必要なのは、「モデルコンテキスト」に適合する例だけです。どのGPT-3が非常に印象的で、2048個ものトークンがあります。



GPT-3は、テキスト（詩、ジョーク、文学パロディーを含む）を生成するだけでなく、文法上の誤りを修正し、対話を行い、さらには（州外！）多かれ少なかれ意味のあるプログラムコードを書くことができます。 GPT-3の多くの興味深い使用法は、独立した研究者GwernBranwenのサイトで見つけることができます。Andrej Karpathyからの冗談のツイートで表現されたアイデアを開発しているBranuenは、興味深い質問をします。新しいプログラミングパラダイムの出現を目撃していますか？



Karpatyの元のツイートのテキストは次のとおりです。

「ソフトウェア3.0のアイデアが大好きです。プログラミングは、データセットの準備から、メタラーニングシステムが実行する必要のあるタスクを「理解」できるようにするクエリの準備に移行します。LOL "[ソフトウェア3.0のアイデアが大好きです。データセットのキュレーションからプロンプトのキュレーションに移行するプログラミングにより、メタ学習者は本来のタスクを「取得」できます。笑]。

Karpatyのアイデアを発展させて、Branuenは次のように書いています。

« GPT-3 [ ] , : , , , ( GPT-2); , , , [prompt], , , «» - , , . , , «» «», GPT-3 . « » , : , , , , , , , , , ».

私たちのモデルは学習プロセスでgithubとStackOverflowを「見た」ので、コードを書くことができます（非常に深い意味がない場合もあります）。

次は何ですか

今年も引き続き巨大な変圧器モデルに取り組みます。さらなる計画は、データセットのさらなる拡張とクリーニングに関連しており（特に、科学出版物とPubMed Central研究ライブラリ用のarxiv.orgプレプリントサービスのスナップショット、特殊なダイアログデータセットとシンボリックロジックに関するデータセットが含まれます）、トレーニング済みモデルのサイズを増やし、改善されたトークナイザー。



ruGPT-3に基づいて独自のオリジナル製品を作成し、さまざまな科学的およびビジネス上の問題を解決できるため、トレーニング済みモデルの公開が、超強力な言語モデルを必要とするロシアの研究者や開発者の作業に拍車をかけることを願っています。私たちのモデルを使用してみて、それらを試してみて、得られたすべての結果と共有してください。科学の進歩は私たちの世界をより良く、より面白くします。一緒に世界を改善しましょう！