機械学習に関する記事の選択：2020年10月の事例、ガイド、および研究

10月には、伝統的に、GPT-3が再び脚光を浴びています。OpenAIのモデルに関連するいくつかのニュースがあります-良いことも悪いこともあります。

OpenAIとMicrosoftの取引

あまり快適ではないものから始めなければなりません-MicrosoftがGPT-3の独占的権利を引き継ぎました。この取引は予想通り怒りを引き起こしました-OpenAIの創設者で現在は同社の取締役会の元メンバーであるElonMuskは、Microsoftが本質的にOpenAIを乗っ取ったと述べました。



事実、OpenAIは元々、人工的なインテリジェンスを別の州や企業の手に渡さないようにするという高い使命を持った非営利組織として作成されました。組織の創設者は、テクノロジーがすべての人類の利益のために機能するように、この分野での研究の開放性を求めました。



Microsoftは、その弁護において、モデルAPIへのアクセスを制限するつもりはないと主張しています。したがって、実際には何も変更されていません。それ以前は、OpenAIもコードを公開していませんでしたが、以前はパートナー企業でさえAPIを介してのみGPT-3を使用することが許可されていた場合、現在はMicrosoftが独占的に使用する権利を持っています。

SberbankのruGPT3

さらに嬉しいことに、Sberbankの研究者は、GPT-3アーキテクチャを繰り返し、GPT-2コードに基づいており、最も重要なこととして、ロシア語のコーパスでトレーニングされたモデルを公開しました。



ロシアの文献のコレクション、Wikipediaデータ、ニュースと質疑応答サイトのスナップショット、ポータルPikabu、22century.ru banki.ru、OmniaRussicaからの資料がトレーニングのデータセットとして使用されました。開発者は、コードの生成とプログラミングの方法を教えるために、GitHubとStackOverflowからのデータも含めました。クリーンアップされたデータの合計量は600GBを超えています。



ニュースは間違いなく良いですが、いくつかの注意点があります。このモデルはGPT-3に似ていますが、違います。著者自身が認めている重量が1,750億のGPT-3の最大バージョンの230分の1であるため、ベンチマーク結果を正確に繰り返すことはできません。つまり、このモデルがジャーナリズムのテキストと見分けがつかないテキストを書くことを期待しないでください。



説明されているGPT-3アーキテクチャが実際の実装と異なる場合があることも考慮する価値があります。トレーニングパラメータを読んだ後でのみ確実に言うことができます。ウェイトが公開される前に遅れて公開された場合、最近のイベントに照らして、それらを期待することはできません。



事実、プロジェクトの予算はトレーニングパラメータの数に依存し、専門家によると、GPT-3のトレーニングには少なくとも1,000万ドルの費用がかかります。したがって、強力なMLスペシャリストと強力なコンピューティングリソースを備えた大企業のみがOpenAIの作業を再現できます。

AIレポート2020の状態

上記のすべては、機械学習の分野における現状に関する第3回年次報告書の結論を裏付けています。 AIスタートアップを専門とする投資家であるNathanBenaichとIanHogarthは、テクノロジー、人的資源、産業用アプリケーション、および法的な複雑さをカバーする詳細なプレゼンテーションを公開しました。



不思議なことに、研究の85％がソースコードなしで公開されています。コードがプロジェクトのインフラストラクチャに組み込まれることが多いという事実によって商業組織が正当化できるとしたら、研究機関やDeepMindやOpenAIなどの非営利企業はどうでしょうか。



また、データセットやモデルの増加は予算の増加につながると言われており、機械学習の分野が停滞していることを考えると、新しいブレークスルーごとに不釣り合いに大きな予算が必要になります（GPT-2とGPT-3のサイズを比較してください）。大企業のみ。



このドキュメントは簡潔かつ明確に記述されており、よく説明されているため、このドキュメントを読むことをお勧めします。また、前回のレポートからの2020年の4つの予測はすでに実現しています。



これ以上誇張することはありません。まだ良い話があります。そうでなければ、このコレクションは存在しません。

GoogleとFacebookから多言語モデルを開く

mT5

Googleは、多言語モデルのT5ファミリーのソースコードとデータセットを公開しています。OpenAIに関連する誇大宣伝のため、このニュースは、印象的な規模にもかかわらず、ほとんど気付かれませんでした。最大のモデルには130億のパラメーターがあります。



トレーニングには101言語のデータセットが使用され、そのうちロシア語が2位です。これは、私たちの偉大で力強い場所がWeb上で2番目に人気のある場所であるという事実によって説明できます。

M2M-100

Facebookもそれほど遅れをとっておらず、多言語モデルをレイアウトしました。これは、彼らの声明によれば、中間言語なしで100x100の言語ペアを直接翻訳することを可能にします。



機械翻訳の分野では、個々の言語やタスクごとにモデルを作成してトレーニングするのが通例です。しかし、Facebookの場合、ソーシャルネットワークのユーザーが160以上の言語でコンテンツを公開しているため、このアプローチは効果的に拡張できません。



通常、複数の言語を一度に処理する多言語システムは英語に依存しています。翻訳は仲介され、不正確です。中国語からフランス語への翻訳、またはその逆の翻訳を見つけるのは非常に難しいため、データが不十分なため、ソース言語とターゲット言語の間のギャップを埋めることは困難です。これを行うには、作成者は逆変換によって合成データを生成する必要がありました。



この記事はベンチマークを提供し、モデルは英語に依存するアナログよりも翻訳にうまく対処し、データセットへのリンクも提供します。

ビデオ会議の進歩

10月、Nvidiaからの興味深いニュースがすぐに現れました。

StyleGAN2

まず、StyleGAN2のアップデートを投稿しました。モデルの低リソースアーキテクチャにより、画像が3万未満のデータセットでパフォーマンスが向上するようになりました。新しいバージョンでは、混合精度のサポートが導入されています。トレーニングは約1.6倍、推論は約1.3倍、GPU消費量は約1.5倍減少しました。また、モデルハイパーパラメータの自動選択を追加しました。さまざまな解像度とさまざまな数の利用可能なグラフィックプロセッサのデータセット用の既製のソリューションです。

NeMo

Neural Modulesは、会話型モデルをすばやく作成、トレーニング、および調整するのに役立つオープンソースのツールキットです。NeMoは、スコープごとにグループ化されたモジュールで構成される、すべてのモデルとコレクションに単一の「ルックアンドフィール」を提供するコアで構成されています。

マキシン

別の発表された製品は、上記の両方のテクノロジーを社内で使用する可能性があります。Maxineビデオ通話プラットフォームは、MLアルゴリズムの動物園全体を組み合わせたものです。これには、すでにおなじみの解像度の向上、ノイズの除去、背景の除去だけでなく、視線と影の修正、主要な顔の特徴（つまり、ディープフェイク）による画像の復元、サブタイトルの生成、リアルタイムでの他の言語への音声の翻訳が含まれます。つまり、以前は別々に遭遇したほとんどすべてのものが、Nvidiaが1つのデジタル製品に統合されました。これで、早期アクセスを申請できます。

Googleの新しい開発

検疫のおかげで、今年はビデオ会議の分野でリーダーシップを発揮するための真の競争があります。 Google Meetは、 Mediapipe（目、頭、手の動きを追跡できる）のフレームワークに基づいて、高品質の背景を除去するためのアルゴリズムを作成するケーススタディを共有しました。



Googleは、音声品質を向上させるiOS上のYouTubeストーリーサービスの新機能も開始しました。これは興味深いケースです。オーディオよりもビデオの方が何倍も多くのエンハンサーを利用できるからです。このアルゴリズムは、音声と、顔の表情、唇の動きなどの視覚的マーカーとの相関関係を追跡および記録し、他のスピーカーからの音声を含む背景音から音声を分離するために使用します。



同社はまた、新しい試みを提示しましたサイン言語認識の分野で。



ビデオ会議ソフトウェアについて話すと、新しいディープフェイクアルゴリズムについても言及する価値があります。

MakeItTalk

最近、オーディオストリームのみに依存して、写真をアニメーション化するアルゴリズムのコードがオープンアクセスで公開されました。通常、ディープフェイクアルゴリズムはビデオを入力として受け取るため、これは注目に値します。

BeyondBelief

新世代のディープフェイクアルゴリズムは、顔だけでなく、髪の色、肌の色合い、体型など、全身を置き換えるタスクを設定します。この技術は主にオンラインショッピングの分野で適用されるため、個々のモデルを雇うことなく、ブランド自体が提供する商品の写真を使用できます。より多くのアプリケーションがビデオデモで見ることができます。これまでのところ、納得がいかないように見えますが、すぐにすべてが変わる可能性があります。

Hi-Fi3Dフェイス

ニューラルネットワークは、写真から人の顔の高品質な3Dモデルを生成します。モデルは、通常のRGB-Dカメラからの短いビデオを入力として受け入れ、出力で、生成された顔の3Dモデルを提供します。プロジェクトコードと3DMMモデルは公開されています。

SkyAR

著者は、空をリアルタイムでビデオに置き換えるオープンソーステクノロジーを発表しました。これにより、スタイルを制御することもできます。稲妻のような気象効果は、ターゲットビデオで生成できます。



パイプラインモデルは、多くのタスクを段階的に解決します。グリッドは空をマットにし、移動するオブジェクトを追跡し、スカイボックスのカラースキームに一致するように画像をラップして再描画します。

シースルー

このツールは、水中画像のトゥルーカラーを復元するという並外れたタスクを解決します。つまり、アルゴリズムは、照明を復元し、画像から水を除去するために、オブジェクトまでの深さと距離を考慮に入れます。これまでのところ、データセットのみが利用可能です。

Covid-19を診断するためのMITモデル

結論として、関連するトピックに関する興味深い事例を共有します。MITの研究者は、強制咳記録を使用して、コロナウイルス感染の無症候性患者と健康な人を区別するモデルを開発しました。



モデルは、咳サンプルの何万ものオーディオテープでトレーニングされています。MITによると、アルゴリズムは98.5％の精度でCovid-19を持っていることが確認された人々を識別します。



政府当局はすでにアプリケーションの作成を承認しています。ユーザーは自分の咳の音声録音をダウンロードし、その結果に基づいて、実験室で完全な分析を行う必要があるかどうかを判断できます。



以上、ご清聴ありがとうございました！