定期的に話します参加者が教育プログラムの一環として作成するプロジェクトについて。たとえば、音声オラクルの作成方法など。本日、2020年春学期コースの結果を共有する準備が整いました。
いくつかのデータと分析
今年はコース数ですべての記録を更新しました。2月の初めには約800人が登録しました。正直なところ、あまり多くの参加者を受け入れる準備ができていなかったので、外出先で多くの瞬間を思いついた。しかし、次回はこれについて書きます。
参加者の話に戻りましょう。みんなコースを終えましたか？もちろん、その答えは明らかです。新しい割り当てごとに、喜んでいる人の数はますます少なくなりました。その結果、検疫やその他の理由で、コースの途中までに半分しか残っていませんでした。さて、それから私はプロジェクトを決定しなければなりませんでした。参加者から70作品が発表されました。そして、最も人気のあるプロジェクトであるツイートの感情の抽出では、19のチームがKaggleでタスクを完了しようとしました。
提示されたプロジェクトの詳細
先週、コースの最終セッションがあり、いくつかのチームがプロジェクトを発表しました。公開セミナーに参加できなかった方のために、レコーディングを用意しました。以下では、実装されたケースについて簡単に説明します。
Kaggle Jigsaw：多言語の有毒なコメントの分類
ローマのShchekin（QtRoS）、Denis Grushentsev（悪人）、マキシムタリマンチュク（mtalimanchuk）
このコンテストは、有毒なテキストを特定するための人気のあるジグソーコンテストの続きですが、この場合、トレーニングは英語のデータで行われ、テストは多言語データ（ロシア語を含む）で行われます。評価は、ROCAUCメトリックに基づいています。チームは、ROC AUCが約0.9463のブロンズ（1621のうち132）を使用しました。最終的なモデルは、分類子のアンサンブルでした。
- XLMRobertaラージ
- ナイーブベイ
- バートベース
- バートベース多言語
- 多言語を使用する
1024 * 1の線形レイヤーを持つ大規模なXLMRobertaは、AdamWオプティマイザーを使用して基本データセットでトレーニングされました。USE多言語モデルは、追加のトレーニングなしで基本バージョン（16言語でトレーニング済み）で使用されました。テストデータセットが英語に自動変換されたため、Bertベースの使用が可能でした。トレーニングセットは、追加のデータセットで拡張されました。
プロジェクトのプレゼンテーションはこちらから入手できます。
プロジェクトのGitHubは、このリンクから入手できます。
バート蒸留について
Nikita Balaganskiyご存知の
ように、BERTアーキテクチャに基づくモデルは、印象的な品質評価を達成しながらも、パフォーマンスが大幅に遅れています。これは、BERTが多数の重みを持つモデルであるためです。モデルを縮小する方法はいくつかありますが、そのうちの1つは蒸留です。蒸留の背後にある考え方は、より大きな「教師」モデルの動作を模倣するより小さな「学生」モデルを作成することです。ロシアの学生モデルは、ニュースデータセットで、4枚の1080tiカードで100時間トレーニングされました。その結果、学生のモデルは元のモデルの1.7分の1であることが判明しました。..。学生モデルと教師モデルの品質の比較は、モコロンテキストの感情的な色を決定するためにデータセットで行われました。その結果、学生モデルは教師モデルと同等のパフォーマンスを発揮しました。トレーニングスクリプトは、catalystパッケージを使用して作成されました。このプロジェクトの詳細については、Mediumをご覧ください。
プロジェクトのプレゼンテーションはこちらから入手できます。
プロジェクトのGitHubは、このリンクから入手できます。
写真：rasa.com
オープンデータサイエンスの質問への回答
Ilya Sirotkin、Yuri Zelensky、Ekaterina Karpova
それはすべて、EkaterinaKarpovaからのODSへの投稿から始まりました。収集されたQ＆Aデータセットに基づいて、ODSslackコミュニティの質問に対する自動応答を作成するというアイデアは非常に野心的でした。ただし、予備的な分析により、ほとんどの質問は非常にユニークであり、品質を評価するためのラベル付きテストセットを作成することはかなり骨の折れる作業であることが明らかになりました。したがって、最初に分類子を作成して、質問されている質問がODSスラックチャネルに属しているかどうかを判断することにしました。彼は、ODS初心者が関連するチャネルトピックで質問するのを手伝うでしょう。品質評価としてpwROC-AUCメトリックが選択されました。
プロジェクトの一環として、人気のあるテキスト分類モデルの比較分析が行われました。彼らの最高-からRuBERTベースのモデルDeepPavlovは- 0.995 pwROC-AUCの品質を示しました。このような多数のモデル品質は、元のデータの高度な分離（および分離可能性）を示しています。私がテストしたすべてのモデルで問題となる唯一のチャネルは_call_4_colaborationです。しかし、なぜ彼は、まだ見つけることができませんでした。
このタスクを処理した後、チームはODSユーザーからの質問に答えるという元のタスクに戻ることを望んでいません。
プロジェクトのプレゼンテーションはこちらから入手できます。
プロジェクトのGitHubは、このリンクから入手できます。
ロシアのアスペクトベースの感情分析
Dmitry Bunin
このプロジェクトの枠組みの中で、テキスト内の特定のオブジェクトに関連する感情を決定する問題が解決されました（Dialogue Evaluation 2015コンペティションの問題C）。ロシア語と英語の両方のデータがデータセットとして使用されました。基本的に、ELM®アーキテクチャ（RusVectoresパッケージから）とBERT（DeepPavlovパッケージから）に基づく最新モデルが比較されました。ロシア語のELM®+ CNNモデルは、トレーニングサンプルが少なく、データの不均衡が大きいにもかかわらず、競合他社の最高のモデルと同等の品質を示しました。
プロジェクトのプレゼンテーションはこちらから入手できます。
プロジェクトのGitHubは、このリンクから入手できます。
Kaggle：ツイート感情の抽出
Kirill Gerasimovコンテスト
の条件によると、タスクは、このツイートのムードを定義するツイートテキストからキーワードまたはフレーズを抽出することでした。単語レベルのJaccardスコアが品質指標として使用されました。このコンテストでは、すべての参加者がノイズの多いデータとあいまいなマークアップに直面しました。チームは、RoBERTaベースをベースにしたパブリックラップトップモデルをベースモデルとして使用しました。このモデルは、キーフレーズの開始と終了が強調表示される読解アプローチを使用します（終了は開始の後にあるという必須条件があります）。受け入れられている伝統によれば、さまざまなモデルのアンサンブルは、個々のモデルよりも高速に実行されました。その結果、ブロンズ（2100のうち135位）..。競争の勝者の経験では、2レベルの注釈はさらに良い速度を与えます。
プロジェクトのプレゼンテーションはこちらから入手できます。
プロジェクトのGitHubは、このリンクから入手できます。
試験の自動解決
MikhailTeterinとLeonidMorozov
このプロジェクトの目標は、AI Journey 2019コンペティション（試験の自動解決）の3つのタスクの品質指標を改善することです。
- テキスト内の主要な情報を検索します。
- 与えられた文脈における単語の意味を決定する。
- 文中の句読点の配置。
3つの問題すべてにおいて、競争における最良の解決策を上回りました。改善の多くは、追加のトレーニングデータの使用によるものです。ソリューションでは、よりRuBERTに基づくモデルDeepPavlovは、最高の品質を示しました。
プロジェクトのプレゼンテーションはこちらから入手できます。
プロジェクトのGitHubは、このリンクから入手できます。
この記事では、セミナーで発表されたプロジェクトのいくつかについて話そうとしましたが、もちろんもっと多くのプロジェクトがありました。
コースに積極的に参加し、諦めなかった皆様、ありがとうございました。NLPの分野で興味深い問題を学び、探しているだけの人には、DeepPavlovContributeプロジェクトを検討することをお勧めします。会話型AIの未来はあなたの手の中にあります！