ロシア語での有毒なコメントの定義

今日、ソーシャルメディアは、オンラインと実生活の両方で主要なコミュニケーションプラットフォームの1つになっています。有毒で攻撃的で不快なコメントを含むさまざまな視点を表現する自由は、人々の意見や社会的結束に長期的な悪影響を与える可能性があります。したがって、現代社会の最も重要なタスクの1つは、インターネット上の有毒情報を自動検出して悪影響を軽減する手段の開発です。



この記事では、ロシア語でこの問題を解決する方法について説明します。データソースとして、Kaggleで匿名で公開されたデータセットを使用し、さらに注釈の品質をチェックしました。分類モデルを作成するために、多言語ユニバーサルセンテンスエンコーダーの2つのバージョン、トランスフォーマーからの双方向エンコーダー表現とruBERTを微調整しました。カスタマイズされたモデルruBERTを示しF ₁が最良の分類結果であった、= 92.20パーセントを。トレーニング済みのモデルとコード例を公開しました。

1.はじめに

今日、有毒なコメントを特定する問題は、高度な深層学習技術を使用して十分に解決されています[1]、[35]。ロシア語での侮辱、有毒および憎悪のスピーチの検出のトピックを直接調査する作品もありますが[2]、[8]、[17]、有毒なロシア語のコメントを含む公開されているデータセットは1つだけです[5]。注釈プロセスの説明なしにKaggleで公開されたため、学術的および実用的な目的では、追加の詳細な調査なしでは信頼できない可能性があります。



この記事は、ロシア語での有毒なコメントの自動検出に専念しています。このタスクでは、ロシア語の有毒コメントデータセット[5]の注釈を確認しました。次に、事前にトレーニングされた多言語バージョンの多言語ユニバーサルセンテンスエンコーダー（M-USE）[48]、トランスフォーマーからの双方向エンコーダー表現（M-BERT）[13]、およびruBERT [22]の微調整に基づいて分類モデルが作成されました。最も正確なモデルruBERT-Toxicは、有毒なコメントのバイナリ分類問題でF ₁ = 92,20％を示しました。結果のM-BERTおよびM-USEモデルは、githubからダウンロードできます。



記事の構成は以下のとおりです。でセクション2このトピックに関する他の作業と、利用可能なロシア語のデータセットについて簡単に説明します。では第3節、我々はロシア語有毒コメントデータセットの一般的な概要を提供し、その注釈をチェックするためのプロセスを説明します。では第4節、我々はテキスト分類のタスクのための言語モデルの洗練を記述する。でセクション5、我々は、分類実験を記述する。最後に、システムのパフォーマンスと今後の研究の方向性についてお話ししましょう。

2.トピックに関する他の作品

さまざまなデータソースに関する有毒なコメントを検出するために、広範な作業が行われています。たとえば、Prabowoらは、ナイーブベイジアン分類（NB）、サポートベクターマシン（SVM）、アンサンブルデシジョンツリー（RFDT）分類子を使用して、インドネシアのTwitterで憎悪と不快な言葉を検出しました[34]。実験結果は、辞書ユニグラムの符号を使用した階層的アプローチとSVMモデルで68.43％の精度を示しました。 Founta [15]が率いるチームの研究では、有毒なテキストの分類のために、事前にトレーニングされたGloVe埋め込みを備えたGRUに基づく深層学習ニューラルネットワークが提案されました。モデルは5つのデータセットで高い精度を示し、AUCは92％から98％の範囲でした。



ますます多くのワークショップやコンテストが、有毒で、憎悪的で、不快なコメントを検出することに専念しています。たとえば、SemEval-2019でのHatEvalとOffensEval。 HASOC at FIRE-2019; GermEval-2019およびGermEval-2018での不快な言語の識別に関する共有タスク。 COLING-2018でのTRAC。問題で使用されるモデルは、従来の機械学習（SVMやロジスティック回帰など）から深層学習（RNN、LSTM、GRU、CNN、注意メカニズムを含むCapsNet [45]、[49]、ELMoなどの高度なモデル）まで多岐にわたります。 [31]、BERT [13]およびUSE [9]、[48]）。良好な結果を達成したかなりの数のチーム[18]、[24]、[27]、[28]、[30]、[36]、[38]は、リストされた事前トレーニング済み言語モデルからの埋め込みを使用しました。事前にトレーニングされたモデルからのビューは分類でうまく機能したため、その後の研究で広く使用されました。たとえば、ロレーヌ大学の研究者は、2つのアプローチを使用してTwitterメッセージのマルチクラスバイナリ分類を実施しました。事前にトレーニングされた語彙埋め込みを使用したDNN分類子のトレーニングと、慎重に調整された事前トレーニングされたBERTモデルです[14]。 2番目のアプローチは、FastText埋め込みに基づくCNNおよび双方向LSTMニューラルネットワークと比較して、大幅に優れた結果を示しました。事前にトレーニングされた語彙の埋め込みと注意深く調整された事前にトレーニングされたBERTモデルを使用してDNN分類子をトレーニングすることによって[14]。 2番目のアプローチは、FastText埋め込みに基づくCNNおよび双方向LSTMニューラルネットワークと比較して、大幅に優れた結果を示しました。事前にトレーニングされた語彙の埋め込みと注意深く調整された事前にトレーニングされたBERTモデルを使用してDNN分類子をトレーニングすることによって[14]。 2番目のアプローチは、FastText埋め込みに基づくCNNおよび双方向LSTMニューラルネットワークと比較して、大幅に優れた結果を示しました。



かなりの数の研究[7]、[33]、[41]がロシア語のソーシャルネットワークにおける有毒で攻撃的な行動の研究に専念してきましたが、それらの自動分類にはあまり注意が払われていません。英語とロシア語のテキストの攻撃性を判断するために、Gordeevは畳み込み神経ネットワークとランダムフォレスト分類子（RFC）を使用しました[17]。アグレッシブとして注釈が付けられたメッセージのセットには、ロシア語で約1000のメッセージが含まれ、英語でもほぼ同じでしたが、公開されていません。訓練されたCNNモデルは、ロシア語のテキストのバイナリ分類の精度が66.68％であることを示しました。これらの結果に基づいて、著者らは、畳み込みニューラルネットワークと深層学習ベースのアプローチが攻撃的なテキストを識別するためにより有望であると結論付けました。Andruziak et al。は、ウクライナ語とロシア語で書かれた不快なYouTubeコメントを分類するために、ソースボキャブラリーを使用した監視されていない確率論的アプローチを提案しました[2]。著者は、手動でラベル付けされた2,000件のコメントのデータセットを公開していますが、ロシア語とウクライナ語の両方のテキストが含まれているため、ロシア語のテキストの調査に直接使用することはできません。



最近のいくつかの研究は、アイデンティティに基づく攻撃の識別を含む、ロシア語を話すソーシャルネットワークにおける移民と民族グループに対する態度の自動識別に焦点を合わせています。 Bodrunovaは共著者とともに、他の国と比較して、ポストソビエト共和国からの移民に対する態度のトピックについて、LiveJournalで363,000のロシア語の出版物を研究しました[8]。ロシア語のブログでは、移民は重要な議論の原因にはならず、最悪の扱いを受けていなかったことが判明しました。同時に、北コーカサス諸国と中央アジア諸国の代表者は、まったく異なる方法で扱われます。 Bessudnovが率いる研究者グループは、ロシア人は伝統的にコーカサスと中央アジアの人々に対してより敵対的であることを発見しました。同時に、ウクライナ人とモルドバン人は一般的に潜在的な隣人として受け入れられています[6]。そして、コルツォワが率いる集団の調査結果によると、中央アジアの国籍とウクライナ人の代表に対する態度は最も否定的です[19]。一部の学術研究は、有毒で攻撃的で憎悪的なスピーチを特定することに焦点を当てていますが、ロシア語のデータセットを公開している著者はいません。私たちが知る限り、ロシア語の有毒なコメントデータセット[5]は、パブリックドメインで唯一のロシア語の有毒なコメントのセットです。ただし、作成と注釈のプロセスを説明せずにKaggleで公開されたため、詳細な調査がなければ、学術的および実用的なプロジェクトでの使用は推奨されません。一部の学術研究は、有毒で攻撃的で憎悪的なスピーチを特定することに焦点を当てていますが、ロシア語のデータセットを公開している著者はいません。私たちが知る限り、ロシア語の有毒なコメントデータセット[5]は、パブリックドメインで唯一のロシア語の有毒なコメントのセットです。ただし、作成と注釈のプロセスを説明せずにKaggleで公開されたため、詳細な調査がなければ、学術的および実用的なプロジェクトでの使用は推奨されません。一部の学術研究は、有毒で攻撃的で憎悪的なスピーチを特定することに焦点を当てていますが、ロシア語のデータセットを公開している著者はいません。私たちが知る限り、ロシア語の有毒コメントデータセット[5]は、パブリックドメインで唯一のロシア語の有毒コメントのセットです。ただし、作成と注釈のプロセスを説明せずにKaggleで公開されたため、詳細な調査がなければ、学術的および実用的なプロジェクトでの使用は推奨されません。ロシア語の有毒なコメントデータセット[5]は、パブリックドメインで唯一のロシア語の有毒なコメントのセットです。ただし、作成と注釈のプロセスを説明せずにKaggleで公開されたため、詳細な調査がなければ、学術的および実用的なプロジェクトでの使用は推奨されません。ロシア語の有毒なコメントデータセット[5]は、パブリックドメインで唯一のロシア語の有毒なコメントのセットです。ただし、作成と注釈のプロセスを説明せずにKaggleで公開されたため、詳細な調査がなければ、学術的および実用的なプロジェクトでの使用は推奨されません。



有毒なロシア語のコメントの定義に関する研究はほとんどないため、ロシア語の有毒なコメントデータセット[5]で深層学習モデルの作業を評価することにしました。このデータソースに基づく分類研究はありません。多言語BERTおよび多言語USEモデルは、最近の研究プロジェクトで最も普及し、成功しているモデルの1つです。そして、彼らだけが公式にロシア語をサポートしています。最近の研究では最良の分類結果が得られたため、学習伝達アプローチとして微調整を使用することを選択しました[13]、[22]、[43]、[48]。

3.有毒なコメントのあるデータセット

ロシア語を 設定する言語毒性コメントデータセット[5]は、サイトDvachおよびPeekabooからの注釈付きコメントのコレクションです。 2019年にKaggleに投稿され、14,412件のコメントが含まれています。そのうち、4,826件は有毒、9,586件は無毒です。コメントの平均の長さは175文字、最小は21文字、最大は7 403です。



注釈の品質を確認するために、コメントの一部に手動で注釈を付け、アノテーター間合意を使用して元のタグと比較しました。アノテーター間の合意の重要なレベルまたは高レベルに達したときに、既存のアノテーションが正しいと見なすことにしました。



まず、3000個のコメントに手動でタグを付け、結果のクラスラベルを元のラベルと比較しました。注釈は、Yandex.Tolokaクラウドソーシングプラットフォームのロシア語を話す参加者によって作成されました。これは、ロシア語のテキストのいくつかの学術研究ですでに使用されています[10]、[29]、[32]、[44]。マークアップのガイドとして、ジグソー毒性コメント分類チャレンジで使用された追加の属性を持つ毒性認識手順を使用しました。アノテーターはテキストの毒性を決定するように求められ、そのレベルはコメントごとに示されなければなりませんでした。マークアップの精度を向上させ、欺瞞の可能性を制限するために、次の手法を使用しました。

• アノテーターには、タスクを制御するための回答に基づいてレベルを割り当て、誤った回答をした人を禁止しました。
• 応答が速すぎる人のためのタスクへのアクセスの制限。
• トピックのタスクへのアクセスが制限されているため、正しいキャプチャが連続して数回入力されません。

各コメントには、動的オーバーラップ手法を使用して3〜8人のアノテーターが注釈を付けました。結果は、 Yandex.Tolokaの推奨に基づいてDawid-Skene法[12]を使用して集計されました。アノテーターは高レベルのアノテーター間合意を示し、クリッペンドルフのアルファ係数は0.81でした。また、元のラベルと集計されたラベルの間のコーエンのカッパ係数は0.68でした。これは、アノテーター間の合意のかなりのレベルに対応します[11]。したがって、特に注釈の指示で起こりうる違いを考慮して、データセットのマークアップを正しいと見なすことにしました。

4.機械学習モデル

4.1。ベースラインアプローチ

ベースラインアプローチでは、1つの基本的な機械学習アプローチと1つの最新のニューラルネットワークアプローチを採用しました。どちらの場合も、事前の準備を行いました。URLとニックネームをキーワードに置き換え、句読点を削除し、大文字を小文字に置き換えました。



まず、テキスト分類の問題でうまく機能するMultinomial Naive Bayes（MNB）モデルを適用しました[16]、[40]。モデルを作成するために、Bag-of-WordsとTF-IDFベクトル化を採用しました。 2番目のモデルは、双方向の長期短期メモリ（BiLSTM）ニューラルネットワークでした。埋め込みレイヤーについては、Word2Vec埋め込みを事前にトレーニングしました（薄暗い= 300）[25] RuTweetCorp [37]からのロシア語のTwitterメッセージのコレクションに基づいています。また、Word2Vecの埋め込みに加えて、2つの双方向LSTMレイヤーを追加しました。次に、完全に接続された非表示のレイヤーとシグモイド出力レイヤーを追加しました。オーバーフィットを減らすために、ガウスノイズと除外レイヤー（ドロップアウト）を含む正規化レイヤーをニューラルネットワークに追加しました。損失関数として、初期学習率が0.001で、カテゴリのバイナリクロスエントロピーを持つAdamのオプティマイザを使用しました。モデルは、10エポックの固定埋め込みでトレーニングされました。学習率を下げながら、さまざまな時代の埋め込みのブロックを解除しようとしましたが、結果はさらに悪くなりました。その理由はおそらくトレーニングセットのサイズでした[4]。

4.2。BERTモデル

多言語BERTの2つのバージョンの_BASEのモデルがあり 、今正式に利用できるが、唯一のケース入りバージョンが公式に推奨されます。 BERT _BASEは、512トークン以下のシーケンスを受け取り、その表現を返します。トークン化は、WordPiece [46]を使用して、予備的なテキストの正規化と句読点の分離を使用して実行されます。 MIPTからの研究者は、BERT訓練を受け_BASEロシア語のモデル[22] -ケース入りと公表ruBERTを。我々は両方のモデルを使用-多言語のBERT _BASEを12個の順次変換ブロックを含むcasedおよびruBERTは、768の非表示サイズを持ち、12個の自己注意ヘッドと1億1000万個のパラメーターを含みます。微調整段階は、[43]および公式リポジトリからの推奨パラメーター（3つの学習エポック、10％のウォームアップ段階、最大シーケンス長128、パケットサイズ32、学習率5e-5）を使用して実行されました。

4.3。MUSEモデル

多USE_{トランスは}せいぜい100個のトークンのシーケンスを取り、入力として、多USE _CNNは配列かかりない256個の以上のトークンを。 SentencePiece [20]トークン化は、サポートされているすべての言語で使用されます。我々は、事前に訓練多言語USE用いる_トランス、ロシア語を含む16個の言語をサポートし、6つの変換層、8つの注目ヘッドブロック2048のフィルタサイズを有している、我々はまた、事前に訓練多言語USE使用512の隠されたサイズを有するエンコーダコンバータ含ま_CNNをサポートしていることをロシア語を含む16の言語には、2つのCNNレイヤーを持つCNNエンコーダーが含まれ、フィルター幅（1、2、3、5）、フィルターサイズがあります。両方のモデルで、推奨されるパラメーターをTensorFlowハブページ：100学習エポック、バッチサイズ32、学習率3e-4。

5.実験

ベースラインと学習転送のアプローチを比較しました。

• 多項ナイーブベイズ分類器;
• ニューラルネットワーク双方向長期短期メモリ（BiLSTM）;
• トランスフォーマーからの双方向エンコーダー表現の多言語バージョン（M-BERT）;
• ruBERT;
• 多言語ユニバーサルセンテンスエンコーダー（M-USE）の2つのバージョン。

テストセットでのトレーニング済みモデルの分類の品質（20％）を表に示します。調整されたすべての言語モデルは、F _1の精度、想起、測定においてベースラインレベルを超えました。ruBERTを示しF ₁、これは最良の結果である、= 92.20パーセントを。



有毒なロシア語のコメントのバイナリ分類：

6.

この記事では、多言語ユニバーサルセンテンスエンコーダー[48]の2つの微調整バージョン、トランスフォーマーからの多言語双方向エンコーダー表現[13]とruBERT [22]を使用して、有毒なロシア語のコメントを特定しました。rubert同調_毒性を示したF ₁ = 92.20パーセント、最高の分類結果です。



結果として得られるM-BERTおよびM-USEモデルは、githubで入手できます。

文学的な情報源