間違ったおもちゃ：ストリーミングポルノと戦うためにニューラルネットワークをどのように教えたか

みなさん、こんにちは。私の名前はオレグです。MTSビデオ分析チームでコンピュータービジョンを担当しています。今日は、WASD.tvストリーミングプラットフォームを安全でないコンテンツから保護する方法、特にアクション認識タスクを設定する際のポルノ検出について説明します。







私たちのケースは、Twitch.tv形式のライブ放送のゲーマー、eスポーツマン、ファンのためのストリーミングサイトです。エンターテインメントコンテンツをストリーミングするユーザーもいれば、視聴するユーザーもいます。コンテンツは大きく異なる可能性があります。ゲーム、ライブミュージック、インタラクティブ、ムクバン、ASMR、料理、ポッドキャストなどです。原則として、ストリーマーの想像力以外の制限はありません。

そして、モデレーターによって監視されるプラットフォームルール。

安全でないコンテンツを緩和する理由これには2つの理由があります。 1つ目は、ポルノの配布が違法であるという現在のロシアの法律です。 2番目の理由はユーザーエクスペリエンスです。このプラットフォームはすべての年齢の人々を対象としており、ホームページにアダルトコンテンツを掲載する余裕はありません。



安全でないコンテンツを追跡するという課題に直面したとき、安全なコンテンツと安全でないコンテンツを区別するのはそれほど簡単ではないことがすぐに明らかになりました。理解することが重要だった最初のことは、ポルノとヌードは同一の概念ではないということでした。



ポルノグラフィーは必ずしもヌードに関するものではありません。服を着たセックスは安全でないコンテンツであり、「安全な」コンテンツと区別できるのは時間の経過とともに起こることがよくあります。



ヌードは必ずしもNSFWに関するものではありません：相撲、レスリング、ラテックスを着た人々-これはすべて安全なコンテンツであり、オープンソリューションはしばしば誤って解決されます。



これらの考慮事項に基づいて、この問題をどのように解決できるかを検討し始めました。興味深いオープンソースソリューションの中で、クローズドデータでトレーニングされたYahooのOpen NSFWモデルは、数年前から存在しています（TFでの実装）。また、Alexander Kim nsfwデータスクレーパーのクールなオープンリポジトリもあります。このリポジトリから、reddit、imgur、および他のいくつかのサイトから数十万の画像を取得できます。画像は、ポルノ、変態、エロティック、ニュートラル、ドローイングの5つのクラスに分類されます。これらのデータに基づいて、時間などの多くのモデルがあります、2つの

オープンソースソリューションにはいくつかの問題があります-一般に、一部のモデルの品質の低さ、前述の複雑なケースでの誤った操作、リカルドミロスとの女の子やミームのひねりなどの安全な画像、および問題のある改善。または、データに非常にノイズが多く、予測できない分布があります。時間的コンテキストは、優れたモデル、つまり時間的コンテキストにとって重要である







と結論付けました。これを使用すると、ダイナミクスでより複雑なケースをキャッチできるようになります。問題の記述が明らかになります。

認識行動

私たちの場合、これは同じバイナリ分類であり、1つの画像ではなく、一連のフレームを入力にフィードします。



彼らはこの問題をどのように解決しますか？ 18年目にはqure.aiからの素晴らしいレビューがあり、それ以来、この分野での根本的な進歩はなかったようですので、私はそれをお勧めします。ビデオのトピックに関するより興味深い研究は、ビデオを理解し、語り直すというより困難な作業になりました。グラフグリッドと自己管理学習があります-最後のMachinesCan Seeの2日目は、これに完全に専念していました。



したがって、アクションの分類。ニューラルネットワークモデルの進歩の歴史は、おおよそ次のとおりです。最初に、3次元の畳み込みネットワークを最初からトレーニングし（C3D）、次に、ある種の反復アーキテクチャまたは注意メカニズムを使用して畳み込みを試み始めました。ある時点で、Andrey Karpatyは、さまざまなフレームからのビューをさまざまな方法でマージすることを提案しました。その後、BGR / RGBの一連のフレームが一方の入力に供給され、高密度の光ストリームがもう一方の入力にカウントされる双頭モデルを作成することが標準になりました。 NetVLADのような追加機能や特別なレイヤーを使用したジョークもいくつかありました。その結果、UCF101ベンチマークで最高のパフォーマンスを発揮するモデルを検討しました。ここで、ビデオは101のクラスアクションに分類されます。このモデルはDeepMindのI3Dアーキテクチャであることが判明しましたが、私たちに最適だったので、それについて詳しく説明します。

DeepMind I3D

ベースラインとして、C3DとCNN-LSTMのトレーニングを試みました。どちらのモデルも学習に時間がかかり、ゆっくりと収束します。その後、I3Dを採用し、生活が良くなりました。これらはBGRと光の流れのための2つの3次元畳み込みネットワークですが、特殊性があります-以前のモデルとは異なり、これはImageNetとDeepmind Kinetics-700からの独自のデータセットで事前にトレーニングされており、65万のクリップと700のクラスがあります。これにより、モデルが数時間で非常に高速に収束し、高品質になります。



本番環境では、RGBヘッドのみを使用します。これは、RGBヘッドが2倍高速であり、光の流れの品質が実際に低下することはなく、コンテンツが存在するコンピューター画面とWebサイトを主にストリーミングするため、さらに悪化する可能性があるためです。時々かなり静的です。



モデルには64ではなく16フレームをフィードします。以前は正方形の入り口がありましたが、プラットフォームの詳細を考慮して、入り口のアスペクト比を16：9に変更しました。タスクはバイナリ分類であり、ゼロクラスはポルノではありませんが、シングルクラスはポルノです。勢いのあるSGDで訓練された彼は、アダムよりもわずかに優れたパフォーマンスを示しました。最小限の増強-水平フリップとJPEG圧縮。ここでは特別なことは何もありません。



モデルのトピックを完了する-I3Dの後、モデルEVANet-一連のフレームのニューラルアーキテクチャ検索、SlowFastネットワーク-フレームレートが異なる2つのチャネルを持つネットワーク、およびGoogle AIによる記事-時間サイクル-一貫性学習がありましたが、調査しませんでした。

それは何で教えられましたか？

上で書いたように、データはタイトです。誰もそれらを公開したくありません。法的および倫理的な観点から、ライセンスからコンテンツに関係する各人の同意まで、それは困難です。データセット、そのライセンス、および公開は、一般的に楽しいものです。誰かがこれについての記事を書きたいなら、私はそれを読みたいです。重要な学術データセットのうち、ブラジルのNPDIのみがありますが、残念ながら、その量は少なく、データの分布は十分に多様ではなく、キーフレームで構成されており、取得手順は簡単ではありません。また、ビデオのデータセットも必要です。自分で組み立てなければなりませんでした。



データセットはビデオで構成されています。つまり、どこかからビデオを撮る必要があります。それらを取得する方法には2つのオプションがあります：スクレイピングポルノサイトやYouTubeから、手動で動画を収集します。それぞれのアプローチには、独自の長所と短所があります。



スクレイピングにより、データの多様性が大幅に向上する可能性があります。条件付きポルノハブのすべての動画のすべてのフレームは安全ではなく、YouTubeのすべての動画のすべてのフレームは安全であると言うことで、非常に安価にマークアップを取得できます。欠点があります。これはすべてどこかに保存する必要があり、データセットはこれから何らかの方法で収集する必要があります。最も重要なことは、ポルノビデオの素朴なマークアップにノイズがあることです。これらは両方とも直接的な間違いです：イントロ、誰もが服を着ているシーン、性別の特徴のないクローズアップ、変態ゲームのメニュー-そしてモデルが再訓練できる要素：ロゴ、黒い画面、カットの編集。このノイズは数パーセントであり、テラバイトのビデオの場合、それを取り除くには費用がかかります。これについては後で説明します。



2番目のアプローチは手動組み立てです。その利点は、データの任意の分布をモデル化でき、データがより予測可能であり、データが少ないという理由だけでラベル付けが容易になることです。しかし、欠点もあります。明らかに、このアプローチではデータが少なくなり、さらに、分布をモデル化して何かを見逃す可能性があるため、コレクターバイアスの影響を受ける可能性があります。

2番目のアプローチを採用しました。ストリーミングプラットフォームに存在する可能性のあるもののリストをまとめました：さまざまなゲーム、アニメーション、アニメ、楽器の演奏、リアクション、ミーム、ストリームのハイライト-そして、通常のものからスラッシュまで、あらゆる種類の安全でないコンテンツをカバーしようとしましたpterodactylsとポルノの精神で。3D hentaiによく使用されるコンピューターゲームについては別途説明しました。たとえば、Overwatchです。そして彼らは集まり始めました。その結果、2つの洞察を強調することができます。

フェティシストは優れたデータコレクターです

ポルノサイトにはあらゆる好みの編集物がたくさんあり、各ビデオには数百または2つの完全に異なるビデオからの抜粋を含めることができます。これにより、多様性の点でスクレイピングに似たデータセットを取得でき、同時にそれをマークアップするのは非常に安価です。

そしてyoutubersも

例：YouTubeにはストリーマーのハイライトの編集があり、場合によっては別の年をカバーし、数時間続き、1,000未満の編集が含まれます。シーン。例2：ゲーム/アニメ/シリーズのトップ。アニメとは何かをニューラルネットワークに明確に説明する必要があるとしましょう。同時に、日本には膨大な数のスタジオがあり、そのスタイルは毎年進歩しています。解決策は、有名なyoutuberから特定の年のアニメトップのビデオをダウンロードすることです。または、人気のあるゲームのさまざまなシーンをカバーする必要があります。このゲームのvideogamedunkeyなどのビデオをダウンロードしてください。

データの反復

データを何度か繰り返しました。最初は約100本の動画で、約70時間の長さで、「ポルノサイトのすべてのフレーム-ポルノ、YouTubeのすべて-非難」という素朴なマークアップがあり、データセットのフレームのシーケンスをほぼ均等にサンプリングしました。



この方法でトレーニングされたモデルはうまく機能しましたが、データのノイズのために、最初のモデルでは、さまざまな種類のロゴ、黒い画面、黒い革のソファ（͡°͜ʖ͡°）の服を着た女の子にエラーが発生しました。今後の0.817の黒い画面は特に混乱を招きましたが、データにエラーがあったことが判明しました。ポルノ編集の1つで、作者が誤ってビデオを必要以上に10分長くレンダリングしたため、列車には多くの「危険な」黒い画面がありました。



その結果、正直にデータをマークアップし、これらのエラーは解消されました。スクレイピングのコンテキストでは、ビデオを手動で選択しているときに、黒い画面のようにこのようなエラーが発生した場合、何千ものビデオをスクレイプすると、追跡がさらに困難になると考えられます。



前述のように、ほとんどすべてのビデオで、OpenCVCVATのツールを使用しました。







その後、作業の過程で、より多くのビデオを収集し、ゲームのカタログを更新しました。その結果、数十の異なるカテゴリの数百時間のビデオがあり、それらは約30,000の固有のシーンと、アスタリスクが付いたデータで構成されていることがわかりました。以下で説明します。



素晴らしい、生のタグ付きデータがあります！それらから適切なデータセットを取得するにはどうすればよいですか？カテゴリごとに長さの異なるビデオが収集され、タイミングと多様性の程度が異なるビデオが収集されます-すべてをどのように結び付けるのですか？データセットからいくつのサンプルを取得できますか？その多様性は（ビデオフレームの最大数のように）どういうわけか根本的に制限されていますが、私たちが取りすぎていることをどのように理解できますか？



作業の開始時には、これらの質問に煩わされることはなく、別々のクラスの各ビデオから非常に多くのサンプルを取得したため、データセット内のポルノと非スポットがほぼ等しくなり、サンプルの数が直感的に決定されました（「まあ、ほとんどすべてのビデオで1分間に数回のようです。根本的に異なることが起こります。10,000個のサンプルを取得します」）、トレーニングされたモデルのメトリックを経験的に使用します。



その結果、これらの質問に対処し、ビデオからデータセットを組み立てるためのかなり複雑なツールになりました。



まず第一に、私たちはビデオ編集からどれだけ絞り出すことができるかを知りたいと思いました。カット内のさまざまなサンプルをカットするために使用するクリップを少し増やすのは当然です。

接着剤の編集を探しましょう

隣接するフレーム間の差のノルムのピークだけを使用することは可能でしたが、特にカットアウトを見つけるためにオープンネットワークを使用しました-TransNet。これにより、2つの結果が得られました。1つは、原則としてデータに含まれるシーンの数を学習したこと、もう1つは、データのどのカテゴリの多様性が低いかを学習したことです。変態、マインクラフトなどを完成させました。



これで、スライスのアトミックユニットはビデオ全体ではなく、1つのシーンになります。..。これにより、ポルノビデオの安全なシーンを考慮に入れて、カテゴリとクラスのバランスが取れた最も多様なデータセットを収集できます。ビデオはカテゴリフォルダにグループ化され、シーンはクラスごとにそれらから均等にサンプリングされます。データセットに新しいビデオを追加すると、不要なサンプルの追加のカット/削除が最小限に抑えられ、データセットが最初から再スライスされることはありません。とても快適です。



トレインで20,000サンプル、検証で2000サンプル、テストで2000サンプルのデータセットを収集し、モデルをトレーニングし、テストのメトリックを気に入って、本番環境に送信しました。



制作について少し話しましょう。毎日何万ものクリップをチェックしているので、誤検知の1％でもモデレーターにスパムを送信できます。そのため、しばらくの間、応答しきい値がわずかに低いモデルでさまざまな誤検知を収集しました。その結果、実際のデータが大量にありました。追加のトレーニングに使用しました。



これはアスタリスクが付いたデータです。プラットフォームの多様なコンテンツに集中し、モデレーターの負担を軽減することができました。現在、ほとんどの誤検知は新しいゲームで発生します。たとえば、かつては、DeathStrandingとValorantをキャッチする可能性が高くなりました。



現在のデータセットは、30000/5000/3000 train / val / testサンプルで構成されています。







検出器のおかげで、モデレーターがプラットフォーム全体をチェックする時間が数分の1に短縮されました。ポルノに加えて、ヌード、テレビのロゴ、スポーツ放送もキャッチしていますが、これらはまた別の話です。

フィン。

資料のビデオ版はここで見ることができます