こんにちは、Habr！
今日は、ディープニューラルネットワークを使用してLeague of Legendsトーナメントゲームのビデオ録画から直接データを抽出した方法をあえて説明します。なぜそれが必要なのか、どのアーキテクチャと手法が使用されたのか、どのような問題に遭遇したのか。
ステップ0：何が何であるかを理解する
リーグ・オブ・レジェンド（LoL）は、世界中で1億人以上のプレイヤーが毎月視聴する人気のMOBAゲームです。大爆笑によって開発されたライアットゲームズと2009年に戻ってリリース。
Riot Games . , , - . - . ...
HUD- (Heads-Up Display - ). :
( ) - , , : , - - , - , , .
( ) - , - . , .
- ( ) - -, , . - , , .
( ) - , , : K/D/A (Kills/Deaths/Assists), - , .
1:
. CVAT , . , , .. (Google OCR, Yandex OCR) , (Tesseract OCR, EasyOCR).
() . segmentation-based . Unet
c efficientnet instance : ( ), ( ) - ( ). segmentation_models.pytorch. Pytorch Lightning .
, watershed . . SVHN
, multihead . , ( ), RNN . , 11- (11- , ) . , . Pytorch .
, . .. . : 2D . , , , . 3D , , N , N+1.
: , , , , .
2:
, : ( ), ( ), ( ). Unet .
: - .
. HSV ( ) : . : ( ) . x- , - / . , , , .
( ).
, . , multihead . , , (/ ).
, , , , . , (, - LoL) . , , 20-
20- . , 20-, 100 , argmax ( , ).
. . , , , . - , OOD (Out-of-Domain), , , metric learning. . - - hinge-loss hard-negative triplet , .
?
hinge-loss- ?
. , .. pattern recogntion. pattern recogntion , .
3: -
, - . Farza ( ) Yolo, , . , .
Yolo - anchor-based , . segmentation-based . . : ( ), ( ). instance , , .
Unet.
watershed . , . , , . , .
, . -.
N:
, , , Riot Games. , , , .
また、結果として得られたフレームワークのソースコードを提供せず、トレーニングネットワークのいくつかのポイントを省略したことをお詫び申し上げます。
ご清聴ありがとうございました！