みなさん、良い一日を！人工知能ジャーニー会議の枠組みの中で、ロシアおよび外国のパートナーと一緒にSberbankが主催する毎年恒例の国際AIコンテストはちょうど終了しました。今年のタスク：デジタルピーター：ピーターIの原稿の認識、NoFloodWithAI：アムール川の洪水とAI 4人類：ruGPT-3。今回は43カ国から約1000人が参加しました。
私たちのチームは、「デジタルピーター：ピーターIの原稿の認識」の問題の解決に参加し、1位を獲得しました。競争を解決する過程で私たちが何をしたか、ここでお父さんは誰ですか、私たちが使用したトリックとトリックについてお話ししたいと思います。たくさんの情報があります、主題にない人々のために多くの特別な言葉があります。これはチュートリアルではありません。詳細については説明しませんが、コメントで質問にお答えします。
あなたは夢のチームを見ることができます
予定
タスクの説明
データ形式、利用可能なリソース、および制限
, : , I, (. ). , , - .
.
, - , - , , .
500 , , , , .
1.
, ( OOF), . ( ), ( ), , +90, -90 . (Resnet34 ) . , .
, .. . .
2.
, CTCLoss Attention. CTCLoss , Attention . CTCLoss, , Attention . .
Bs - , (w, h, c) - (, , ). . Hidden size - LSTM . Dict Size - , . Dense - Keras, Linear PyTorch.
3.
, . : ToGray, CLAHE, Rotate, CutOut.
CutOut . , HandWrittenBlots, , , . , ( ) . CutOut , HandWrittenBlots . Augmixations. .
P.S. CutOut , .
4. CharMasks
, , CTC Loss. , , , ( , ). ( Action Labeling ).
. , , . , . XVII-XVIII (, ). , , .
, , , , . . , . . (Multi Word Expression) ( ) .
, , .. , . - :
5. Spell correction using XLMRoberta
, .
, ( , ). NLP. XLMRoberta XVII-XVIII .., I. :
1. OCR ( ) ( ) ( + softmax), 3 (//blank ..) ;
2. : 3-4 , - .. //blank, , . zero-shot learning, , . OCR ('': 'p', '': 'o', '': 'e', '': 'c', '': 'a', '': 'x', '': 'u', '': ‘k’);
3. OCR step by step (!), ;
4. : ( 0 12), 50% padding ( ), 10% . ( ). XLMRoberta outputhiddenstates - NER, ;
5. GPU , TPU Colab
6. Ensemble + Spell Correction Thresholds
, , , CTCLoss, . . , . N "" . , , . . , , , ., +- .
Other Backbones. (EfficientNet, [SE, ECA]ResNet[xt], Mobilenet ), Resnet34.
Augmentations. Albumentations (Brightness, Gamma, Blur ), , .
TTA (Test-Time Augmentations). , holdout , public test - . , holdout.
Classic Blending. , , , , , .
(). , ! :)
, , . , .
P.S. ( , public):
| CER: 2.531 | WER: 13.5 | ACC: 62.107 | TIME: 32s |
submission .
P.P.S.
, ? :)
