事前学習と自己学習を再考する

記事の翻訳は、コース「ディープラーニング。ベーシック」の開始前夜に作成されました。



また、ウェビナー「知識の蒸留：ニューラルネットワークがニューラルネットワークを教える」の録画をご覧になることをお勧めします。

---

2018 FAIR « ImageNet», ICCV2019. . , (KaggleNoobs). Google Research and Brain team . (pre-training), (self-training), (self-supervised learning) .

, , . — , , NLP . , , , , . , ImageNet . (transfer learning) (fine-tuning) — .

, , . , ImageNet COCO. COCO. - ImageNet ( ImageNet). - ImageNet COCO .

— . . , , , .

, ! , , ? , ?

. , :

1. ? ?

   
   
   
   
   

2. ?

   
   
   
   
   

3. ( , ), , ?

   
   
   
   
   

4. ?

   
   
   
   
   

5. ?

   
   
   
   
   

1. : COCO (118K ) . ImageNet (1,2 ) OpenImages (1,7 ​​) . RetinaNet EfficientNet-B7 (backbone). 640 x 640, P3-P7 9 .

   
   
   
   
   

2. : PASCAL VOC 2012 (1,5K ). PASCAL (9K ), COCO (240K , ) ImageNet (1,2M ). NAS-FPN EfficientNet-B7 EfficientNet-L2 .

   
   
   
   
   

, , . ., 3.2 .

 

, . , , :

1. Augment-S1: Flip and Crop ( ) . flip and crop (scale jittering). , (0.8, 1.2) , .

   
   
   
   
   

2. Augment-S2: AutoAugment .

   
   
   
   
   

3. Augment-S3: , AutoAugment, . (0.5, 2.0).

   
   
   
   
   

4. Augment-S4: RandAugment, . , Augment-S2/S3.

   
   
   
   
   

(checkpoints) ImageNet. EfficientNet-B7 — , . . :

1. ImageNet: EfficientNet-B7, AutoAugment, 84,5% top-1 ImageNet.

   
   
   
   
   

2. ImageNet++: EfficientNet-B7, Noisy Student, 300 86,9% top-1 .

   
   
   
   
   

Rand Init.

Noisy Student :

1. - , , COCO.

   
   
   
   
   

2. - , ImageNet.

   
   
   
   
   

3. - - .

   
   
   
   
   

, - ?

ImageNet COCO . , RetinaNet EfficientNet-B7 . :

1. , : , , , Augment-S1, , . , . , , (Augment-S3) .

   
   
   
   
   

2. , : . , , . , . , FAIR.

   
   
   
   
   

— . , ?

: , ImageNet, . , . , .

, , ( COCO) (RetinaNet EfficientNet-B7), . ImageNet ( ImageNet ). :

1. / , : , , , , , . :

   
   
   
   
   

2. . , . , , .

- ! ImageNet++ init, Rand init ImageNet init. - ?

, ImageNet++ init , 300M .

, ImageNet . ? , , — , .

! . , , , , .

, — . , COCO . , , . SimCLR , (fine-tuned) ImageNet. SimCLR ResNet50, RetinaNet ResNet50. :

, , .

?

, ( , ) . , . ? ImageNet COCO? , , ?

, , : .

ImageNet, , , . , ? : , .

, , , . , , - , , , ImageNet COCO?

, , , ImageNet +2,6AP, +2,9AP. , , — . ImageNet, ImageNet +2,6AP, + +0,7AP, + + +3,3AP.

, . , Open Images COCO, , . , , , , . :

1. ImageNet, , , .

   
   
   
   
   

2. (Augment-S4) PASCAL ( + ) . , , , .

   
   
   
   
   

,

, , , :

1. , : , ,   .

   
   
   
   
   

2. . , ResNets, EfficientNets, SpineNet . ., , ImageNet, COCO, PASCAL . .

   
   
   
   
   

3. , , , .

   
   
   
   
   

4. , , .

   
   
   
   
   

. , . , , . , , - ?

, .

1. , .

   
   
   
   
   

2. 1,3x 8x, , .

   
   
   
   
   

3. . .

   
   
   
   
   

, , , , . , . , .

---

"Deep Learning. Basic"

«Knowledge distillation: »