良い一日。私たちの名前はTatiana VoronovaとElvira Dyaminovaで、Center 2Mでデータ分析を行っています。特に、画像内のオブジェクト（人、特別な機器、動物）を検出するためのニューラルネットワークモデルをトレーニングします。
各プロジェクトの最初に、同社は許容可能な認識品質について顧客と交渉します。このレベルの品質は、プロジェクトの納品時に保証されるだけでなく、システムのその後の運用中にも維持される必要があります。システムを常に監視して再トレーニングする必要があることがわかりました。このプロセスのコストを削減し、定期的な手順を廃止して、新しいプロジェクトに取り組む時間を解放したいと思います。
自動再トレーニングはユニークなアイデアではありません。多くの企業が同様の内部パイプラインツールを使用しています。この記事では、私たちの経験を共有し、そのような実践を成功させるために大企業である必要はないことを示したいと思います。
私たちのプロジェクトの1つは、キューにいる人を数えることです。顧客は支店数の多い大企業であることから、予定通り人が集まる、つまり定期的に多数の物体（人の頭）を検出する。したがって、このタスクの自動再トレーニングの実装を開始することを決定しました。
これが私たちの計画のようなものでした。スクライバーの作業を除くすべてのアイテムは、自動モードで実行されます。
- 月に一度、先週のすべてのカメラ画像が自動的に選択されます。
- xls- sharepoint, - : « ».
- ( ) – xml- ( ), – .
- « ». xls- ( – , – ). «». , , .
, : (, ) , , (, - ). -. - xls- «» > 0. , ( ). , . , , « ». , . , . , , .
- «» 0, – - .
- , , , , . , .
結局、このプロセスは私たちに大いに役立ちました。第2種のエラーの増加を追跡し、多くのヘッドが突然「マスク」されたときに、トレーニングデータセットに新しいタイプのヘッドを追加し、現在のモデルを再トレーニングしました。さらに、この旅行では季節性を考慮することができます。私たちは現在の状況を考慮してデータセットを常に調整しています。人々はしばしば帽子をかぶるか、逆に、ほとんどすべての人が彼らなしで施設にやって来ます。秋になるとフードをかぶる人が増えます。システムはより柔軟になり、状況に反応します。
たとえば、下の画像では、ブランチ（冬の日）の1つで、そのフレームはトレーニングデータセットに表示されていません。
このフレームのメトリックを計算すると（TP = 25、FN = 3、FP = 0）、再現率は89％、精度は100％、精度と完全性の調和平均は約94であることがわかります。 2％（すぐ下のメトリックについて）。新しい部屋のためのかなり良い結果。
私たちのトレーニングデータセットにはキャップとフードの両方が含まれていたため、モデルが混乱することはありませんでしたが、マスクモードの開始により、間違いが生じ始めました。ほとんどの場合、頭がはっきり見えれば問題は発生しません。しかし、人がカメラから遠い場合、特定の角度でモデルは頭の検出を停止します（左の画像は古いモデルの作業の結果です）。半自動マーキングのおかげで、このような場合を修正し、モデルを適時に再トレーニングできました（右の画像は新しいモデルの結果です）。
Lady close：
モデルをテストするとき、モデルの品質を評価するために、トレーニングに関係のないフレーム（フレーム上のさまざまな人数のデータセット）を選択し、モデルの品質を評価しました。再現率と精度を使用しました。
リコール -完全性は、ポジティブクラスに実際に属しているオブジェクトの割合を示し、正確に予測しました。
精度 -精度は、ポジティブクラスのオブジェクトとして認識されたオブジェクトの割合を示し、正確に予測しました。
お客様が1桁、つまり精度と完全性の組み合わせを必要とする場合、調和平均またはFメジャーを提供しました。指標の詳細をご覧ください。
1サイクル後、次の結果が得られました。
変更前の80％の完全性は、システムに多数の新しい部門が追加されたためであり、新しいビューが表示されました。さらに、シーズンが変更され、その前に、トレーニングデータセットに「秋冬の人々」が表示されました。
最初のサイクルの後、完全性は96.7％になりました。最初の記事と比較すると、完成度は90％に達しています。このような変化は、部門の人数が減少し、重複が減り（かさばるダウンジャケットがなくなった）、帽子の種類が減少したためです。
たとえば、以前は下の画像と同じくらいの人数でした。
これが現在の状況です。
まとめると、自動化の利点を挙げましょう。
- マーキングプロセスの部分的な自動化。
- ( ).
- ( ).
- . .
- . , .
欠点は、マーケター側の人的要因です-彼はマークアップに対して十分な責任を負わない可能性があるため、ゴールデンセットの重複または使用によるマークアップ-マークアップの品質を制御するためだけに機能する、所定の回答を持つタスクが必要です。多くのより複雑なタスクでは、アナリストは個人的にマークアップをチェックする必要があります-そのようなタスクでは自動モードは機能しません。
一般に、自動再トレーニングの実践は実行可能であることが証明されています。そのような自動化は、システムをさらに操作している間、認識品質を良好なレベルに維持できるようにする追加のメカニズムと考えることができます。
記事の著者：Tatiana Voronova（tvoronova）、Elvira Dyaminova（Elviraa）