監査コード：重複検索、顔検出、異常画像

Habr、こんにちは！今日は、異常な画像を見つけるために、コンピュータービジョン、FaceNet畳み込みニューラルネットワーク、およびクラスタリングヒストグラムを使用して画像監査を行った方法について説明します。

自己識別

私の名前はアレクサンダーです。Rosbankグループの内部監査を目的として、データおよびテクノロジー分析の方向性を開発しています。私のチームと私は、機械学習とニューラルネットワークを使用して、内部監査監査の一環としてリスクを特定しています。私たちの兵器庫には、サーバー〜300 GBのRAMと10コアの4つのプロセッサーがあります。アルゴリズムのプログラミングまたはモデリングには、Pythonを使用します。

前書き

銀行商品の登録時に銀行員が撮影した顧客の写真（肖像画）を分析するという課題に直面しました。私たちの目標は、これらの写真から以前に発見されたリスクを特定することです。リスクを特定するために、一連の仮説を生成してテストします。この記事では、私たちが思いついた仮説とそれらをテストした方法について説明します。素材の知覚を単純化するために、私はモナリサを使用します-これは肖像画のジャンルの標準です。

合計を確認

最初は、ファイルのチェックサムを比較するだけで、機械学習やコンピュータービジョンを使用しないアプローチを採用しました。それらを生成するために、hashlibライブラリから広く使用されているmd5アルゴリズムを取得しました。



Python *の実装：

#    
with open(file,'rb') as f:
    #     
    for chunk in iter(lambda: f.read(4096),b''):
        #    
        hash_md5.update(chunk)

チェックサムを作成するとき、すぐに辞書を使用して重複をチェックします。

#    
for file in folder_scan(for_scan):
    #    
    ch_sum = checksum(file)
    #         
    if ch_sum in list_of_uniq.keys():
        #    , ,     dataframe
        df = df.append({'id':list_of_uniq[chs],'same_checksum_with':[file]}, ignore_index = True) 

このアルゴリズムは、計算負荷の点で非常に単純です。サーバーでは、1000個の画像が3秒以内に処理されます。



このアルゴリズムは、データの中から重複する写真を特定するのに役立ち、その結果、銀行のビジネスプロセスを改善できる可能性のある場所を見つけることができました。

キーポイント（コンピュータービジョン）

チェックサム法の肯定的な結果にもかかわらず、画像の少なくとも1つのピクセルが変更されると、そのチェックサムは根本的に異なることを完全に理解しました。最初の仮説の論理的な展開として、画像をビット構造で変更できると仮定しました。つまり、再保存（つまり、jpgの再圧縮）、サイズ変更、トリミング、または回転を行います。

デモンストレーションのために、赤い輪郭に沿ってエッジをトリミングし、モナリサを右に90度回転させましょう。





この場合、画像の視覚的コンテンツによって重複を検索する必要があります。このために、画像のキーポイントを作成し、キーポイント間の距離を見つける方法であるOpenCVライブラリを使用することにしました。実際には、重要なポイントは、コーナー、色のグラデーション、または表面のジョグです。私たちの目的のために、最も単純な方法の1つであるBrute-ForceMatchingが登場しました。画像の要点間の距離を測定するために、ハミング距離を使用しました。次の図は、元の画像と変更された画像でキーポイントを検索した結果を示しています（画像の最も近い20個のキーポイントが描画されています）。





スクリプトの実行時間を最適化し、重要なポイントのより明確な解釈を提供するため、白黒フィルターで画像を分析していることに注意することが重要です。一方の画像にセピアフィルターがあり、もう一方の画像がオリジナルのカラーである場合、それらを白黒フィルターに変換すると、色処理やフィルターに関係なく、重要なポイントが特定されます。



2つの画像を比較するためのサンプルコード*

img1 = cv.imread('mona.jpg',cv.IMREAD_GRAYSCALE)          #  
img2 = cv.imread('mona_ch.jpg',cv.IMREAD_GRAYSCALE) #   
#  ORB  
orb = cv.ORB_create()
#      ORB
kp1, des1 = orb.detectAndCompute(img1,None)
kp2, des2 = orb.detectAndCompute(img2,None)

#  Brute-Force Matching 
bf = cv.BFMatcher(cv.NORM_HAMMING, crossCheck=True)
#   .
matches = bf.match(des1,des2)
#    .
matches = sorted(matches, key = lambda x:x.distance)

#     20    
img3 = cv.drawMatches(img1,kp1,img2,kp2,matches[:20],None,flags=cv.DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS)

plt.imshow(img3),plt.show()

結果をテストしたところ、フリップ画像の場合、キーポイント内のピクセルの順序が変化し、そのような画像が同じものとして識別されないことがわかりました。代償として、各画像を自分でミラーリングして、2倍（または3倍）のボリュームを分析できます。これは、計算能力の点ではるかに高価です。



このアルゴリズムは計算が非常に複雑であり、ポイント間の距離を計算する操作によって最大の負荷が発生します。各画像をそれぞれと比較する必要があるため、ご理解のとおり、このようなカルテシアンセットの計算には、多数の計算サイクルが必要です。ある監査では、同様の計算に1か月以上かかりました。



このアプローチのもう1つの問題は、テスト結果の解釈が悪いことでした。画像の要点間の距離の係数を取得すると、「画像が複製されていると見なすには、この係数のどのしきい値を選択する必要がありますか？」という疑問が生じます。



コンピュータービジョンを使用して、最初のチェックサムテストでカバーされなかったケースを見つけることができました。実際には、これらは保存されすぎたjpgファイルであることが判明しました。分析されたデータセットでは、画像変更のより複雑なケースは特定されませんでした。

チェックサムVSキーポイント

重複を見つけていくつかのチェックで再利用するための2つの根本的に異なるアプローチを開発した結果、データの場合、チェックサムはより具体的な結果をより短い時間で提供するという結論に達しました。したがって、確認する時間が十分にある場合は、重要なポイントで比較します。

異常な画像を検索する

キーポイントのテスト結果を分析したところ、1人の従業員が撮影した写真には、ほぼ同じ数の近いキーポイントがあることがわかりました。そして、これは論理的です。なぜなら、彼が職場のクライアントと通信し、同じ部屋で写真を撮ると、すべての写真の背景が同じになるからです。この観察から、この従業員の他の写真とは異なり、オフィスの外で撮影された可能性のある例外的な写真が見つかる可能性があると私たちは信じました。



モナリサの例に戻ると、他の人が同じ背景に表示されることがわかります。ただし、残念ながら、そのような例は見つかりませんでした。このセクションでは、例なしでデータメトリックを示します。この仮説をテストするフレームワーク内で計算速度を上げるために、キーポイントを破棄してヒストグラムを使用することにしました。



最初のステップは、画像を、ヒストグラム間の距離で画像を比較するために測定できるオブジェクト（ヒストグラム）に変換することです。基本的に、ヒストグラムは画像の概要を示すグラフです。これは、横軸（X軸）にピクセル値があり、縦軸（Y軸）に沿って画像内の対応するピクセル数があるグラフです。ヒストグラムは、画像を解釈および分析する簡単な方法です。写真のヒストグラムを使用すると、コントラスト、明るさ、強度分布などの直感的なアイデアを得ることができます



画像ごとに、OpenCVのcalcHist関数を使用してヒストグラムを作成します。

histo = cv2.calcHist([picture],[0],None,[256],[0,256])

3つの画像の例では、水平軸（すべてのタイプのピクセル）に沿って256の要素を使用してそれらを説明しました。ただし、ピクセルを再配置することもできます。 256の要素を使用した場合の結果はかなり良好だったため、この部分では多くのテストを行いませんでした。必要に応じて、calcHist関数でこのパラメーターを直接変更できます。



各画像のヒストグラムを作成したら、クライアントを撮影した各従業員の画像からDBSCANモデルを簡単にトレーニングできます。ここでの技術的なポイントは、タスクのDBSCANパラメーター（epsilonおよびmin_samples）を選択することです。



DBSCANを使用した後、画像クラスタリングを実行し、PCAメソッドを適用して結果のクラスターを視覚化できます。



分析された画像の分布からわかるように、2つの顕著な青いクラスターがあります。結局のところ、従業員はさまざまな日にさまざまなオフィスで働くことができます。オフィスの1つで撮影された写真は、別のクラスターを作成します。

緑の点は例外的な写真ですが、背景はこれらのクラスターとは異なります。



写真を詳細に分析したところ、偽陰性の写真が多数見つかりました。最も一般的なケースは、吹き飛ばされた写真、または領域の大部分がクライアントの顔で占められている写真です。この分析方法では、結果を検証するために強制的な人間の介入が必要であることが判明しました。



このアプローチを使用すると、写真に興味深い異常を見つけることができますが、結果を手動で分析するには時間がかかります。これらの理由から、監査の一環としてこのようなテストを実行することはめったにありません。

写真に顔はありますか？（顔検出）

したがって、すでにさまざまな側面からデータセットをテストし、テストの複雑さを開発し続けて、次の仮説に進みます。写真に見込み顧客の顔がありますか？私たちの仕事は、写真の中の顔を識別し、写真の入力に関数を与え、出力で顔の数を取得する方法を学ぶことです。



この種の実装はすでに存在しており、GoogleのFaceNetモジュールからタスクにMTCNN（Multitasking Cascade Convolutional Neural Network）を選択することにしました。

FaceNetは、畳み込み層で構成される深い機械学習アーキテクチャです。FaceNetは、各面に対して128次元のベクトルを返します。実際、FaceNetは、いくつかのニューラルネットワークであり、これらのネットワークの中間結果を準備および処理するための一連のアルゴリズムです。このニューラルネットワークによる顔検索の仕組みについては、資料があまりないため、詳しく説明することにしました。

ステップ1：前処理

MTCNNが最初に行うことは、複数のサイズの写真を作成することです。

MTCNNは、各写真の固定サイズの正方形内の顔を認識しようとします。異なるサイズの同じ写真でこの認識を使用すると、写真内のすべての顔を正しく認識する可能性が高くなります。





顔は通常の画像サイズでは認識されない場合がありますが、固定サイズの正方形の別のサイズの画像では認識される場合があります。このステップは、ニューラルネットワークなしでアルゴリズム的に実行されます。

ステップ2：P-Net

写真のさまざまなコピーを作成した後、最初のニューラルネットワークであるP-Netが登場します。このネットワークは12x12カーネル（ブロック）を使用して、左上隅からすべての写真（同じ写真のコピーですが、サイズが異なります）をスキャンし、2ピクセルの増分を使用して画像に沿って移動します。





異なるサイズのすべての写真をスキャンした後、MTCNNは再び各写真を標準化し、ブロック座標を再計算します。



P-Netは、ブロックの座標と、各ブロックに含まれる面に対する信頼レベル（この面の精度）を提供します。しきい値パラメーターを使用して、特定のレベルの信頼でブロックを残すことができます。



同時に、画像には複数の顔が含まれている可能性があるため、信頼度が最大のブロックを単純に選択することはできません。



1つのブロックが別のブロックと重なり、ほぼ同じ領域をカバーしている場合、そのブロックは削除されます。このパラメータは、ネットワークの初期化中に制御できます。





この例では、黄色のブロックが削除されます。基本的に、P-Netは低精度のブロックになります。以下の例は、P-Netの実際の結果を示しています。

ステップ3：R-Net

R-Netは、P-Netの作業の結果として形成された最も適切なブロックの選択を実行します。これは、グループ内ではおそらく人です。R-NetはP-Netと同様のアーキテクチャを備えています。この段階で、完全に接続された層が形成されます。R-Netからの出力もP-Netからの出力と同様です。

ステップ4：O-Net

O-Netネットワークは、MTCNNネットワークの最後の部分です。最後の2つのネットワークに加えて、各面（目、鼻、唇の角）に5つのポイントを形成します。これらのポイントが完全にブロックに該当する場合、その人が含まれている可能性が最も高いと判断されます。追加のポイントは青でマークされています：





その結果、これが顔であるという事実の正確さを示す最終ブロックが得られます。顔が見つからない場合は、顔ブロックの数はゼロになります。



このようなネットワークによる1000枚の写真の処理は、サーバー上で平均6分かかります。

私たちはこのニューラルネットワークを繰り返しチェックに使用しており、クライアントの写真の中から異常を自動的に特定するのに役立ちました。



FaceNetの使用について、モナリサの代わりにレンブラントのキャンバスの分析を開始すると、結果は次の画像のようになり、識別された人物のリスト全体を解析する必要があることを付け加えたいと思います。

結論

これらの仮説とテストアプローチは、絶対にすべてのデータセットを使用して、興味深いテストを実行し、異常を探すことができることを示しています。現在、多くの監査人が同様の手法を開発しようとしているため、コンピュータービジョンと機械学習を使用した実際的な例を示したいと思いました。



また、顔認識をテストの次の仮説と見なしたことも付け加えておきますが、これまでのところ、データとプロセスの詳細は、テストでこのテクノロジーを使用するための合理的な根拠を提供していません。



一般的に、写真をテストする方法についてお話ししたいのはこれだけです。

良い分析とラベル付けされたデータをお祈りします！



*サンプルコードはオープンソースから取得されます。