この色は何ですか？

では前の記事、我々は画像からの服の色を決定し、そしてこれは、私たちは服のスタイルが購入するものについて、それらを送信するためにどの顧客に決定を下すのを助けることができます。人と機械を含むハイブリッドアプローチについて説明しましたが、詳細には人の仕事の一部、つまり画像を色の階層に変換することだけを説明しました。この記事では、コンピューターの一部、つまり現在のコンピュータービジョンアルゴリズム、その開発プロセス、および将来のアイデアについて詳しく説明します。

アルゴリズムが機能することをどうやって知ることができますか？

アルゴリズムを開発する前に、そのパフォーマンスをどのように評価するかを考える必要があります。アルゴリズムを作成し、「この画像の色は次のとおりです」と表示されているとしましょう。彼の決定は正しいでしょうか。そして、それはどういう意味ですか？「正しい」？



この問題を解決するために、2つの重要な寸法を選択しました。1次色の正しいマーキングと正しい色数です。これを、アルゴリズムによって予測された前景色と実際の前景色との間の距離CIEDE 2000（色差式）として設定し、色数の平均絶対誤差も計算します。この選択を行った理由は次のとおりです。

• これらのパラメータは簡単に計算できます。
• メトリックの数が増えると、「最良の」アルゴリズムを選択することがより困難になります。
• メトリックの数を減らすことにより、2つのアルゴリズム間の重要な違いを見逃している可能性があります。
• いずれにせよ、ほとんどの衣服には1つまたは2つの主要な色があり、私たちのプロセスの多くは主要な色に依存しています。したがって、ベースカラーを正しく計算することは、2番目または3番目のカラーを正しく計算することよりもはるかに重要です。

「実際の」データはどうですか？私たちのマーチャンダイザーチームはラベルを提供してくれましたが、ツールでは「グレー」や「ブルー」などの最も一般的な色のみを選択できます。正確な値とは言えません。このような一般的な定義にはかなりの数の異なる色合いが含まれているため、実際の色として使用することはできません。独自のデータセットを作成する必要があります。



すでにMechanicalTurkのようなサービスについて考えている方もいらっしゃるかもしれません。ただし、あまり多くの画像をマークアップする必要はないため、このタスクを説明することは、単に完了するよりもさらに難しい場合があります。さらに、データセットを作成すると、データをよりよく理解するのに役立ちます。 HTML / Javascriptアプリケーションをすばやく作成し、ランダムに1000個の画像を選択し、その主要な色を表すピクセルごとに選択し、画像に表示された色の数をマークしました。その後、アルゴリズムの品質を評価する2つの数値（メインカラーのCIEDEまでの距離とMAEのカラー数）を簡単に取得できるようになりました。



プログラムを手動でチェックし、1つの画像で両方のアルゴリズムを実行し、2つの色のリストを表示することがありました。次に、200枚の画像を手動で評価し、「最良」と認識された色を選択しました。この方法でデータを緊密に操作することは非常に重要です。結果を得るだけでなく（「アルゴリズムBは70％のケースでアルゴリズムAよりもうまく機能しました」）、それぞれのケースで何が起こるかを理解することも重要です（「アルゴリズムBは通常、選択するグループが多すぎますが、アルゴリズムAは明るい色を見逃します」）。





2つの異なるアルゴリズムによって選択されたセーターと色

私たちの色抽出アルゴリズム

画像を処理する前に、より一般的なRGBではなくCIELAB（または単にLAB）カラースペースに変換します。結果として、私たちの3つの数字は、赤、緑、青の量を表すものではありません。 LABスペースのポイント（L * a * b *の方が正確ですが、簡単にするためにLABと記述します）は、3つの異なる軸を示します。 Lは黒0から白100までの輝度を示します。AとBは色を示します。Aは-128緑から127赤の範囲の位置を示し、Bは-128青から127黄色の範囲の位置を示します。この空間の主な利点は知覚される均一性です。 LAB空間内の2点間の距離または差は、空間内の2点間のユークリッド距離も同じである場合、それらの位置に関係なく同じように認識されます。



当然、LABには他の問題があります。たとえば、デバイス固有のRGB空間を使用するコンピューター画面上の画像を検討します。また、LABの範囲はRGBの範囲よりも広いため、LABではRGBでは表現できない色を表現できます。したがって、LABからRGBへの変換を両側で行うことはできません。ポイントを一方向に変換してから反対方向に変換すると、異なる値を取得できます。理論的には、これらの欠点が存在しますが、実際には、この方法は引き続き機能します。



画像をLABに変換すると、ポイント（L、A、B、X、Y）として表示できる一連のピクセルが得られます。アルゴリズムの残りの部分は、これらのポイントのグループ化に関係します。最初のステージのグループは5つの測定値すべてを使用し、2番目のステージはXとYの測定値を省略します。

空間でのグループ化

まず、ピクセルのグループ化を行わず、前の記事で説明したように色を修正し、320x200に圧縮して、LABに変換した画像から始めます。







まず、近くのピクセルを「スーパーピクセル」にグループ化するクイックシフトアルゴリズムを適用しましょう。







これにより、60,000ピクセルの画像がすでに数百スーパーピクセルに削減され、不要な複雑さが解消されます。近くのスーパーピクセルを小さな色の距離でマージすることで、状況をさらに単純化できます。これを行うために、地域近接グラフを描画します。これは、2つの異なるスーパーピクセルを示すノードが、それらのピクセルが接触した場合にエッジで接続されるグラフです。





– (Regional Adjacency Graph, RAG) . , , , , . , , , , . – , .



グラフのノードは計算したスーパーピクセルであり、エッジは色空間でのノード間の距離です。近くにある2つの類似した色のスーパーピクセルを結ぶエッジは重みが低く（暗い線）、色が大きく異なるスーパーピクセル間のエッジは重みが大きくなります（明るい線と線がない-重みが20を超えると描画されません）。近くのスーパーピクセルを組み合わせる方法はたくさんありますが、単純なしきい値10で十分でした。



私たちの場合、60,000ピクセルを100の領域に削減することができました。各領域には、同じ色のピクセルが含まれています。これにより、計算上の利点が得られます。まず、ほぼ白色の大きなスーパーピクセルが背景であり、削除できることがわかっています。L> 99、および-0.5から0.5の範囲のAとBを持つすべてのスーパーピクセルを削除します。次に、次のステップでピクセル数を大幅に減らすことができます。含まれているピクセル数に基づいて領域を重み付けする必要があるため、それらの数を100に減らすことはできません。ただし、詳細をあまり失わず、次のグループの歪みをほとんど発生させることなく、各グループからピクセルの90％を簡単に削除できます。

スペースを使用せずにグループ化

このステップでは、座標（L、A、B）を持つ数千のピクセルがあります。これらのピクセルをうまくグループ化できるテクニックはたくさんあります。k-means法を選択したのは、高速で理解しやすく、データが3次元しかないため、LAB空間でのユークリッド距離が理にかなっているためです。



私たちはあまり賢くはなく、K = 8のグループを作成しました。一部のグループに含まれるポイントが3％未満の場合は、今度はK = 7、次に6というように再試行します。その結果、1〜8のグループ化センターと、各センターに属するポイント数の割合のリストが得られます。これらは、前の記事で説明したcolornamerアルゴリズムによって名前が付けられています。

結果と残りの問題

CIEDE 2000 スケールで、予測色と「実際の」色の間の平均距離5.86を達成しました。この指標を正しく解釈することはかなり困難です。単純なCIE76距離メトリックでは、平均距離は7.82です。このメトリックでは、2.3の値は微妙な違いを表します。したがって、3をわずかに超える結果は、微妙な違いを示していると言えます。



また、MAEは2.28色でした。しかし、繰り返しになりますが、これは二次的な指標です。以下で説明する多くのアルゴリズムはこのエラーを減らしますが、色の距離が長くなります。間違った1番目の色を無視するよりも、5番目または6番目の誤った色を無視する方がはるかに簡単です。





これらのショーツのように明らかに同じ色のものでさえ



、影のためにはるかに暗く見える領域が含まれています。影の問題は残っています。生地を完全に均一に配置することはできないため、画像の一部は常に影に残り、一見別の色に見えます。 「影のないピクセル」から「影のあるピクセル」への移行が常に同じように機能するとは限らないため、同じ色合いと異なる明るさの重複する色を見つけるなどの最も単純なアプローチは機能しません。将来的には、DeshadowNetや自動シャドウ検出などのより高度な手法を使用したいと考えています。







服の色だけに集中しました。ジュエリーと靴には独自の問題があります。私たちのジュエリーの写真は小さすぎ、靴の写真はしばしばそれらの内部を示しています。上記の例では、最初の1つだけが重要ですが、写真にバーガンディとオークルの存在を示します。

他に何を試しましたか

この最後のアルゴリズムは非常に単純に見えますが、思いつくのは簡単ではありませんでした！このセクションでは、私たちが試し、学んだオプションについて説明します。

背景の除去

バックグラウンド除去アルゴリズムを試しました。たとえば、Lystのアルゴリズムです。非公式の評価では、単に白い背景を削除するほど正確には機能しないことが示されました。ただし、フォトスタジオで処理しなかった画像を処理するため、さらに深く調査する予定です。

ピクセルのハッシュ

一部の色抽出ライブラリは、この問題の簡単な解決策を選択しています：ピクセルをいくつかの十分に広いコンテナにハッシュしてグループ化し、ピクセルが最も多いLABコンテナの平均値を返します。Colorgram.pyライブラリを試してみました。そのシンプルさにもかかわらず、それは驚くほどうまく機能します。さらに、それは迅速に機能します-私たちのアルゴリズムが画像ごとに数十秒を費やしている間、画像ごとに1秒以内です。ただし、Colorgram.pyのベースカラーまでの平均距離は、アルゴリズムよりも大きくなりました。これは主に、結果が大きなコンテナまでの平均距離から取得されるためです。ただし、精度よりも速度が重要な場合に使用することがあります。

別のスーパーピクセル分割アルゴリズム

Quickshiftアルゴリズムを使用して画像をスーパーピクセルにセグメント化しますが、SLIC、Watershed、Felzenszwalbなどのいくつかの可能なアルゴリズムがあります。実際には、Quickshiftは小さな部品での作業のおかげで、最良の結果を示しています。たとえば、SLICには、画像内で多くのスペースを占めるストライプなどの問題があります。さまざまな設定でのSLICアルゴリズムの指標となる結果は次のとおりです。





元の画像の





コンパクトさ= 1





コンパクトさ= 10





コンパクトさ= 100



データを処理するために、Quickshiftには1つの理論上の利点があります。それは、継続的なスーパーピクセル通信を必要としないことです。研究者は、これがアルゴリズムに問題を引き起こす可能性があることを指摘しましたが、私たちの場合、これは利点です-私たちはしばしば、1つのグループに持ち込みたい小さな詳細を持つ小さな領域に出くわします。チェッカー





シャツ





Quickshiftによるスーパーピクセルのグループ化Quickshift



のスーパーピクセルのグループ化は混沌としているように見えますが、実際にはすべての赤いストライプを他の赤、青と青などとグループ化します。

グループの数を数えるさまざまな方法

k-meansメソッドを使用する場合、最も一般的な質問が発生します。「k」を作成する方法は？つまり、ポイントを特定の数のグループにグループ化する必要がある場合、いくつ行う必要がありますか？質問に答えるためにいくつかのアプローチが開発されました。最も単純な方法は「エルボー法」ですが、グラフを手動で処理する必要があり、自動ソリューションが必要です。ギャップ統計はこの方法を形式化したもので、「色数」メトリックで最良の結果が得られましたが、基本色の精度が犠牲になりました。メインカラーが最も重要であるため、作業プログラムでは使用しませんでしたが、この問題をさらに調査する予定です。



最後に、シルエット法も人気のあるk選択法です。結果は私たちのアルゴリズムよりもわずかに悪く、1つの重大な欠点があります。少なくとも2つのグループが必要です。しかし、多くの衣料品は1色しかありません。

DBSCAN

kを選択する問題に対する1つの潜在的な解決策は、このパラメーターを選択する必要のないアルゴリズムを使用することです。一般的な例の1つは、データ内でほぼ等しい密度のグループを検索するDBSCANです。





色とりどりのブラウス





彼女の画像のすべてのピクセルはLABスペースにあります。ピクセルは、明確なシアンとバイオレットのグループを形成しません。



多くの場合、そのようなグループを取得しないか、人間の知覚の特殊性のためだけにグループのようなものが表示されます。私たちにとって、ブラウスの緑がかった青の「きゅうり」は紫色の背景に対して際立っていますが、すべてのピクセルをRGBまたはLAB座標でプロットすると、それらはグループを形成しません。しかし、とにかく異なるイプシロン値でDBSCANを試したところ、予想通り悪い結果が得られました。

アルゴリアからの解決策

研究者の良い原則の1つは、誰かがすでにあなたの問題を解決しているかどうかを確認することです。アルゴリアのウェブサイトのレオ・エルコラネッリは、3年以上前にそのような問題の解決策の詳細な説明を公開しました。ソースの配布における彼らの寛大さのおかげで、私たちは彼らの解決策を自分たちで試すことができました。ただし、結果は私たちよりもわずかに悪かったので、アルゴリズムを残しました。彼らは私たちと同じ問題を解決しません：彼らはモデル上にそして白以外の背景に対して製品画像を持っていたので、彼らの結果が私たちのものと異なることは理にかなっています。

カラーコーディネート

このアルゴリズムは、前の記事で説明したプロセスを完了します。グループセンターを抽出した後、Colornamerを使用して名前を付け、それらの色を内部ツールにインポートします。これにより、製品を色で簡単に視覚化できます。このデータを購入推奨アルゴリズムに組み込むことを望んでいます。このプロセスは完璧ではありません。何千もの製品に関するより良いデータを取得するのに役立ちます。これは、人々が好きなスタイルを見つけられるようにするという私たちの主な目標に貢献します。



前編の翻訳についてのインタビュー