鮮度を求めて

2010年3月20日、アイスランドのEyjafjallajökull火山の噴火が始まりました。 2015年7月14日、ニューホライズンズ惑星間ステーションはプルートの写真を地球に送信しました。 2019年4月15日、ノートルダム大聖堂で火災が発生しました。これらのケースに共通するものは何ですか？







このような各イベントには、インターネットユーザーからの関心の高まりが伴います。人々は何が起こったのかを読むだけでなく、写真を見たいと思っています。彼らは写真を探しに行き、数時間前には存在しなかったかもしれない新鮮で関連性のある写真を見つけることを期待しています。予想外に関心が高まり、数日以内にほぼゼロになります。



この状況の特徴は、従来の検索エンジンがそのようなシナリオ向けに設計されていないことです。さらに、コンテンツの鮮度の基準は、関連性、権限など、優れた検索の他の重要な特性と矛盾します。新しいコンテンツを見つけるだけでなく、結果のバランスを維持するためにも、特別なテクノロジーが必要です。



私の名前はDenisSakhnovです。今日は、Yandex.Imagesに新鮮なコンテンツを配信するための新しいアプローチについて説明します。そして私の同僚のドミトリー・クリボコンkrivokon新鮮な画像の指標とランキングに関する詳細を共有します。品質評価への新旧のアプローチについて学びます。また、YT、Logbroker、RTMRについてもお知らせします。







画像検索がクエリのその部分でうまく機能するためには、回答に新鮮なコンテンツが含まれている必要があり、次のタスクを解決する必要があります。

1. 新鮮な写真をすばやく見つけてダウンロードする方法を学びましょう。
2. それらを迅速に処理することを学びます。
3. 写真に基づいて検索するドキュメントをすばやく収集する方法を学びます（この点は、ストーリーが進むにつれて明らかになります）。
4. 新鮮なコンテンツの検索品質の基準を策定します。
5. 品質要件に基づいてSERPのコンテンツをランク付けおよび混合する方法を学びます。

最初のポイントから始めましょう。

1.写真を撮る

インターネット上には多くのサイトがあり、それらの多くは写真を含む何かを定期的に公開しています。人々が画像検索でこれらすべてを見るには、ロボットがサイトにアクセスしてコンテンツをダウンロードする必要があります。これは通常、検索の仕組みです。比較的すばやく知っているサイトを巡回して、新しい写真を取得します。しかし、今突然関連するコンテンツになると、このモデルは失敗します。インターネットは巨大であるため、世界中のすべてのサイトのHTMLドキュメントを「今」ダウンロードして、すべてをすばやく消化することは不可能です。少なくとも世界の誰もそのような問題をまだ解決していません。



誰かがこの方法で問題の解決策を想像するかもしれません：リクエストのバーストを追跡し、最初に何らかの形でリクエストに一致するソースのみを処理します。しかし、それは紙の上でのみ良いように聞こえます。まず、何かと何かの対応を確認するには、すでにコンテンツが手元にある必要があります。第二に、リクエストのピーク後に何かを始めた場合、私たちはすでに遅れています。クレイジーに聞こえるかもしれませんが、必要になる前に新鮮なコンテンツを見つける必要があります。しかし、予期しないことをどのように予測しますか？



正解は仕方がない。火山噴火のタイミングについては何も知りません。しかし、どのサイトが通常新鮮で有用なコンテンツを持っているかはわかっています。こちら側から行ってきました。コンテンツの品質と関連性に基づいてクローラーをクロールすることを優先する、機械で学習した式の使用を開始しました。 SEOに許してもらいましょう。ここでは、詳細については説明しません。ロボットの仕事は、HTMLドキュメントをできるだけ早く私たちに届けることです。その後、私たちはそれらの塗りつぶしを見て、新しいテキスト、写真へのリンクなどを見つけることができます。



画像リンクは優れていますが、これまでのところ検索には特に役立ちません。まず第一に、あなたは私たちにそれらをダウンロードする必要があります。しかし、繰り返しになりますが、画像への新しいリンクが多すぎてすぐにダウンロードできません。そして、ここでの問題は私たちのリソースだけではありません。サイトの所有者は、Yandexが誤ってそれらを邪魔することも望んでいません。したがって、画像のダウンロードを優先するために機械学習を使用します。要因は異なり、多くあります。すべてを説明するわけではありませんが、たとえば、さまざまなリソースに画像が表示される頻度も優先度に影響を与えると言えます。



これで、画像へのリンクのリストができました。次に、それらを自分自身にダウンロードします。独自のLogbrokerサービスを使用しています。これはトランスポートバスとして機能し、大量のトラフィックに耐えることができます。数年前、私たちの同僚であるAlexey Ozeritskyは、Habréでこのテクノロジーについてすでに話していました。



これは、最初の段階が論理的に完了する場所です。ソースを特定し、いくつかの写真を正常に抽出しました。ほんの少し残っています：彼らと一緒に働く方法を学ぶこと。

2.写真を処理する

写真自体はもちろん便利ですが、それでも準備が必要です。これ



は次のように機能します。1。ステートレスコンピューティングサービスRTHubでは、さまざまなサイズのバージョンが用意されています。これは、検索結果にサムネイルを表示し、クリックするとソースサイトの元のコンテンツを提供するのに便利な検索に必要です。



2.ニューラルネットワークの機能が計算されます。 GPUを搭載したマシンでオフライン（つまり、事前に、ランク付け時ではなく）でニューラルネットワークが起動され、その結果が画像の特徴のベクトルになります。また、有用な分類子の値が計算されます：美しさ、美学、不適切なコンテンツなど。まだこれがすべて必要です。



3.次に、写真から数えた情報を使用して、複製を接着します。これは重要です。ユーザーは、同じ画像が表示される検索結果に満足する可能性は低いです。同時に、わずかに異なる場合があります。エッジを切り取った場所、透かしを追加した場所などです。複製の接着は2段階で実行します。まず、ニューラルネットワークベクトルを使用した近接画像の大まかなクラスタリングがあります。この場合、クラスター内の画像の意味が一致しない場合もありますが、これにより、さらに作業を並列化することができます。次に、各クラスター内で、写真のアンカーポイントを検索して、複製を接着します。注意：ニューラルネットワークは類似した画像を探すのに優れていますが、完全な複製を見つけるにはあまり「ファッショナブルな」ツールの方が効果的です。ニューラルネットワークは巧妙すぎて、「同じものが異なっている」と見なす可能性があります。



そのため、この段階の終わりまでに、事前に計算されたニューラルネットワークやその他の機能を使用して、複製の接着を経たさまざまなバージョンの既製の写真ができあがります。ランキングに提出しますか？いいえ、時期尚早です。

3.写真をドキュメントに入れる

ドキュメントは、ランキングに参加するエンティティの名前です。ユーザー側から見ると、ページ（サイトを検索）、写真（画像を検索）、ビデオ（ビデオを検索）、コーヒーメーカー（商品を検索）などへのリンクのように見える場合があります。しかし、内部では、検索結果の各ユニットの背後に、異種の情報がたくさんあります。私たちの場合、画像自体、そのニューラルネットワーク、その他の機能だけでなく、画像が配置されているページ、これらのページで画像を説明するテキスト、ユーザーの行動の統計（たとえば、画像のクリック）に関する情報も含まれます。すべて一緒に-これはドキュメントです。また、直接検索に進む前に、ドキュメントを収集する必要があります。そして、画像の通常の検索ベースを形成するメカニズムは、ここでは適切ではありません。



主な課題は、ドキュメントのさまざまなコンポーネントがさまざまな時間にさまざまな場所で生成されることです。同じLogbrokerは、ページとテキストに関する情報をダウンロードできますが、写真と同時にダウンロードすることはできません。リアルタイムのユーザー行動データは、RTMRログ処理システムを介して取得されます。そして、これはすべて写真とは独立して保存されます。ドキュメントを収集するには、さまざまなデータソースを一貫してバイパスする必要があります。



MapReduceを使用して、画像のメイン検索ベースを形成します。これは、大量のデータを処理するための効率的で信頼性の高い方法です。ただし、鮮度のタスクには適していません。各ドキュメントの作成に必要な、MapReduceに対応しないすべてのデータをストレージから非常に迅速に受信する必要があります。したがって、鮮度ループでは、別の方法を使用します。異種情報がRTRobotストリーミングデータ処理システムに送られます。RTRobotストリーミングデータ処理システムは、KVストレージを使用してさまざまなデータ処理フローと障害耐性を同期します。



鮮度ループでは、YTシステムに基づく動的テーブルをKVストレージとして使用します..。実際、これは私たちが必要とする可能性のあるすべてのコンテンツのリポジトリです。非常に高速なアクセス。そこから、写真の検索、ドキュメントの収集、およびLogBrokerを使用した検索サーバーへの転送に役立つすべてのものを迅速に要求し、そこから準備されたデータが検索データベースに追加されます。







鮮度を処理するための個別のループのおかげで、すべての段階（Webでの画像の検索からドキュメントの準備まで）をカバーし、1秒あたり数百の新しい画像を処理し、平均して出現から数分で検索に配信できます。



しかし、写真を検索に持ち込むだけでは十分ではありません。それらが有用な場合は、検索結果に表示できる必要があります。そしてここで、次のステップであるユーティリティの決定に進みます。ドミトリーに床を譲るkrivokon..。

4.品質を測定します

検索品質を最適化するための一般的なアプローチは、メトリックを選択することから始まります。 Yandex画像検索では、メトリックのタイプはおおよそ次のとおりです。







ここで、

nは、評価する問題の最初の画像（ドキュメント）の数です。

p_i-検索結果の位置の重み（位置が高いほど、重みが大きくなります）。

r_i-関連性（画像がリクエストにどの程度一致しているか）。

w_i…m_i-応答品質の他のコンポーネント（鮮度、美しさ、サイズ...）;

f（...）は、これらのコンポーネントを集約するモデルです。



簡単に言えば、検索結果で有用な写真が多いほど、この表現の量は多くなります。



f（...）モデルについて一言。彼女は写真とポロカーのペアワイズ比較によって訓練されています。人はリクエストと2つの写真を見て、最適なものを選択します。これを何度も繰り返すと、モデルは特定の要求に対してどの品質コンポーネントが最も重要であるかを予測することを学習します。



たとえば、ブラックホールの新鮮な写真を要求する場合、鮮度成分の係数が最も高くなります。そして、熱帯の島については、美しさです。醜い島のアマチュア写真を探している人はほとんどいないため、通常は魅力的な写真が必要です。このような場合、写真の配信が視覚的に良く見えるほど、人がサービスを使い続ける可能性が高くなります。しかし、これに気を取られないようにしましょう。



したがって、ランキングアルゴリズムのタスクは、このメトリックを最適化することです。しかし、毎日何百万ものリクエストをすべて見積もることはできません。これは、トロカーにとって非常に大きな負荷です。そのため、品質管理のために、ランダムなサンプル（バスケット）を一定期間割り当てます。



鮮度の要素がすでに考慮されている指標があり、品質管理の要求が選択されているように思われます。これに関するトピックを閉じて、ランキングに進むことができます。しかし、違います。



新鮮な写真の場合、問題が発生します。アルゴリズムを評価するとき、要求が検索に入力された瞬間に、ユーザーの要求に適切に応答することを理解できる必要があります。昨年の新たな要求は今ではそうではないかもしれません。そして、何か他のものが良い答えになるでしょう。したがって、リクエストの固定バスケット（たとえば、1年ごと）は適切ではありません。



この問題を解決するための最初のアプローチとして、バスケットをまったく使用せずに実行しようとしました。特定のロジックに従って、新しい画像を出力にミックスし始め、ユーザーの行動を調査しました。それがより良い方向に変化した場合（たとえば、人々が結果をより積極的にクリックした場合）、ミキシングは役に立ちました。しかし、このアプローチには欠点があります。品質評価は、アルゴリズムの品質に直接依存していました。たとえば、あるリクエストに対して、アルゴリズムが対応せず、コンテンツを混合しない場合、比較するものは何もありません。つまり、そこに新しいコンテンツが必要かどうかがわかりません。このようにして、アルゴリズムの現在の品質を示し、アルゴリズムに依存しない独立した評価システムが必要であることが理解されました。



2番目のアプローチは次のとおりです。はい、新しいリクエストにはばらつきがあるため、固定カートを使用することはできません。ただし、バスケットの鮮度の要件がない部分をベースに残して、そこに毎日新鮮な部分を追加することができます。これを行うために、新鮮な写真での応答を必要とする可能性が最も高いユーザー要求のストリーム内のそれらを選択するアルゴリズムを作成しました。このようなクエリには通常、予期しない詳細が含まれています。もちろん、手動検証を使用してノイズや破片を取り除き、特別な状況に対応します。たとえば、クエリは特定の国にのみ関連する場合があります。この場合、私たちはもはやトロカーではなく、査定者によって助けられます。そのような仕事には特別な経験と知識が必要です。





リクエスト[ブラックホール写真]



そうすることで、品質評価のためにそのような新しいリクエストをカートに追加するだけでなく、リクエストが見つかったときに検索結果を保存します。このようにして、応答の主要な品質だけでなく、検索がイベントにどれだけ迅速に反応したかを評価できます。



それでは、予備的な結果を要約しましょう。新鮮な問い合わせにうまく対応するために、検索や画像処理への迅速な配信を保証するだけでなく、品質の測定方法を一新しました。私たちが測定している品質を把握することは残っています。

5.ランキング

上記で、画像検索の品質を評価するための最初のアプローチから2番目のアプローチへの移行について説明したことを思い出してください。結果の混合から、新しいリクエストによる受け入れバスケットの毎日の補充までです。パラダイムが変更されました-アルゴリズム自体に変更が必要でした。外部からの読者への説明はなかなか難しいですが、やってみます。ご不明な点がございましたら、コメント欄でお気軽にお問い合わせください。



以前は、メソッドは私が話していたソリューションとの類推によって実装されていました同僚のAlexeyShagraevです。ドキュメントの主なソース（主な検索インデックス）があります。また、検索に入る速度が重要な新しいドキュメントの追加ソースもあります。異なるソースからのドキュメントを単一のロジックに従ってランク付けすることはできなかったため、新しいソースからのドキュメントを主要な問題に混合するために、かなり重要なスキームを使用しました。次に、追加のドキュメントがある場合とない場合のメイン検索結果のメトリックを比較しました。



今は状況が異なります。はい、ソースはまだ物理的に異なりますが、メトリックの観点からは、新鮮な画像がどこから来たのかは問題ではありません。通常のロボットがなんとか到達できれば、メインソースからも取得できます。この場合、メトリックは、同じ画像が別のソースから問題に到達したときの状況と同じになります。新しいアプローチでは、クエリと結果に意味のある鮮度があり、ソースアーキテクチャはそれほど重要ではなくなりました。その結果、メインドキュメントと最近のドキュメントの両方が同じモデルを使用してランク付けされます。これにより、単一のモデルの出力で値で並べ替えるだけで、以前よりもはるかに単純なロジックを使用して、新しい画像を検索結果に混在させることができます。もちろん、これも品質に影響しました。



進め。何かをランク付けするには、モデルがトレーニングされるデータセットが必要です。新鮮な画像の場合-新鮮なコンテンツの例を含むデータセット。すでに基本的なデータセットがあり、鮮度の例を追加する方法を学ぶ必要がありました。そしてここで、私たちはすでに品質管理に使用している受け取りバスケットを思い出します。その中の新しいリクエストは毎日異なります。つまり、翌日、昨日の新しいリクエストを取得して、トレーニングのためにデータセットに追加できます。同時に、同じデータがトレーニングと制御に同時に使用されないため、再トレーニングのリスクはありません。



新しいスキームへの移行により、新鮮な画像の検索結果の品質が大幅に向上しました。以前のトレーニングが主に新しいリクエストのユーザー統計に基づいていた場合、このため、現在のランキングアルゴリズムでフィードバックがありましたが、トレーニングの基礎は、ユーザーリクエストのフローのみに依存する客観的に収集されたリクエストバスケットになりました。これにより、これまでになかった場合でも、新鮮な結果を表示する方法を学ぶことができました。さらに、メインコンターとフレッシュコンターのランキングパイプラインがマージされたため、後者は著しく速く開発され始めました（1つのソースのすべての改善が自動的に2番目のソースに到達するようになりました）。

---

ある投稿では、Yandex画像検索チームが行ったすべての作業について詳細に説明することは不可能です。新鮮な写真を見つけることの特徴を説明することに成功したことを願っています。また、ユーザーがPlutoの新鮮な写真やその他の関連情報をすばやく見つけることができるように、検索のすべての段階で変更が必要なのはなぜですか。