データサイエンティストは、人々が何に興味を持ち、何にお金を使っているかを調べます

データサイエンティストは、さまざまな聴衆を調査する過程で、私たちの周りの社会を鮮やかに特徴付ける自然な事実と驚くべき事実の両方を観察します。この記事では、監査分析、インターネットユーザーの関心の調査、さまざまなソーシャルグループの購入行動に関連するタスクを実行するときに気付いた、これらの好奇心と異常なケースについて説明します。 



機械学習モデルを使用することで、どのような社会的特徴が特定されましたか？私たちは顧客について何を知っていますか？ 

 

ソース

彼のチェックからの顧客プロファイル？簡単！

私はCleverDATAでデータアナリストとして働いており、通常、次のタスクに直面しています。生データの分類、監査分析、および顧客が自分のオーディエンスを持っていて、類似のモデルを見つけたい場合の類似モデル（LaL）の構築。さまざまなオンライン広告キャンペーンで非常に需要があります。



我々は持っている1DMCデータ交換のメンバーが自分のデータを豊かにし、現金化することができ、。これには、オンライン購入とクリックストリーム、つまり追跡できた一連のページアクセスという、分類の属性に集約された2種類の非個人化データが含まれています。データ形式は、個人データ保護に関するヨーロッパのGDPR基準を満たしています。



私たちの分類の属性は、物の所有権の事実または人への特定の関心の存在です。これはバイナリ情報です-そこにあるかどうかにかかわらず。



分類属性の例を次に示します。 





最も重要なタスクの1つは、生のサプライヤーデータを分類属性に集約することです。つまり、分類タスクです。



私は人々のライフスタイルと特定のものの存在についての購入について結論を出す必要があります（条件付きで、ブランドのストリートロッドモデルのチェックはおそらく購入者がハーレーダビッドソンモーターサイクルの所有者であることを示します）またはからの購入への潜在的な関心を特定する彼らが訪問するインターネットページを通して。この情報は、ターゲットを絞った広告に使用されます。





私の仕事の過程で、次のチェーンが表示されます。

• チェック-私のAIモデル-購入者プロファイル;
• クリックストリーム-私のAIモデル-サイト訪問者プロファイル。

CleverDATAで使用するツールは、分類内の任意の属性のバイナリ分類子を自動的に構築します。タクソノミー属性（チョッパーモーターサイクル属性の所有者）の名前から、すでに自動的に評価されたバイナリ分類子（モデルが優れているか、分析を改善する必要があるかどうか）が得られます。これは、チェックによってそのようなアイテムの有無を判断できます。これについて詳しくは、Habréに関する記事をご覧ください。







チェックを分類するときは、単語が似ているチェックと意味が似ているチェックを区別できるツールが必要です。それで、私はどういうわけか、プロの再訓練コースへの興味を引くためのモデルを構築しました。そして彼女は、パオロ・コッシの子供向けの本「普通の猫のための魔法のレッスンのコース」の購入の小切手をこのトピックへの関心として特定しました。もちろん、これは面白い間違いです。ちなみに、このチェックから本の存在を知りました。





このような好奇心を避けるために、言語モデルを使用して、結果のバイナリ分類子を評価し、単語は似ているが意味は似ていない例を切り取りました。 



時々、間違った一致を見つけるために目でレシートを調べ、その後、そのような誤って構築された接続の検索を自動化する必要があります。おそらく1つの理解できないケースでプロセス全体を改善できるので、その根底に到達することは役立つ場合があります。



私の練習全体を通して、私は分類できるだけでなく、購入者が何を購入したかを正確に解読することさえできる一連の謎のチェックを蓄積してきました。私は定期的にこれらの面白い事例を同僚と共有し、「AIジョーク」コラムも始めました。



最も一般的な手がかりは、製品名のない本のタイトルのチェックでの表示です。これはまさに「普通の猫のための魔法」の場合に見られるものです。そして、どのような購入がチェック「フェンスノボシビルスク1029ルーブル」に記録されています。と「コントラクトボックス5000ルーブル。」私はまだ理解していません。この記事へのコメントであなたのバージョンを受け入れます。



次に、クリックストリームの分類に移りましょう。

ウェブサイトでの彼の動きによるクライアントプロファイル

クリックストリーム分類システムは2019年に導入され、NLP（Natural Language Processing）の分野で画期的な進歩を遂げました。この分野で最も注目を集め、成功している発明の1つは、BERT（トランスフォーマーからの双方向エンコーダー表現）ネットワークです。ですから、少し前にベルトロジーがあります。 



ソース



属性の名前から、確率的言語モデルを使用して、クロールする（検索エンジンに送信して検索結果を収集する）クエリの拡張（同義語で拡張）リストを取得するため、トレーニングサンプルが取得されます。事前にトレーニングされたBERT言語モデルを使用してベクトル化します。得られた埋め込み（ベクトル）を使用して、分類子をトレーニングします（トリプレット損失関数を使用）。





予測はどのように機能しますか？



ページのURLを取得し、テキスト情報（ページのタイトルと説明）を収集します。BERTの助けを借りて、これらのテキストのベクトル表現を取得します。次に、これらのベクトルがモデルに入力され、出力でページを参照できる属性を取得します。 





一般的に、このシステムは非常に成功しており、私が遭遇したすべての面白いケースは、ルールよりもむしろ例外です。しかし、私はそれらに細心の注意を払うようにしています。なぜなら、大量のデータがシステムを通過するため、小さなエラーが大きな不快な結果につながる可能性があるからです。



私が調査したオンラインデータは、人々がインターネットでもっと読むことを示しました。これは非常に人気のあるトピックの1つであることが判明しました-占星術​​、占いなど。 





これらの特定のページ（ドメインではなくURL）には、1日あたり50万人を超える人々（一意の識別子）がアクセスしました。私は特に猫の占星術に捧げられたサイトに感銘を受け、動物の性格とその干支の関係を明らかにしました。 



ソース



誰もがストップワードについて知っており、通常、テキストの詳細に深く踏み込むことなく、辞書を接続したり、周波数でフィルタリングしたりします。最初は、辞書も接続しました。結果は満足のいくものではありませんでした。焼き菓子を使用しないレシピのサイトは、ベーキング（ホームベーキング）の関心のある属性として分類されました。そして、これはすべてのネガティブな粒子が私のストップワード辞書に存在していたという事実によるものです。





私の例を使用して、データをフィルタリングする際に使用する辞書を注意深く読むよう同僚に促します。 



もう1つの一般的な問題は、人々がしばしば皮肉な言葉を使用することです。これは、クロール段階で、インターネット上の特定のクエリに関連するページのタイトルと説明に面白いフレーズをもたらします。たとえば、モデルはペーストとベジタリアンダイエットへの関心を関連付けることができます。これは、「ペーストなしでどうやって生きるのか」という精神で、菜食主義をテーマにした記事へのコメントが豊富にあることで説明できるように思えます。 





そして今、私たちの見出し「AIジョーク」の黒いユーモアの分：モデルは、安楽死の合法化の議論を家の購入への関心と結びつけ、ラッパーのティマティをサーカスと結びつけました。データをクロールして、クラスに手動でマークを付け直す必要がありました。





私たちが制御できない設定があり、それらは私たちが住んでいる社会に依存します。そして、犯罪はコメディーや家族関係と混ざり合っています。





また、モデルを叱って何かを再設計する価値があるのか​​、エラーに苦しんでいるのか、すべてをそのままにしておく価値があるのか​​さえわからない場合もあります。





荷物の受け取りにはビジネスリスクが伴う可能性があります



掲示板には何でもあります。 

類似のオーディエンスを検索する

アナリストとして私が解決しなければならないタスクの次のブロックは、AudieneResearch/ Look-alikeモデリングです。顧客は、原則として、聴衆についての新しい知識を望んでいます。これは、顧客とのコミュニケーションを確立するのに役立つはずです。しかし、彼の要求が明確に定式化されていなくても、私たちは常に彼を助けようとし、ほとんどの場合私たちは成功します。



ここでは、オーディエンスリサーチ、つまり内部インサイト（オーディエンスのインテリジェンス分析）に焦点を当てるか、類似モデルに焦点を当てるかを選択できます。これにより、エクスチェンジのオーディエンスを加速し、ターゲットオーディエンスに関する顧客の内部データに基づいて潜在的な顧客を見つけることができます。オーディエンスは、コード化された識別子（電話番号、電子メールアドレス、またはオンラインID）のセットとして理解されます。私たちはオープンな形でデータを扱うのではなく、法律のすべての規則を遵守していることを思い出してください。 



したがって、エンコードされた多くの識別子を取引所と交差させて、購入行動またはそのクリックストリームを確認できます。あらゆるターゲットオーディエンスとあらゆるタスクに対して、どのような場合でもクラスタリングを行います。モデルが購入行動に従って人々をグループ化した後、私はどういうわけか、スポーツに賭けてオンラインで何も購入しなくなった人々だけで構成されるクラスターを見ました。ただし、製本の目的で、ある種の個別のアカウントを持っている可能性があります。



これがこのクラスターのスクリーンショットです。

ケース「幸せな母性」

有名なブランドのおむつを宣伝するキャンペーンでは、聴衆の調査を行い、妊娠後期の女性を見つける必要がありました。顧客は、ほとんどの聴衆が購入できるように製品を宣伝する必要があるのは、妊娠後期からであると提案しました。 



分析の初めに、妊婦の生活の状況の説明は牧歌的な絵に似ていました：子供が生まれる前夜に、ペットを連れた若い家族が住宅を備えています。





さまざまなクラスターの女性がさまざまなブランドのガジェットを所有し、さまざまなブランドの衛生製品を好みます。一般的に、すべてが問題ありません。自分で見て。



IDの25.5％



Huggies Elite Softの購入者は、Pampersを購入する可能性が3分の1であり、Lovular製品を購入する可能性が7分の1です。彼らはペリグリン製品を使用しています。高い確率（0.6）で女の子の親です。彼らはインターネットを介してユーティリティにお金を払う傾向があります。



識別子の25.5％は



、インターネットを介した通信および保険サービスに支払う傾向があります。高い確率（0.6）は犬の飼い主です。ヘレンハーパー製品を購入します。家電製品の中では、Xiaomiブランドが表現されています。



識別子の17.5％



OzonPremiumユーザー。彼らはフィリップスアベントのベビーケア機器を購入し、アイロン設備と設置に興味を持っています。 



注意、将来へのアドバイス：データの総量にノイズを発生させるプロモーション/ブランドに注意してください。



多くのクラスターでのオゾンプレミアムステータスは、定義属性の1つであることが判明しました。しかし、オゾンプレミアムだけのために潜在的なおむつ購入者の聴衆をターゲットにすることは常識を超えています。そのため、すべてのデータからステータスを削除する必要がありました。はい、このようにメトリックを下げましたが、同時にモデルの妥当性を高めました。そもそも、昇進した人気のステータスではなく、新生児向けの商品が選ばれました。モデルにとって重要すぎる商品を切り落とすように教えてくれた経験でした。



似たようなモデリングの場合、ターゲットオーディエンス（クラス1）と一般化（クラス0）のいくつかの単純な分類子を構築するというアイデアは、ターゲットオーディエンスを強調するために表面にあります。



たとえば、ターゲットオーディエンスとランダムプロファイルの10倍のボリュームを購入してみましょう。この情報を順番に購入します。次に、結果のテキストを処理します（前処理）。高頻度で情報量の少ない単語をすべて削除し、残りを最初の形式にします。次に、線形（Linear SVC、Logistic Regression）、 "wooden"（RandomForest）など、いくつかの異なるファミリの単純な分類子を作成し、機能の重要性、つまりモデルに従って任意の単語の重要性を測定します。これらの兆候の重要性が不十分である、つまり兆候がうるさすぎるしきい値を見つけました。自動化されたものを構築する前に、常識と注意深い一瞥の方法を何度も適用して、内部統計を収集し、どの方法が機能し、どの方法が機能しないかを理解する必要があります。 



子供の誕生の前夜に牧歌的な絵でクラスターを調べましたが、他のライフストーリーも追跡されました。たとえば、クラスターの1つでは、新生児用のおむつを購入する可能性が高い（0.65）ため、出会い系サイトにアカウントがあります。これは根拠のない声明ではありません、彼らはそのようなサイトでのサービスに対して支払います。



洞察が「機能する」ためには、常に新しい知識を解釈する必要がありますが、今回は裏話をまったく探したくありません。誰もが私たちの国の社会的不幸と日常生活の混乱について知っています。 





このケースの一環として、新生児用のおむつを購入することに関心のあるすべての聴衆を調査したことを思い出させてください。そして、妊娠後期の女性だけではないことが判明しました。



私は別のクラスターを「SundayDads」と呼びました。その代表者はサッカーファン、熱心な自動車愛好家、Sparco車のコンポーネントの購入、そして時々ChupaChupsの商品の購入です。



そして今注目すべき質問：「日曜日のお父さん」が最初に指定されたターゲットオーディエンスに関連していない場合、それらを削除する価値はありますか？私はよくこの質問をプロジェクトマネージャーに尋ねますが、そのタスクは再考されます。おそらく、特定のターゲットオーディエンスは必要ありませんが、製品の購入者になることができるすべての人が必要です。私たちの場合、これらはお父さん、祖父母、兄弟姉妹、そして労働中の女性のガールフレンドであり、赤ちゃんの世話をする準備ができています。対象と見なすべきオーディエンスの答えは、ビジネス担当者向けです。

事例「個人起業家」

次のケースは、有名な銀行に口座を開設したターゲットオーディエンス「個人起業家」を対象としたオーディエンスリサーチです。



これらの人々と取引所の聴衆との主な違いは、彼らの購入にはっきりと見ることができます。最も明白なのは、ロイヤルティの支払い（プロファイルの10〜15％）、セキュリティサービス、および非居住施設の公共料金です。起業家を指し示す間接的な兆候の中には、飛行中に追加の荷物を購入することがあります（ケースの15〜20％）。チェックの全巻の中で、重要な部分は、心理学、自己認識と自己開発に関する本、部下とのコミュニケーションのためのワークショップ、および文献の指導で構成されています。 



LaL機能の重要性の助けを借りて、私たちはターゲットオーディエンスの間接的な兆候を得ました：航空輸送、ロボット真空クリーナーの購入、コーヒーマシン、名誉スマートフォン、花の配達、保険料の支払い。このケースは、マシンが簡単に解釈できる結果をもたらす素晴らしいケースの1つです。 



忙しい人は家庭用ロボットを購入します。コーヒーマシンなしではオフィスはできません。花の配達と頻繁なフライトもリンクできます=）。

ケース「車の所有者」

「平均以上」の価格帯で有名な自動車ブランドは、その顧客が完全に例外的な人々であり、彼らの習慣や好みを知りたがっていることを絶対に確信していました。



このターゲットオーディエンスは、前のケース（「個人起業家」）と大幅に重複しています。しかし、すべての個々の起業家がこのブランドの車を購入するわけではありません。



出典



顧客の独自性に関する顧客の考えは非常に誇張されていることが判明しました。はい、聴衆は平均的な聴衆と一致しませんが、いくつかの詳細でのみ、たとえば、運転手はエリートティー（300ルーブルより高価）を購入することを好み、一般的に機能的で実用的よりも美しく美的により多くを費やします。





ここでは、リフトに関するターゲットオーディエンスとバイヤーの平均オーディエンスの違いが示されています。つまり、調査対象のオーディエンスの製品の平均価格が、平均オーディエンスの同じ値（lift_price）を何パーセント上回っているのかを示します。ご覧のとおり、主な支出は喜びです。



私たちは常に仮説を公正かつ公平にテストします。聴衆の独占性に関する顧客の仮説が、得られたデータによって裏付けられない場合があることは非常に予想されます。心配することは何もありません、それはただ新しい仮説と新しい研究を必要とします。  



出典



結論として、私の仕事では、「日常的な落ち着き」の原則に導かれていると言えます。そして、私はあなたにアドバイスします。



このようにさまざまなデータがある場合、一見したところ例外がルールであることが判明し、多くの誤った結果が得られる可能性があるため、小さなことに細心の注意を払うことが不可欠です。



したがって、「ベーキングなし」モデルが「ベーキング」を意味するものを見ていなかったとしたら、「リーク」システムが生産されていたでしょう。ですから、ルーチンをおろそかにしないでください。30分かけて目で確認すれば、よく眠ることができます。モデルは間違いを犯しません。



ソース