23回は、
複数のトリガに比べてニューラルネットワークを使用して電子メールをターゲットに
8.5倍に
帰属ラストクリックでメールマーケティングからより多くの収入を
2倍
以下unsubscriptions
17倍
以上の開口
以下に私たちの経験を共有し、あなたに伝えます：
- 勾配ブースティングアルゴリズムの代わりに、LSTMニューラルネットワークモデルを使用して電子メールの送信日を予測することにした理由。
- LSTMがどのように機能するか。
- ニューラルネットワークがトレーニングに使用するデータ。
- 使用されたニューラルネットワークのアーキテクチャと、それらが遭遇した問題。
- どのような結果が達成され、どのように評価されたか。
LSTMを支持して勾配ブースティングアルゴリズムを放棄することにした理由
メールマガジンは、新製品について顧客に通知したり、解約した顧客を再活性化したり、パーソナライズされた推奨事項を示したりするのに役立ちます。クライアントごとに、最良の郵送の日付は異なります。誰かが週末に購入するので、土曜日に電子メールを送信するのが最善です。最近誰かが猫の家を購入したので、できるだけ早く手紙を送って食べ物についてアドバイスする価値があります。ニューラルネットワークは、電子メールを送信するのに最適な日付を決定し、クライアントのニーズを推測するのに役立ちました。
最初は、標準のアルゴリズムを使用しました。1年間、私たちは顧客の行動の履歴から兆候を作成し、電子メールを送信するのに最適な日付を予測するためにそれらを強化する勾配を訓練しました。例えば：
- 購入日から次の購入までに何日かかるかを計算しました。
- 兆候を分類し、特定の日に手紙を送る確率を予測しようとしました。
- 手紙やクリックを見る可能性を高めるために、居住地に応じてユーザーの興味を判断しようとしました。
しかし、このモデルはすべてのプロジェクトで安定した肯定的な結果をもたらすわけではなく、ユーザーの行動に複雑なパターンを見つけることができず、十分な資金をもたらしませんでした。
アルゴリズムを放棄し、メールの送信日を予測するというアイデアをすでに考えていたとき、私たちは何かエキゾチックなことを試して、このタスクのためにニューラルネットワークのLSTMモデルをトレーニングすることにしました。これは通常、テキスト分析に使用され、金融市場の株価分析にはあまり使用されませんが、マーケティング目的には使用されません。そして、LSTMは機能しました。
LSTMとは
LSTM（Long Short Term Memory）は、自然言語分析から生まれたニューラルネットワークアーキテクチャです。
例として機械翻訳を使用して、LSTMがどのように機能するかを分析してみましょう。テキストのすべての文字が順番にニューラルネットワークの入力に送られ、出力で別の言語への翻訳を取得したいと思います。テキストを翻訳するには、ネットワークは現在の手紙だけでなく、その前にあった手紙に関する情報も保存する必要があります。通常のニューラルネットワークは、以前に表示されたものを記憶しておらず、単語やテキスト全体を翻訳することはできません。一方、LSTMには、有用な情報が格納される特別なメモリセルがあるため、データ全体に基づいて結果を生成し、単語内のすべての文字を考慮してテキストを翻訳します。時間の経過とともに、ニューラルネットワークは細胞をクリアし、不要になった情報を忘れることがあります。
同じ原則が、ユーザーの行動を予測するために重要であることが判明しました。ニューラルネットワークは、アクションの履歴全体を考慮し、関連する結果を生成しました。たとえば、電子メールを送信するのに最適な日付を決定しました。
1層LSTMの内部構造
LSTMの内層は、加算+、乗算×、シグモイドσ、および双曲線正接tanhの演算で構成されます。
ニューラルネットワークで使用されるデータ
最適な電子メール送信日を予測する方法を学ぶために、ニューラルネットワークは一連の履歴データを分析します。アクションと9種類のトークンの間の経過時間を順番に渡します。
- 安い商品を買う、
- 平均価格の製品を購入し、
- 高価な製品を買う、
- 安い商品を見て、
- 平均価格の製品を表示し、
- 高価な製品を見て、
- 手紙を受け取る、
- 手紙を開く、
- 文字内のオブジェクトをクリックします。
入力シーケンスの典型的な例は次のようになります。
（view_medium、0.5、view_cheap、24、buy_cheap）
このシーケンスを持つユーザーは、平均価格の商品を見て、30分で安い商品を見て、購入することにしました。翌日安い商品。
最後の5つのユーザーアクションがターゲット変数です。彼らのニューラルネットワークは予測することを学びました。
ニューラルネットワークのどのアーキテクチャが使用されたか
ニューラルネットワークをトレーニングする最初の試みは失敗しました。それは再トレーニングされ、常に手紙の送信のみを予測し、手紙を開く確率や購入の確率などの他のアクションは予測しませんでした。顧客は、メールを開いたり何かを購入したりするよりもメールを受信する可能性が高いため、「メールを受信する」が最も頻繁なトークンです。ニューラルネットワークは、実際の結果は否定的でしたが、メトリックの観点からは良い結果を受け取りました。結局のところ、クライアントが手紙を受け取ると常に言っているアルゴリズムには意味がありません-そして他には何もありません。
たとえば、「手紙を受け取る」という3つのトークンと「商品の購入」という1つのトークンの入力シーケンスがあります。ニューラルネットワークはそれを処理し、4つの「メール受信」トークンを使用してシーケンスを予測します。 4つのケースのうち3つで、彼女は推測し、クライアントは確かに手紙を受け取りますが、そのような予測は意味がありません。主なタスクは、顧客がいつ電子メールを開いて購入するかを予測することです。
いくつかのアーキテクチャと学習パスをテストした後、何が機能するかを見つけました。
Seq2Seqモデルの場合と同様に、ネットワークはエンコーダーとデコーダーの2つの部分で構成されます。エンコーダーは小さく、LSTMと埋め込みレイヤーで構成されていますが、デコーダーもセルフアテンションとドロップアウトを使用します。トレーニングでは、教師の強制を使用します。次の予測の入力としてネットワーク予測を提供することもあります。
エンコーダーは、入力シーケンスを、ネットワークの見解では、ユーザーのアクションに関する重要な情報を含むベクトルにエンコードします。逆に、デコーダーは結果のベクトルをシーケンスにデコードします。これがネットワーク予測です。
LSTMネットワークを使用して予測を取得する
トレーニング時間：モデルはTesla V100で約1日間トレーニングされ、トレーニングが完了するとROC-AUC0.74を受け取りました。
LSTMモデルが実際のデータでどのように機能するか（推論）
一部のユーザーにモデルを適用し、手紙を送る価値があるかどうかを確認するために、最後のアクションからベクトルを収集し、ニューラルネットワークを介して実行します。ニューラルネットワークの応答が次のようになっているとします。
（email_show、10、email_open、0.5、view_cheap、0.5 view_medium、15 Buy_medium）
モデルは、アクションだけでなく、アクション間で経過する時間も予測します。 1日以降に発生するすべてのイベントを遮断しましょう。翌日処理します。この間、クライアントのアクションに関する新しい情報が表示される可能性があるため、考慮する必要があります。次のシーケンスを取得します：
（email_show、10、email_open、0.5、view_cheap、0.5）
シーケンスにはビュートークンがあるため、本日、ユーザーにメールが送信されます。
ネットワークが以前に記憶したトリガーメールを繰り返さないように、表示トークンまたは購入トークンがあり、電子メールを受信しない場合にのみ電子メールを送信することが重要です。たとえば、表示と購入を考慮しない場合、レターを受信するためのトークンを使用したシーケンスのみを取得できます。そして、ネットワークは、電子メールの開始または購入を予測する代わりに、マーケティング担当者のトリガー設定を複製します：
結果の評価方法
モデルのパフォーマンスを確認するために、ABテストを実行しました。ベースラインとして、ユーザーの購入間の平均時間を計算し、この時間が経過すると電子メールを送信するアルゴリズムを使用しました。ユーザーの半分はベースラインの決定に基づいて電子メールを受信し、もう一方はモデルの予測に従って電子メールを受信しました。ABテストは、ペットショップのベートーベンと スタラヤファームの顧客ベースで実施されました 。
テストは2週間続き、統計的有意性に達しました。ニューラルネットワークは、電子メールを送信する必要がある23倍のユーザーを見つけることを学びましたが、パーセンテージで見ると、開封率はわずか5％減少し、絶対数での開封数は17倍に増加しました。
LSTMニューラルネットワークモデルのABテスト結果と結論
したがって、アルゴリズムの代わりにニューラルネットワークを使用した実験は成功したことが判明しました。LSTMニューラルネットワークモデルは、最適な電子メール送信日を予測するための適切なツールになりました。私たち自身の経験から、些細な問題を解決するために非標準モデルを使用することを恐れる必要はないことを学びました。
セルゲイユージン、ML-開発者、著者