強化学習が小売業者にどのように役立つか

前書き

こんにちは！Glowbyte Advanced Analyticsチームは、応用産業（小売、銀行、テレコムなど）向けのMLソリューションを開発しています。多くのタスクには、非標準のソリューションが必要です。その1つは、Reinforcement Learning（RL）を使用したクライアントとの通信チェーンの最適化であり、この記事に専念することにしました。 この記事は3つのブロックに分かれています。通信チェーンの最適化の問題の概要。RLの紹介。3番目のブロックでは、1と2をマージします。

通信チェーンを最適化するタスク

手始めに、小さな用語集：



CRM-顧客関係管理システム。通常、これには顧客の知識を蓄積および分析するプロセスが含まれ、これは販売およびサービスレベルを向上させるために使用されます。



クライアントとは、組織のサービスを使用する人のことです。



顧客属性-顧客に関する蓄積された知識。例：

• 平均チェック;
• 1か月あたりの平均購入頻度。
• 年齢;
• 居住地域。

マーケティングキャンペーン\コミュニケーション\オファー-顧客が組織から受け取るプロモーションオファー。例：

• あなたはXXXポイントを受け取り、YYYまで過ごす時間があります。
• あなたのためにYYYブランドの製品のXXX割引。

コミュニケーションチェーンは、一連のマーケティングキャンペーンです。



ロイヤルティプログラムは、顧客価値の向上を目的とした一連のマーケティング活動です。典型的な例は割引カードです。



顧客のクラスター化-顧客をグループに分割します。グループ内では、顧客の行動は互いに類似しています。



レコメンデーションシステムは、ビジネス価値の観点からクライアントに最高のオファーを生成するシステムです。



LTV（生涯価値） -クライアントとの協力期間全体にわたってクライアントから期待される利益。



ロイヤルティプログラムを開発する場合、アナリストの主なタスクは、クライアントが特定の時間に何を、いつ、どのくらいの量で必要とするかを知っている一流の推奨システムを作成することであると考えられています。これは確かに重要であり、ある程度の利益ももたらしますが、これは重要なビジネスタスクではありません。まず第一に、どの組織も顧客がサービスを利用する習慣を身につけたいと考えています。理想的なクライアントは、この組織だけのサービスを使用し、安定した利益をもたらし、友人にサービスを推奨すると同時に、ビジネスに最小限のコストを要求するクライアントです。顧客の忠誠心はすぐには得られず、組織の仕事は、顧客を最初の注文から通常の購入まで最も効率的な方法で導くことです。



たとえば、教師がルールやアルゴリズムを説明するだけでなく、学習や主題への愛情を生徒に植え付けることが重要である学校グループを想像してみてください。経験豊富な教師は、学習プロセスが必ずしも快適であるとは限らず、場合によっては両方の当事者にとって苦痛でさえあることを知っていますが、最終的な結果は重要です。教師は、多くの個別の要因を考慮して、各学生に対して独自のアプローチを持っています。



小さな学校のグループとは異なり、組織には数千万のクライアントがいる可能性があり、それぞれを手で育てる必要があります。このため、一度欲求を推測するだけでは十分ではありません。そして、これが人間の能力を超えていることは明らかです。



それで、私たちの紹介ノートは何ですか：

1. — (, LTV ). , , ;
2. , , .;
3. , , ;
4. , , .1. , ( .2). , .

この問題に対する私たちの解決策は、強化学習（または強化学習）の概念に基づいています。私たちのアプローチのプレゼンテーションに進む前に、私たちは理論への小さな遠足を準備しました。

強化学習。イントロ

それは何ですか、そしてなぜですか？

強化学習のタスクは、特定の環境と対話して目的の結果を達成するための最適なアルゴリズムを形成することです。



RLを使用する1つの例は、迷路から抜け出す方法を見つけることです。当初、迷路については何も知られていません。さまざまなオプションを調べることにより、アルゴリズムは出口への最短パスを見つけることを学習します。

MLの観点から見たRLの特徴は何ですか？

強化学習は、別のクラスの機械学習アルゴリズムです。原則として、環境に関する情報は最初は欠落しています。つまり、トレーニング用のラベル付きの例はありません。



RLの特徴は、さまざまなアクションを試し、その成功について結論を出し、得られた知識を蓄積して、次の選択肢で使用できることです。そして何度も。アルゴリズムが独立して環境を探索する反復学習プロセスは、RLの主な違いの1つです。

RLは、すべてのオプションのランダムな列挙とどのように異なりますか？

まず、クラシック（ディープネットワークを使用しない）RLを使用して、列挙をシーケンシャルかつ効率的にすることができます。RLの基本原則の1つは探索であり、これは知識の活用と交互に行われます。言い換えれば、モデルの適用とテストを組み合わせるのを妨げるものは何もありません。主なことは、バランスを維持することです。



第二に、すべてのタスクで、既存のすべての状況を整理することが可能であるとは限りません。このような場合、高度なRLアルゴリズムにより、蓄積された知識を新しいケースに一般化することができます。ただし、この場合でも、共同テストとアプリケーションのアイデアは残ります。

環境と相互作用するための最適なアルゴリズムはどういう意味ですか？

即時の勝利は、必ずしも長期的な成功を保証するものではありません。



たとえば、チェスのゲームでは、対戦相手の駒をキャプチャすると、より高額な損失が発生する可能性があります。



ただし、特定のアクションを選択すると、次のステップを待つことになります。次のステップでは、次に何が起こるかを想定できます。等。次のアクションを選択するときは、このすべての知識を考慮に入れることができます。したがって、行動戦略が構築されます。

どこで使われていますか？

ゲームで。さらに、ロボット、ネゴシエーションボット、および推奨システムの指導にも成功しています。いくつかの興味深い参考文献：

• Learn Go：AlphaGoがGoの最高のプロを打ち負かす
• ネゴシエーションボット：ボットは別のエージェントとネゴシエートしており、その目標は特定の取引を行うことです
• 自走式車
• ここでは、さまざまな分野のRLアプリケーションの選択を見つけることができます

用語の詳細に入る前に、RLの概念的な機能のいくつかを明確に示す例を示します。

初心者の例

伝統的に、マルチアームの盗賊から始めましょう。



N個のハンドルを備えたスロットマシンについて考えてみます。一度に持ち上げることができるのは、マシンの1つのハンドルのみです。



目的：最大の見返りをもたらすアクション（つまり、ハンドル）を特定すること。



解決策：各ハンドルを何度も引くことができます。次に、「最適なアクション」として、平均ペイオフが最も高いハンドルを選択します。



そして、将来、私たちが常に最良の行動を選択する場合、そのような戦略は貪欲と呼ばれます。



明らかに、そのような戦略は静止した環境（つまり、時間の経過とともに変化が​​ない環境）でのみ機能します。では非定常環境（たとえば、誰かがマシンの設定を時々変更する）時間の経過とともに、貪欲な戦略を使用すると、最適な結果が得られなくなります。



貪欲な戦略に加えて、他のものがあります：

• ε-貪欲な戦略：$$％の場合、最適なアクションを選択します。$\epsilon$$$％-ランダム;$(1-\epsilon)$
• 信頼上限（UCB）戦略：アクションを選択するとき、重み係数が使用されます。その値は、イベントのテストの程度によって異なります（つまり、イベントの調査が少ないほど、このアクションを選択する可能性が高くなります）。
• Softmax：期待されるペイオフが大きいほど、このアクションを選択する可能性が高くなります。

マルチアームバンディット問題は、最初は観察対象について何も知らない、つまり最初からそれと相互作用することを学ぶという最も単純な問題の例です。この問題の解決策は、試行錯誤の方法（非常に重要）に基づいており、経験を積むにつれて、私たちの行動はますます成功するようになります。



例から学んだこと：

• 試行錯誤も方法です。
• ランダムな列挙は、戦略のさまざまなバリエーションを使用することで、より効率的にすることができます。
• 静止環境と非定常環境を分離します。

中間例

ここで、タスクを少し複雑にして、ロッドを例として考えます。ロッド







付きのキャリッジは、「左」と「右」に移動できます。



目標：ロッドをできるだけ長く直立させておく方法を学ぶ必要があります。



前のタスクとの違い：今度は追加のパラメーターを考慮する必要があります：傾斜角$$とロッド速度$(a)$$$そしてこの情報に基づいて決定を下します。 組み合わせがあるため、タスクはより複雑に見えます$(v)$



$$たくさんあり、それぞれを何度も試すことはできません。 任意の組み合わせ$(a;v)$



$$は状態と呼ばれます。状態の数は、連続的または有限のいずれかです。有限状態アルゴリズムは、一般的に実装が簡単です。 状態は、システムのいくつかのパラメーターのセットであることがわかります。RL理論には、この一連のパラメーターがシステムの状態を完全に記述する必要があるという重要な仮定があります。つまり、前の手順でシステムに何が起こったのかは重要ではなく、特定の時点で観察したことだけが重要です。例から学んだこと：$(a;v)$

• 最適なアクションを選択するときは、システムの状態を考慮する必要があります。状態の数は、アルゴリズムの複雑さに影響します。
• システムの状態を説明するパラメーターは、現時点でのシステムに関する完全な情報を提供する必要があります。

高度な例

それでは、チェスのゲームを見てみましょう。



ボード上のピースの可能な位置の数は52桁で表されます。そして、これだけが問題ではありません。前の2つのタスクとの違いは、チェスの場合、現在最大の結果をもたらすアクションではなく、将来の勝利につながるアクションを選択することが重要であるということです（多くのステップを進めた後）。



例から学んだこと：

• 決定を下すときは、当面の利益ではなく、長期的な効果を考慮してください。

ここで、例を使用して、一般的に受け入れられている用語RLを定義します。

基本的なRL用語

エージェントは、環境と対話し、特定のアクションを実行し、そこからフィードバックを受け取り、それを記憶するサブジェクトです。

• たとえば、ロッドでキャリッジを駆動するモーター。マルチアームの盗賊はエージェントです。

環境-エージェントが存在し、そこからフィードバックを受け取る場所。



エージェントが環境から受け取るフィードバックには、通常、ある程度の不確実性があります。

• たとえば、バー付きのキャリッジが移動する場合、実行されたアクションのフィードバックは、バーが落下したかどうかの結果です。キャリッジとバー-ミディアム。

状態-決定を下すのに役立つ知識。状態は環境を参照し、各時点で一意に定義します。原則として、そのような状態は、パラメータ、行列、または高次のテンサーのセットとして記述されます。

• たとえば、チェス盤上のピースの現在の位置は状態です。

アクション-エージェントが使用できるアクション。原則として、空間でのアクションの数は有限です。

• たとえば、バーの右または左への移動はアクションです。

報酬-エージェントがアクションに対して受け取る即時のフィードバック。つまり、実行されたアクションの結果です。報酬は常に数字です。

• たとえば、マルチアームの盗賊問題でオートマトンを獲得することは報酬です。

目標-原則として、エージェントの目標は合計報酬を最大化することです。言い換えれば、最終的な目標は、現在のステップではなく、一連のステップの結果に基づいて最終的な報酬を最大化することです。

• たとえば、私たちの目標は、ピボットを1回保持することではなく、可能な限り長く保持することです。

戦略-状態をアクションにマッピングします。たとえば、状態SでアクションAを選択する確率。

正式な問題ステートメント

1. 各ステップで、環境は次の状態になります。 $$。$s \in S$
2. 各ステップで、エージェントは使用可能な一連のアクションからアクションを選択します $$いくつかの戦略πによります。$a \in A$
3. 環境はエージェントに報酬が何であるかを伝えます $$彼はこれとどのような状態で受け取った$r$$$、その後であることが判明します。$s^* \in S$
4. エージェントは戦略πを調整します。

すべてが単純なようです。未解決の問題が1つあります。それは、謎の戦略πがどこから来ているのか、つまり、エージェントが各ステップでどのように決定を下すのかということです。



記事の最後の部分では、Qラーニングに基づくソリューションが提案されるため、表形式の方法のみに意図的に焦点を当てます。

RL表形式アルゴリズム

RLの基本的な方法のいくつかは表形式の方法であり、状態とアクションのセットが有限であるタスクに使用されます。このようなメソッドの特徴は、State-Actionテーブルの使用です。状態は通常、行によって延期され、アクションは列によって延期されます。セルには、value関数の値が含まれています。







$$ -アクションの値$Q(s_i;a_j)$$$できています$a_j$$$。大まかに言えば、これは私たちが行動を選択した場合に私たちが受け取る期待される利益です$s_i$$$、状態にある$a_j$$$。最初のステップでは、値$s_i$$$、たとえばゼロで初期化されます。 迷路の例の場合、初期のState-Actionテーブルは次のようになります。 ここで、状態はエージェントが配置されている位置（迷路セル）です。アクションを実行した後、エージェントは状態を変更し、報酬を受け取ります。このタスクでは、報酬は次のようになります。$Q(s_i;a_j)$

• 1オブジェクトが迷路から抜け出す方法を見つけた場合。
• それ以外の場合は0。

さらに、エージェントが環境から実際のフィードバックを受け取った後、値 $$修正されました。補正アルゴリズムは異なります。たとえば、モンテカルロ法、SARSA、Qラーニングなどです。詳細については、こちらまたはこちらをご覧ください。 たとえば、QラーニングとSARSAの式は、一見非常によく似ています。 どちらの方法も、次のステップでアクションの期待値を使用します。それは非常に簡単に受け取られます：エージェントが状態にあるとしましょう$Q(s_i;a_j)$











$$と実行するアクションを$s_i$$$。次に、環境は、エージェントに、アクションの結果として報酬を受け取ることを通知します。$a_j$$$と新しい状態$r_i$$$。Status-Actionテーブルを使用して、ステータスのある行を見つけることができます$s_k$$$そして、これまたはそのアクションがそれにもたらす価値を決定します。 違いはQラーニングのそれです$s_k$



$$は常に新しい状態での最大値です。SARSAメソッドは、エージェントが状態でのアクションの選択をシミュレートすることを前提としていますが$Q(s_k;a)$$$、たとえば、ε-greedyまたはUCB戦略に従います。貪欲な戦略を使用する場合、方法は同等です。 このようなアルゴリズムの欠点は、State-Actionテーブルを格納する必要があることです。一部のタスクには、状態とアクションの大きなスペースが含まれる可能性があるため、従来のテーブルメソッドを使用できません。このような場合、アプローチを使用して値を概算します$s_k$



$$ニューラルネットワークを使用したQ （s i ; a j）。 動的プログラミングは、テーブルメソッドの代わりになります。これらのアルゴリズムについては詳しく説明しませんが、R。S.SuttonとE.G.BartoによるReinforcementLearningという本を読むことをお勧めします。 ここで理論を終了し、適用されたタスクで強化学習をどのように使用できるかについて説明します。$Q(s_i;a_j)$

強化学習を使用して最適な顧客インセンティブ戦略を見つける

ビジネス用語での問題ステートメント

私たちのアプローチが開発された際の制約：

• ソリューションは、クライアントとの通信ポリシーの制限に柔軟に対応できる必要があります。
• 最適化される機能は、ビジネス目標によって推進される必要があり、単純な応答よりも複雑になる可能性があります。
• ;
• ( , , , );
• .

RL

つまり、

エージェントと環境は、マーケティングの提案とともにクライアントとクライアント自身に通信を送信するロイヤルティプログラムシステムです。



状態は、クライアントの属性によって特徴づけされているクライアントの状態です。



アクションはマーケティングオファーです（たとえば、「購入YをX％オフにする」）。提案のリストは固定されており、有限であると想定されています。



報酬は、顧客の行動を変える機能です（たとえば、収益の増加やターゲットを絞ったキャンペーンへの対応）。

ソリューションアプローチ

次に、強化学習の表形式の方法を使用して考えられる解決策を見てみましょう。



Q-LearningまたはSarsaを使用したソリューションアルゴリズムは次のとおりです。

1.クライアントの状態を定義する

クライアントの状態は、クライアント属性を使用して指定できます。これらの属性のほとんどは実数であるため、表形式の方法を使用する前に、属性を離散化して、有限の状態セットを取得する必要があります。



このソリューションでは、クライアントの状態として選択した属性に基づいてクライアントベースをクラスター化した結果として取得したクラスターを使用しました。クラスターの数は、アルゴリズムが学習する速度に影響します。一般的な推奨事項は次のとおりです。

• クラスターからクラスターへの顧客の流れを管理できるようにするには、属性のリストに、マーケティングオファーの存在と反応の影響下で変更できる属性が含まれている必要があります。
• 各クラスター内で、クライアントの動作は均一である必要があります。
• 属性の更新は定期的に可能である必要があります。
• 各クラスターでは、クライアントの数は確立された最小値よりも多くする必要があります（最小値は、たとえば、結果を意味のあるものにするためにクライアントの最小数の制限が原因である可能性があります）

2.報酬の選択

報酬の選択は、システム開発の最も重要な段階です。このタスクの場合、報酬はキャンペーンの成功を特徴づけることができます。たとえば、可能なオプションは次のとおりです。

• オファーごとのコンバージョン。
• 申し出に応じて増加します。
• キャンペーン参加者ごとの特定の収益。
• コストを考慮した特定の利益。
• ..。

顧客の忠誠心を高めるという問題に戻ると、ターゲットメトリックはLTVまたは忠実なセグメントへの顧客の近接性のメトリックである可能性があります。



いずれにせよ、報酬の選択はマーケティングの目標に沿ったものでなければなりません。



PS提案された報酬オプションの一部は、顧客のグループごとに集計されて計算されます（たとえば、オファーへの応答の増加は、ターゲットグループの応答からコントロールグループの応答を引いたものです）。この場合、クライアントではなく、報酬が計算されるクライアントのクラスター（同じ状態にある）に対してアクションを選択すると言う方が正しいでしょう。

3.可能なアクションの選択

アクションは、顧客に送信できるマーケティング提案です。システムで使用するマーケティングキャンペーンを選択するときは、次の点に注意してください。

• マーケティング提案は発売ごとに変更されるべきではありません。
• 文数の選択は、アルゴリズムの学習率に影響します。
• どのキャンペーンも州に適していない場合（たとえば、すべてのオファーバリアントがマイナスの収益をもたらす場合）のシナリオを検討する必要があります。この場合、アクションの1つを「default-campaign」にすることができます。これは、すべての顧客に送信できる基本的なメーリングリスト、またはオファーがないことのいずれかです（つまり、クライアントに何も送信しない方が収益性が高い可能性があります）。

4.制約を受ける選択アルゴリズムの設計

アルゴリズムを設計するときは、次のことを考慮する必要があります。

1. (, iphone, iphone).
2. , .
3. .
4. Q-learning SARSA . , , .
5. , ( ) -.

5.State-Actionテーブルの初期化

最初、State-Actionテーブルは次のようになります。







選択したキャンペーンの過去の起動がなくても、さらにシステムを起動できます。これは、この概念の重要な利点です。



ただし、特定の履歴がある場合は、それを使用できます。つまり、State-Actionテーブルの遡及的な事前トレーニングが可能です。

1. State-Actionテーブルをゼロで初期化します
2. キャンペーンXの過去の開始を取得します。開始時とキャンペーンの終了時にキャンペーンに参加しているクライアントの状態を計算します。各州で受け取った報酬を計算します。
3. QラーニングまたはSARSAの式に従って、次回の起動時のキャンペーン値の期待値を考慮して、State-Actionテーブルを再計算します。

6.パイロット起動時にアルゴリズムをトレーニングする

私たちのシステムの目標は、クライアントベース全体に最適なオファーを選択する方法を学ぶことです。ただし、システムのテスト段階では、クライアントの少数の代表的なサンプルでパイロット起動を実行することをお勧めします。



この段階で注意する必要があること：

1. State-Actionテーブルの値の変更：履歴が蓄積されるにつれて、State-Actionテーブルの値はますます安定するはずです。
2. キャンペーンの効果のポジティブなダイナミクス：ローンチからローンチまで、各マーケティング提案の効果は高まるはずです。

（1）と（2）がプラトーに達するとすぐに、システムは顧客ベース全体に展開する準備ができていると見なすことができます。

7.展開システム

システムの展開を開始する前に、各クライアントの状態のコンテキストでキャンペーン結果の持続可能性を分析することをお勧めします。実践が示すように、一般的な安定性にもかかわらず、一部の州では、履歴が不十分であるか、州自体が時間的に不安定である可能性があります=>不安定な結果が得られます。



したがって、ローリングに関する次の推奨事項を作成しました。

• 不安定な状態をローリングから除外します。
• システムが顧客ベースの行動の変化に独立して適応できるように、ε-greedy戦略を使用します。
• システムパフォーマンスの定期的な監視を継続します。

そのため、この記事では、私たちのアプローチの高レベルの概念について説明しようとしました。提案されたアルゴリズムに基づくシステム操作の結果は、ここにあります。

結論

最適な一連のアクションを選択する問題を解決するためのRLの使用について説明しました。ただし、同様の概念は、他のマーケティングタスク、たとえば、推奨システム、最適な通信チャネル/時間の選択、またはサイト上の個人用バナーの選択にも適用できることに注意してください。強化学習は従来のML方式よりも人気が低いという事実にもかかわらず、自動システム再トレーニングを維持したり、システムを最初から完全にトレーニングしたりする必要がある場合、RLが優れたソリューションになる可能性があることを読者に伝えたいと思いました。



GlowByteチームは、このケースを実装する機会を与えてくれたX5 RetailGroupに感謝します。