本「データサイエンスとのロマンス。ビッグデータを収益化する方法」

こんにちは、住民！データからすべてを絞り出す方法は？データ主導の意思決定を行う方法は？社内でデータサイエンスを整理するにはどうすればよいですか？アナリストを雇うのは誰ですか？機械学習と人工知能のプロジェクトをトップレベルに引き上げるにはどうすればよいですか？ Roman Zykovは、ほぼ20年間データを分析しているため、これらの質問や他の多くの質問に対する答えを知っています。ローマンの実績には、ヨーロッパと南アメリカにオフィスを構え、ロシア市場で人工知能（AI）の使用のリーダーとなった彼自身の会社をゼロから設立したことが含まれています。さらに、本の著者はOzon.ruでゼロから分析を作成しました。この本は、データ分析に挑戦し、それに基づいてサービスを作成したいと考えている読者を対象としています。あなたがマネージャーであるなら、それはあなたに役立つでしょう、目標を設定し、分析を管理したい人。あなたが投資家であるならば、それはあなたがスタートアップの可能性を理解することをより簡単にするでしょう。スタートアップを「見た」人は、適切なテクノロジーを選択してチームを採用する方法に関する推奨事項をここで見つけることができます。そして、この本は、新進の専門家が彼らの視野を広げ、彼らが以前に考えたことのない慣行を適用し始めるのを助けます、そしてこれは彼らをそのような困難で不安定な分野の専門家から際立たせます。

プログラムできるようにする必要がありますか？

はい、必要です。21世紀においては、すべての人が自分の仕事でプログラミングをどのように使用するかを理解することが望まれます。以前は、プログラミングは狭い範囲のエンジニアしか利用できませんでした。時間の経過とともに、応用プログラミングはよりアクセスしやすく、民主的で便利になりました。



私は子供の頃、自分でプログラムすることを学びました。 1980年代後半、私が11歳の頃、父がコンピューター「Partner 01.01」を購入し、プログラミングに没頭し始めました。最初にBASIC言語を習得し、次にアセンブラーに行きました。私は本からすべてを勉強しました-それから誰も尋ねることはありませんでした。子供の頃に作られた基礎は、私にとって人生で非常に役に立ちました。当時、私の主な楽器は黒い画面で白いカーソルが点滅していて、プログラムはテープレコーダーに記録する必要がありました。これはすべて、現在の可能性と比較することはできません。プログラミングの基本を学ぶのはそれほど難しくありません。私の娘が5歳半のとき、私は彼女を簡単なスクラッチプログラミングコースに入れました。私のちょっとしたヒントで、彼女はこのコースを受講し、エントリーレベルのMIT認定も取得しました。



アプリケーションプログラミングは、従業員の機能の一部を自動化できるようにするものです。自動化の最初の候補は、反復的なアクションです。



分析には2つの方法があります。 1つは、既製のツール（Excel、Tableau、SAS、SPSSなど）を使用することです。このツールでは、すべてのアクションがマウスで実行され、最大のプログラミングは数式を作成することです。 2つ目は、Python、R、またはSQLで記述することです。これらは根本的に異なる2つのアプローチですが、優れた人は両方に習熟している必要があります。タスクを処理するときは、速度と品質のバランスを見つける必要があります。これは、洞察を検索する場合に特に当てはまります。私はプログラミングの熱心な支持者と、マウスとせいぜい1つのプログラムしか使用できない頑固な支持者の両方に会いました。優れたスペシャリストは、タスクごとに独自のツールを選択します。ある場合には、彼はプログラムを書き、別の場合には、彼はExcelですべてを行います。そして3つ目は、両方のアプローチを組み合わせます。つまり、データをSQLにアップロードし、Pythonでデータセットを処理し、ExcelまたはGoogleドキュメントのピボットテーブルで分析します。このような高度なスペシャリストの作業速度は、ワンライナーの作業速度よりも桁違いに速くなる可能性があります。知識は自由を与えます。



まだ学生である間、私はいくつかのプログラミング言語に堪能であり、ソフトウェア開発者として1年半も働くことができました。当時は困難でした。1998年6月にモスクワ物理技術研究所に入学し、8月にデフォルトがありました。奨学金で生活することは不可能でした、私は両親からお金を取りたくありませんでした。 2年目には、幸運なことに、MIPTの会社の1つで開発者として雇われました。そこで、アセンブラーとCの知識を深めました。しばらくして、StatSoft Russiaのテクニカルサポートに就職しました。ここで、統計分析を改善しました。 Ozon.ruで、彼はトレーニングを完了し、SAS証明書を受け取り、SQLで多くのことを書きました。プログラミングの経験は私を大いに助けました-私は何か新しいことを恐れていませんでした、私はただそれを取り、それをしました。そのようなプログラミングの経験がなかったら、Retail Rocketの会社を含め、私の人生で面白いことはあまりありませんでした。私たちは私のパートナーと一緒に設立しました。

データセット

データセットは、ほとんどの場合テーブルの形式で、ストレージからアンロードされた（たとえば、SQLを介して）か、別の方法で取得されたデータのセットです。テーブルは、一般にレコードと呼ばれる列と行で構成されます。機械学習では、列自体が独立変数、または予測変数、またはより一般的には機能、および従属変数、結果です。この区分は文献にあります。機械学習のタスクは、独立変数（機能）を使用して、従属変数の値を正しく予測できるモデルをトレーニングすることです（原則として、データセットには1つしかありません）。



主な2種類の変数は、カテゴリと量です。カテゴリ変数には、「カテゴリ」のテキストまたは数値エンコーディングが含まれます。次に、次のようになります。

• バイナリ-2つの値のみを取ることができます（例：yes / no、0/1）。
• 名目-2つ以上の値を取ることができます（例：はい/いいえ/わからない）。
• 序数-順序が重要な場合（たとえば、アスリートのランク、検索結果の行番号）。

量的変数は次のようになります。

• Discrete（discrete）-値はアカウントによって計算されます。たとえば、部屋の人数などです。
• 連続-間隔からの任意の値（ボックスの重量、製品の価格など）。

例を見てみましょう。アパートの価格（従属変数）、アパートの1つの行（レコード）を含むテーブルがあり、各アパートには、次の列を持つ属性のセット（独立）があります。

• アパートの価格は継続的であり、依存しています。
• アパートの面積は連続しています。
• 部屋の数は離散的です（1、2、3、...）。
• バスルームは組み合わされています（はい/いいえ）-バイナリ。
• フロア番号-序数または名目（タスクに応じて）。
• 中心までの距離は連続しています。

記述統計

倉庫からデータをアンロードした後の最初のステップは、記述統計とデータの視覚化を含む探索的データ分析を行うことです。これには、外れ値を削除してデータをクリアすることもできます。



記述統計には通常、入力データセットの変数ごとに異なる統計が含まれます。

• 欠落していない値の数。
• 一意の値の数。
• 最小/最大。
• 平均。
• 中央値。
• 標準偏差。
• パーセンタイル-25％、50％（中央値）、75％、95％。

すべてのタイプの変数を計算できるわけではありません。たとえば、平均は量的変数についてのみ計算できます。統計パッケージと統計分析ライブラリには、記述統計をカウントするすぐに使用できる関数がすでにあります。たとえば、pandas Pythonライブラリには、データセット内の1つまたはすべての変数のいくつかの統計をすぐに表示するdescribe関数があります。

s = pd.Series([4-1, 2, 3])
s.describe()
count 3.0
mean 2.0
std 1.0
min 1.0
25% 1.5
50% 2.0
75% 2.5
max 3.0
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

この本は統計の教科書を意図したものではありませんが、役立つヒントをいくつか紹介します。多くの場合、理論的には、ヒストグラムがベルのように見える正規分布データを使用していると想定されます（図4.1）。





この仮定を少なくとも目で確認することを強くお勧めします。中央値は、サンプルを半分にする値です。たとえば、25パーセンタイルと75パーセンタイルが中央値から異なる距離にある場合、これはすでに分布がシフトしていることを示しています。もう1つの要因は、平均と中央値の大きな違いです。正規分布では、それらは実質的に一致します。顧客の行動を分析するときは、指数分布を扱うことがよくあります。たとえば、Ozon.ruでは、連続する顧客の注文間の時間は指数分布になります。その平均と中央値は大きく異なります。したがって、正しい数値は中央値、つまりサンプルを半分にする値です。 Ozon.ruの例では、これはユーザーの50％が最初の注文の後に次の注文をする時間です。中央値は、データの外れ値に対してもより堅牢です。たとえば、統計パッケージの制限のために平均を処理する場合、技術的には平均が中央値よりも速く計算されます。指数分布の場合は、自然対数で処理できます。元のデータスケールに戻すには、結果の平均を通常の指数で処理する必要があります。



パーセンタイルは、特定の確率変数が一定の確率で超えない値です。たとえば、「商品の価格の25パーセンタイルは150ルーブルに等しい」というフレーズは、商品の25％の価格が150ルーブル以下であり、残りの75％の商品の価格が150ルーブルよりも高いことを意味します。



正規分布の場合、平均と標準偏差がわかっている場合、理論的に導き出された有用なパターンがあります-すべての値の95％が、両方向の平均から2標準偏差の距離で区間に分類されます。間隔の幅は4シグマです。シックスシグマ（図4.1）などの用語を聞いたことがあるかもしれません。この図は、スクラップのない生産を特徴づけています。したがって、この経験則は正規分布に従います：平均の周りの6つの標準偏差（各方向に3つ）の間隔で、値の99.99966％が適合します-理想的な品質。パーセンタイルは、データから外れ値を見つけて削除するのに非常に役立ちます。たとえば、実験データを分析する場合、99パーセンタイル外のすべてのデータが外れ値であると想定し、それらを削除できます。

チャート

良いグラフは千の言葉の価値があります。私が使用するチャートの主なタイプ：

• ヒストグラム;
• 散布図;
• トレンドラインのある時系列チャート。
• 箱ひげ図、箱ひげ図。

ヒストグラム（図4.2）は最も有用な分析ツールです。これにより、値の出現の頻度分布を視覚化したり（カテゴリ変数の場合）、連続変数を範囲（ビン）に分割したりできます。2つ目はより頻繁に使用され、そのようなグラフに記述統計を追加すると、関心のある変数を説明する全体像が得られます。ヒストグラムはシンプルで直感的なツールです。



散布図（図4.3）を使用すると、2つの変数が互いにどのように依存しているかを確認できます。それは単純に構成されています：横軸-独立変数のスケール、縦軸-従属変数のスケール。値（レコード）はドットとしてマークされます。トレンドラインを追加することもできます。高度な統計パッケージでは、外れ値にインタラクティブにフラグを立てることができます。





時系列プロット（図4.4）は、（横軸の）独立変数が時間である散布図とほとんど同じです。通常、2つのコンポーネント（周期的およびトレンド）を時系列から区別できます。トレンドは、サイクルの長さを知って構築できます。たとえば、7日は食料品店の標準的な販売サイクルであり、7日ごとにチャートに繰り返しの画像が表示されます。次に、サイクルに等しいウィンドウ長の移動平均がチャートに重ね合わされ、トレンドラインが得られます。ほとんどすべての統計パッケージ、Excel、Googleスプレッドシートがこれを行うことができます。循環成分を取得する必要がある場合、これは時系列から傾向線を差し引くことによって行われます。このような単純な計算に基づいて、時系列を予測するための最も単純なアルゴリズムが構築されます。





箱ひげ図（図4.5）は非常に興味深いものです。分布の推定値も表示されるため、ある程度、ヒストグラムが複製されます。





これは、いくつかの要素で構成されています。最小値と最大値を示す口ひげ、上端が75パーセンタイル、下端が25パーセンタイルのボックスです。ボックス内の線は中央値であり、「中央」の値であり、サンプルを半分に分割します。このタイプのグラフは、実験結果または変数を相互に比較するのに役立ちます。このようなグラフの例を以下に示します（図4.6）。これが仮説検定の結果を視覚化するための最良の方法だと思います。

データ視覚化への一般的なアプローチ

データの視覚化は、データを調査することと、調査結果を顧客に説明することの2つに必要です。多くの場合、結果を表示するためにいくつかの方法が使用されます。いくつかの数字を使用した単純なコメント、Excelまたは別のスプレッドシート形式、スライドを使用したプレゼンテーションです。これらの3つの方法はすべて、結論と証明を組み合わせたものです。つまり、この結論に到達した方法の説明です。証明をグラフで表現すると便利です。 90％の場合、上記のタイプのチャートで十分です。



探索チャートとプレゼンテーションチャートは互いに異なります。研究の目的は、パターンや原因を見つけることです。原則として、それらは多くあり、ランダムに作成されることがあります。プレゼンテーショングラフの目的は、意思決定者（意思決定者）を問題の結論に導くことです。ここではすべてが重要です。スライドのタイトルと、目的の結論につながる単純なシーケンスの両方です。推論スキームの証明の重要な基準は、顧客がどれだけ迅速にあなたを理解して同意するかです。プレゼンテーションである必要はありません。個人的に、私は単純なテキストを好みます-結論を含むいくつかの文、いくつかのグラフ、およびこれらの結論を証明するいくつかの数字、それ以上のものはありません。



McKinsey＆CompanyのビジュアルコミュニケーションディレクターであるGene Zelaznyは、著書「Speak the Language of Diagrams



」の中で次のように述べています。 「グラフの種類は、データ（ドルまたは関心）または特定のパラメーター（利益、収益性、または給与）によって決定されません。そしてあなたの考えはあなたが図に入れたいものです。」



プレゼンテーションや記事のグラフに注意を払うことをお勧めします-それらは著者の結論を証明していますか？あなたはそれらについてのすべてが好きですか？彼らはもっと説得力があるでしょうか？

そして、これがJeanZelaznyがプレゼンテーションのスライドについて書いていることです。



「コンピューター技術の普及により、今では数分で、以前は何時間も骨の折れる作業が必要だったことができるようになりました。スライドはパイのように焼かれます...無味乾燥で味がありません。」



私はかなり多くのレポートを作成しました。スライドがある場合とない場合、短い場合は5〜10分、長い場合は1時間です。スライドなしの短いプレゼンテーションで説得力のあるテキストを作成することは、PowerPointプレゼンテーションよりもはるかに難しいことを保証できます。話している政治家を見てください。彼らの仕事は説得することです、彼らの何人が彼らのスピーチでスライドを見せますか？言葉はより説得力があり、スライドは単なる視覚的な資料です。また、スライドを投げるよりも、言葉を明確で説得力のあるものにするためには、より多くの作業が必要です。スライドを作成するときに、プレゼンテーションがどのように見えるかを考えていました。そして、口頭での報告を書くとき、私の議論はどれほど説得力があり、イントネーションをどのように扱うか、私の考えはどれほど明確か。考えてください本当にプレゼンテーションが必要ですか？意思決定を行うのではなく、会議を退屈なスライドに変えたいですか？



「会議は、壁に投影されたリストの要約や断片ではなく、紙に書かれた短いレポートに焦点を当てる必要があります」と、PowerPoint CognitiveStyleの著名なデータ視覚化学校のスポークスマンであるEdwardTuftyは述べています。

ペアデータ分析

私は開発者からペアプログラミングについて学びました[30] RetailRocket。これは、同じタスクをプログラミングし、同じワークステーションに座っている2人の人々によってソースコードが作成されるプログラミング手法です。1人のプログラマーはキーボードの前に座り、もう1人は頭を使って作業し、全体像に焦点を合わせ、最初のプログラマーが作成したコードを継続的に確認します。彼らは時々場所を変えることができます。

そして、分析のニーズに合わせて調整することができました。分析は、プログラミングと同様に、創造的なプロセスです。壁を作る必要があると想像してみてください。労働者が1人います。もう1つ追加すると、速度は約2倍になります。クリエイティブなプロセスでは、これは機能しません。プロジェクト作成の速度は2倍にはなりません。はい、プロジェクトを分解することはできますが、分解できないタスクについて話し合っているので、1人で行う必要があります。ペアアプローチを使用すると、このプロセスを何度も高速化できます。 1人はキーボードの前にいて、2人目は彼の隣に座っています。 2人の頭が同じ問題に取り組んでいます。難しい問題を解決するとき、私は自分自身に話しかけます。 2人の頭が互いに話すとき、彼らはより良い理由を探します。以下のタスクには、ペアワークスキームを使用します。

• たとえば、あるプロジェクトの知識をある従業員から別の従業員に移す必要がある場合、新人が採用されました。「頭」とは、知識を伝達する従業員、つまりキーボードで「手」を伝達する従業員です。
• 問題が複雑で理解できない場合。次に、ペアの2人の経験豊富な従業員が、1人よりもはるかに効率的に問題を解決します。分析タスクを一方的にすることはより困難になります。
  
  
  
  通常、計画中に、タスクがそのような基準に適合していることが明らかな場合は、ペアのカテゴリにタスクを転送します。

ペアアプローチの利点は、時間がはるかに効率的に使用され、両方の人が非常に集中し、お互いを訓練することです。複雑なタスクはより創造的に解決され、桁違いに速く解決されます。マイナス-このモードで数時間以上作業することは不可能であり、非常に疲れます。

技術的負債

Retail Rocketのエンジニアから学んだもう1つの重要なことは、技術的負債の処理です。技術的負債は、古いプロジェクトでの作業、作業速度の最適化、新しいバージョンのライブラリへの切り替え、仮説検定からの古いコードの削除、プロジェクトのエンジニアリングの簡素化です。これらのタスクはすべて、分析開発時間の3分の1を占めます。 Retail Rocket Andrey Chizhのテクニカルディレクターの言葉を引用します。



「私はまだ実際に会社に会ったことがありません（これは私が働いた10社以上であり、内部からよく知っているのとほぼ同じ数です）。 、機能を削除するタスクがあった私たちを除いて、おそらくそのようなものは存在します。」



私も会ったことがありません。古いものが新しいものの作成を妨げるソフトウェアプロジェクトの「沼」を見ました。技術的負債の核心は、これまでに行ったことすべてにサービスを提供する必要があるということです。それは車のメンテナンスのようなものです-それは定期的に行われる必要があります、さもなければ車は最も予期しない瞬間に故障します。長い間変更または更新されていないコードは悪いコードです。通常、それはすでに「動作する-触れないでください」の原則に基づいて動作します。 4年前、私はBingの開発者と話をしました。彼は、この検索エンジンのアーキテクチャにはコンパイルされたライブラリがあり、そのコードは失われていると述べました。そして、誰もそれを復元する方法を知りません。時間がかかるほど、結果は悪化します。



小売ロケットアナリストが技術的負債をどのように提供するか：

• , . .
• - — , . , Spark , 1.0.0.
• - — .
• - — , , .

技術的負債への対処は品質への道です。Retail Rocketプロジェクトに取り組んだことで、私はこれを確信しました。エンジニアリングの観点から、プロジェクトは「カリフォルニアで最高の家」のように作られています。



この本の詳細については、出版社 のWebサイトを参照してください

» 目次

» 住民向けの抜粋



クーポンの25％割引- データサイエンス



本の紙版の支払い時に、電子書籍がに送信されます。 Eメール。