わかりやすい言語による9つの主要な機械学習アルゴリズム

こんにちは、ハブル！Nick McCullumによる記事「平易な英語で説明される9つの主要な機械学習アルゴリズム」の翻訳をあなたの注意に提示します。機械学習（ML）はすでに世界を変えています。 GoogleはIOを使用して、ユーザーの検索に対する応答を提供および表示します。 Netflixはこれを使用して、夜の映画を推奨します。そしてFacebookはそれを使ってあなたが知っているかもしれない新しい友達を提案します。 機械学習はかつてないほど重要になり、同時に学習することが非常に困難になりました。この分野は専門用語でいっぱいであり、さまざまなMLアルゴリズムの数は毎年増加しています。











この記事では、機械学習の基本的な概念を紹介します。具体的には、今日最も重要な9つのMLアルゴリズムの基本概念について説明します。

推薦制度

0から完全なレコメンデーションシステムを構築するには、線形代数の深い知識が必要です。このため、この分野を学習したことがない場合は、このセクションの概念の一部を理解するのが難しい場合があります。



ただし、心配しないでください。scikit-learnPythonライブラリを使用すると、CPを簡単に構築できます。したがって、機能するCPを構築するために、線形代数に関する深い知識は必要ありません。

CPはどのように機能しますか？

推奨システムには、主に2つのタイプがあります。

• コンテンツベース
• 協調フィルタリング

コンテンツベースのシステムは、すでに使用した要素の類似性に基づいて推奨を行います。これらのシステムは、CPの動作とまったく同じように動作します。



協調型CPフィルタリングは、ユーザーが要素とどのように相互作用するかに関する知識に基づいて推奨事項を提供します（*注：ユーザーと動作が類似している他のユーザーの要素との相互作用が基本として使用されます）。言い換えると、彼らは「群衆の知恵」（したがって、メソッドの名前の「共同」）を使用します。



現実の世界では、協調型CPフィルタリングは、コンテンツベースのシステムよりもはるかに一般的です。これは主に彼らが通常より良い結果を与えるという事実によるものです。一部の専門家はまた、コラボレーションシステムを理解しやすいと感じています。



CP協調フィルタリングには、コンテンツベースのシステムにはない独自の機能もあります。つまり、彼らは自分で機能を学ぶ能力を持っています。



これは、このシステムが機能するために提供していないプロパティや特性に基づいて、要素の類似性を定義し始める可能性さえあることを意味します。



協調フィルタリングには2つのサブカテゴリがあります。

• モデルベース
• 近隣地域ベース

良いニュースは、MLで成功するためにこれら2つのタイプの協調CPフィルタリングの違いを知る必要がないことです。いくつかの種類があることを知るだけで十分です。

まとめる

ここでは、この記事の推奨システムについて学んだことを簡単にまとめます。

• 実際の推奨システムの例
• さまざまなタイプのレコメンデーションシステム、およびコンテンツベースのシステムよりも協調フィルタリングがより頻繁に使用される理由
• 推奨システムと線形代数の関係

線形回帰

線形回帰は、一連のx値に基づいて一部のy値を予測するために使用されます。

線形回帰の歴史

線形回帰（LR）は、1800年にFrancis Galtonによって発明されました。ガルトンは、親子の絆を研究する科学者でした。より具体的には、Galtonは父親の成長と息子の成長の関係を調査しました。ゴールトンの最初の発見は、息子の成長は、原則として、彼らの父親の成長とほぼ同じであったという事実でした。これは驚くべきことではありません。



後に、ゴールトンはもっと面白いものを発見しました。息子の成長は、原則として、自分の父親の成長よりもすべての人々の平均の身長に近かった。



ゴールトンはこの現象を回帰と呼んだ。具体的には、「息子の身長は平均身長に後退（またはシフト）する傾向がある」と述べた。



これは、回帰と呼ばれる統計と機械学習の分野全体につながりました。

線形回帰数学

回帰モデルを作成するプロセスでは、データセットの各ポイントのできるだけ近くに線を引くだけです。



このアプローチの典型的な例は、「最小二乗」線形回帰アプローチです。これは、上下方向の直線の近さを計算します。



説明の例：







回帰モデルを作成する場合、最終生成物は、事前にy値を知らなくてもx値のy値を予測するために使用できる方程式です。

ロジスティック回帰

ロジスティック回帰は線形回帰に似ていますが、yの値を計算する代わりに、特定のデータポイントがどのカテゴリに属する​​かを評価します。

ロジスティック回帰とは何ですか？

ロジスティック回帰は、分類の問題を解決するために使用される機械学習モデルです。



以下は、MOの分類タスクの例です。

• メールスパム（スパムかどうか）
• 自動車保険金請求（補償または修理？）
• 病気の診断

これらの各タスクには明らかに2つのカテゴリがあり、バイナリ分類タスクの例となっています。



ロジスティック回帰は、バイナリ分類の問題に対して適切に機能します。単純に、異なるカテゴリをそれぞれ0と1に割り当てます。



なぜロジスティック回帰かバイナリ分類予測に線形回帰を使用できないためです。 2つの可能な値を持つデータセットを通る直線を描画しようとしているため、単純に機能しません。



この画像は、線形回帰がバイナリ分類に適さない理由を理解するのに役立ちます。







この画像では、y軸は腫瘍が悪性である確率を表します。1-yの値は、腫瘍が良性である確率を表します。ご覧のとおり、データセット内のほとんどの観測値の尤度を予測するための線形回帰モデルのパフォーマンスは非常に低くなっています。



これが、ロジスティック回帰モデルが役立つ理由です。これは最適線に向かって曲がっているため、定性的（カテゴリ）データの予測にはるかに適しています。



同じデータで線形回帰モデルとロジスティック回帰モデルを比較する例を次に示します。

シグモイド（シグモイド関数）

ロジスティック回帰がねじれている理由は、線形方程式を使用して計算しないためです。代わりに、ロジスティック回帰モデルはシグモイド（ロジスティック回帰で使用されるため、ロジスティック関数とも呼ばれます）を使用して構築されます。



MLで成功するためにシグモイドを完全に記憶する必要はありません。それでも、この機能について何か考えがあると役に立ちます。



シグモイド式：シグモイドの







主な特性であり、対処する価値があります。この関数に渡す値に関係なく、常に0〜1の値が返されます。

予測にロジスティック回帰モデルを使用する

予測にロジスティック回帰を使用するには、通常、カットオフポイントを正確に定義する必要があります。このカットオフポイントは通常0.5です。



前のグラフのがん診断の例を使用して、この原理を実際に見てみましょう。ロジスティック回帰モデルが0.5未満の値を返す場合、そのデータポイントは良性として分類されます。同様に、シグモイドの値が0.5を超える場合、腫瘍は悪性と分類されます。

エラーマトリックスを使用したロジスティック回帰の効果の測定

エラーマトリックスは、MOで真陽性、真陰性、偽陽性、および偽陰性のスコアを比較するツールとして使用できます。



エラーマトリックスは、ロジスティック回帰モデルのパフォーマンスを測定するために使用する場合に特に役立ちます。以下は、エラーマトリックスの使用例です







。この表では、TNは真陰性、FNは偽陰性、FPは偽陽性、TPは真陽性を表します。



エラーマトリックスに「弱い」象限がある場合、エラーマトリックスはモデルを評価するのに役立ちます。例として、彼女は異常に多くの偽陽性を持っているかもしれません。



また、エラーマトリックスの特に危険な領域でモデルが正しく機能していることを確認することも非常に役立ちます。



たとえば、このがん診断の例では、モデルに偽陽性が多すぎないことを確認します。これは、誰かの悪性腫瘍を良性と診断したことを意味します。

まとめる

このセクションでは、MLモデル-ロジスティック回帰について初めて知りました。

以下は、ロジスティック回帰について学んだことの簡単な要約です。

• ロジスティック回帰で解くのに適した分類問題のタイプ
• ロジスティック関数（シグモイド）は常に0と1の間の値を与えます
• カットオフポイントを使用してロジスティック回帰モデルで予測する方法
• エラーマトリックスがロジスティック回帰モデルのパフォーマンスを測定するのに役立つのはなぜですか

K最近傍アルゴリズム

k最近傍アルゴリズムは、2つを超えるカテゴリがある場合の分類問題の解決に役立ちます。

k最近傍アルゴリズムとは何ですか？

これは、単純な原理に基づく分類アルゴリズムです。実際、原則は非常に単純なので、例を挙げて説明するのが最善です。



サッカー選手とバスケットボール選手の身長と体重のデータがあるとします。 k最近傍アルゴリズムを使用して、新しいプレーヤーがサッカー選手かバスケットボール選手かを予測できます。これを行うために、アルゴリズムはスタディオブジェクトに最も近いKデータポイントを決定します。



この画像は、パラメータK = 3でこの原理を示しています。







この画像では、サッカー選手は青、バスケットボール選手はオレンジです。分類しようとしている点は緑色です。緑のポイントに最も近いマーク（2/3）のマークは青（サッカー選手）になっているので、K最近傍アルゴリズムは、新しいプレーヤーもサッカー選手になると予測します。

K最近傍アルゴリズムを構築する方法

このアルゴリズムを構築するための主な手順：

1. すべてのデータを収集する
2. 新しいデータポイントxからデータセット内の他のすべてのポイントまでのユークリッド距離を計算します
3. データセットからポイントをxまでの距離の昇順で並べ替え
4. xに最も近いKデータのほとんどと同じカテゴリを使用して回答を予測します

K最近傍アルゴリズムにおけるK変数の重要性

これは最初から明らかではないかもしれませんが、このアルゴリズムでK値を変更すると、新しいデータポイントが該当するカテゴリが変更されます。



具体的には、K値が小さすぎると、モデルはトレーニングデータセットを正確に予測しますが、テストデータには非常に効果がありません。また、Kが高すぎると、モデルが不必要に複雑になります。



次の図は、この効果を完全に示しています。

K最近傍アルゴリズムの長所と短所

このアルゴリズムの概要を要約するために、このアルゴリズムの使用の長所と短所について簡単に説明します。



長所：

• アルゴリズムはシンプルで理解しやすい
• 新しいトレーニングデータの簡単なモデルトレーニング
• 分類タスクの任意の数のカテゴリで機能します
• 多くのデータに簡単にデータを追加する
• モデルは2つのパラメーターのみを使用します。Kと使用する距離メトリック（通常はユークリッド距離）

マイナス：

• 計算コストが高い データ全体を処理する必要がある
• カテゴリパラメータではうまく機能しません

まとめる

K最近傍アルゴリズムについて学習した内容の要約：

• アルゴリズムが解決できる分類問題（サッカー選手またはバスケットボール選手）の例
• アルゴリズムが隣接する点までのユークリッド距離を使用して、新しいデータポイントが属するカテゴリを予測する方法
• K値が予測に重要な理由
• K最近傍アルゴリズムの使用の長所と短所

決定木とランダムフォレスト

決定木とランダムフォレストは、ツリー法の2つの例です。より正確には、デシジョンツリーは、データセット内の各関数を1つずつループして予測するために使用されるMLモデルです。ランダムフォレストは、データセット内のオブジェクトのランダムな順序を使用する決定木の集団（委員会）です。

ツリーメソッドとは何ですか？

MLでのツリーベースのメソッドの理論的基礎に入る前に、例から始めると役立ちます。



あなたが毎週月曜日にバスケットボールをしていると想像してください。さらに、あなたはいつも同じ友達を招待して一緒に遊びに来てもらいます。友達が来ることもあれば、来ないこともあります。来るかどうかの決定は多くの要因に依存します：どんな種類の天候、気温、風、疲労。あなたはこれらの機能に気づき始め、友達がプレイするかしないかの決定とともにそれらを追跡します。



このデータを使用して、友達が今日来るかどうかを予測できます。使用できる手法の1つは、決定木です。これはどのように見えるかです。







各決定木には2種類の要素があります。

• ノード：特定のパラメーターの値に基づいてツリーが分割される場所
• エッジ：次のノードにつながる分割の結果

この図には、見通し、湿度、

風のノードがあります。また、これらの各パラメーターの各潜在的な値のファセット。



開始する前に理解しておくべき定義がいくつかあります。

• ルート-ツリーの分割が始まるノード
• 葉-最終結果を予測する最終ノード

これで、決定木とは何かについての基本的な理解が得られました。このようなツリーをゼロから構築する方法については、次のセクションで説明します。

ゼロから決定木を構築する方法

意思決定ツリーの構築は、思ったより難しいです。これは、データをどの影響（特性）に分割するか（エントロピーとデータ取得のトピック）を決定することが数学的に困難なタスクであるためです。



この問題を解決するために、MLスペシャリストは通常​​、多くの決定木を使用し、ランダムに選択された特性のセットを適用して、木をそれらに分割します。言い換えると、新しいランダムな特性のセットが、各個別のパーティションで、個別のツリーごとに選択されます。この手法はランダムフォレストと呼ばれます。



一般に、専門家は通常、ランダムなフィーチャセット（mで示される）のサイズを選択します。これにより、データセット内のフィーチャの総数（pで示される）の平方根になります。つまり、mはpの平方根であり、特定の特性はmからランダムに選択されます。

ランダムフォレストを使用する利点

1つの「強い」特性を持つ多くのデータを扱っていると想像してください。つまり、このデータセットには、このデータセットの他の特性よりも最終結果の点ではるかに予測可能な特性があります。



意思決定ツリーを手動で構築している場合、ツリーの「トップ」パーティションにこの特性を使用することは理にかなっています。これは、予測が非常に相関しているいくつかのツリーがあることを意味します。



これを避けたいのは 相関の高い変数の平均を使用しても、分散は大幅には減少しません。ランダムフォレスト内の各ツリーにランダムな特性のセットを使用することにより、ツリーを非相関化し、結果のモデルの分散を減らします。この非相関は、手作業で作成した決定木よりもランダムフォレストを使用する場合の大きな利点です。

まとめる

これが、決定木とランダムフォレストについて学んだことの簡単な要約です。

• 決定木を使用して解決策を予測できる問題の例
• ディシジョンツリーの要素：ノード、面、根、葉
• ランダムな特性セットを使用して、ランダムなフォレストを構築する方法
• 変数の非相関にランダムフォレストを使用すると、結果のモデルの分散を減らすのに役立つのはなぜですか

サポートベクターマシン

サポートベクターマシンは分類アルゴリズムであり（技術的には回帰問題の解決にも使用できます）、データのセットをカテゴリー間の最大の「ギャップ」でカテゴリーに分割します。この概念は、次の例を見るとより明確になります。

サポートベクターマシンとは

サポートベクターマシン（SVM）は、データを分析してパターンを認識する適切な学習アルゴリズムを備えた教師ありMLモデルです。SVMは、分類タスクと回帰分析の両方に使用できます。この記事では、サポートベクターマシンを使用して分類の問題を解決する方法について具体的に説明します。

MOUはどのように機能しますか？

MOUが実際にどのように機能するかを詳しく見てみましょう。



トレーニング例のセットが与えられ、それぞれが2つのカテゴリーの1つに属するものとしてマークされています。このSVMのセットを使用して、モデルを作成します。このモデルは、新しい例を2つのカテゴリのいずれかに分類します。これにより、SVMはありそうもないバイナリ線形分類器になります。



MOUはジオメトリを使用して、カテゴリごとに予測を行います。より具体的には、サポートベクターマシンは、データポイントを空間内のポイントとしてマップし、それらをできる限り広いギャップで分離するように分類します。新しいデータポイントが特定のカテゴリに属する​​という予測は、ブレークポイントのどちら側に基づくかに基づいています。



以下は、MOUの直感を理解するのに役立つ視覚化の例です。ご覧のとおり







、新しいデータポイントが緑の線の左側にある場合は「赤」と呼ばれ、右側の場合は「青」と呼ばれます。この緑色の線は超平面と呼ばれ、MOUを操作するための重要な用語です。



次のSVMの視覚的表現を見てみましょう







。この図では、超平面は「最適な超平面」としてラベル付けされています。サポートベクターマシン理論では、最適な超平面を、異なるカテゴリの2つの最も近いデータポイント間のフィールドを最大化する超平面として定義しています。



ご覧のとおり、フィールド境界は実際に3つのデータポイントに影響します。2つは赤のカテゴリから、1つは青のカテゴリからです。フィールドの境界に接するこれらのポイントは、サポートベクターと呼ばれるため、名前が付けられます。

まとめる

ここでは、サポートベクターマシンについて学習した内容の簡単なスナップショットを示します。

• MOUは、監視付きMLアルゴリズムの例です
• サポートベクターは、分類問題の解決と回帰分析の両方に使用できます。
• MOUがデータセットのカテゴリ間のマージンを最大化する超平面を使用してデータを分類する方法
• 分割フィールドの境界に接するデータポイントは、サポートベクターと呼ばれます。これがメソッドの名前の由来です。

K平均クラスタリング

K-Meansメソッドは、教師なし機械学習アルゴリズムです。これは、タグなしのデータを受け入れ、データ内の同様の観測のクラスターをクラスター化しようとすることを意味します。K平均法は、実際のアプリケーションを解くために非常に役立ちます。このモデルに適合するいくつかのタスクの例を次に示します。

• マーケティングチームの顧客セグメンテーション
• 文書の分類
• Amazon、UPS、FedExなどの企業の配送ルートを最適化する
• 市内の犯罪場所の特定と対応
• プロスポーツ分析
• サイバー犯罪の予測と防止

K平均法の主な目的は、データセットを区別可能なグループに分割して、各グループ内の要素が互いに類似するようにすることです。



これが実際にどのように見えるかを視覚的に表したもの







です。この記事の次のセクションでは、K平均法の背後にある数学について説明します。

K平均法はどのように機能しますか？

K平均法を使用する最初のステップは、データを分割するグループの数を選択することです。この量はKの値であり、アルゴリズムの名前に反映されます。K平均法でのK値の選択は非常に重要です。後で正しいK値を選択する方法について説明します



次に、データセット内のポイントをランダムに選択し、ランダムなクラスターに割り当てる必要があります。これにより、クラスターの変更が停止するまで次の反復を実行する開始データ位置が得られます。

• そのクラスター内のポイントの平均ベクトルを取ることによって各クラスターの重心（重心）を計算する
• 各データポイントを、重心がポイントに最も近いクラスターに再割り当てします。

K平均法での適切なK値の選択

厳密に言えば、適切なK値を選択することは非常に困難です。 「最適な」K値を選択するのに「正しい」答えはありません。MLの専門家がよく使用する方法の1つは、「エルボー法」と呼ばれます。



この方法を使用するには、まず2乗誤差の合計を計算する必要があります。これは、K値のグループに対するアルゴリズムの標準偏差です。K平均法の標準偏差は、クラスター内の各データポイント間の距離の2乗の合計として定義されます。そしてこのクラスターの重心。



このステップの例として、2、4、6、8、および10のK値の標準偏差を計算できます。次に、標準偏差とこれらのK値のグラフを生成します。K値が増加すると、偏差が減少することがわかります。



そして、それは理にかなっています：データのセットから作成するカテゴリが多いほど、各データポイントがそのポイントのクラスターの中心に近い可能性が高くなります。

そうは言っても、エルボー法の背後にある主なアイデアは、RMSが低下率を劇的に低下させるK値を選択することです。この急激な減少は、チャートの「ひじ」を形成します。



例として、ここにKに対するRMSのプロットを示します。この場合、エルボー法は約6のK値を使用することを提案します







。K= 6は単に許容可能なK値の推定値であることが重要です。K平均法には「最良の」K値はありません。MLの多くのことと同様に、これは非常に状況に応じた決定です。

まとめる

ここでは、このセクションで学習した内容の簡単なスケッチを示します。

• K平均法で解くことができる教師なしのMLタスクの例
• K平均法の基本原理
• K-Meansの仕組み
• エルボ法を使用して、このアルゴリズムのKパラメータに適切な値を選択する方法

主成分分析

主成分分析は、多くのパラメーターを持つデータセットを、より少ないパラメーターを持つ新しいデータセットに変換するために使用されます。このデータセットの新しい各パラメーターは、既存のパラメーターの線形結合です。この変換されたデータは、元のデータセットの分散の多くをより簡単に正当化する傾向があります。

主成分分析法とは？

主成分分析（PCA）は、変数のセット間の関係を研究するために使用されるML手法です。つまり、PCAは変数のセットを調べて、これらの変数の基本構造を決定します。PCAは、因子分析とも呼ばれます。



この説明に基づいて、PCAは線形回帰に非常に似ていると考えるかもしれません。しかし、これはそうではありません。実際、これら2つの手法にはいくつかの重要な違いがあります。

線形回帰とPCAの違い

線形回帰は、データセット全体で最も適合する線を決定します。主成分分析は、データセットの複数の直交する最適フィット線を識別します。



直交という用語に慣れていない場合、それは単に、線が地図上で北、東、南、西のように互いに直角であることを意味します。

これを理解するのに役立つ例を見てみましょう。







この画像の軸ラベルを見てください。x軸の主成分は、このデータセットの分散の73％を説明しています。y軸の主成分は、データセットの分散の約23％を説明しています。



これは、分散の4％が原因不明のままであることを意味します。分析に主成分を追加することで、この数を減らすことができます。

まとめる

主成分分析について学んだことの要約：

• PCAは、データセットの変動性を決定する直交因子を見つけようとします
• 線形回帰とPCAの違い
• データセットにレンダリングされたときに直交主成分がどのように見えるか
• 追加の主成分を追加すると、データセット内の分散をより正確に説明するのに役立ちます