👛 🥐 🕴🏻 データサイエンスマスタリー：Pythonでの自動機能構築 ☮️ 👐🏿 👩🏿‍🤝‍👩🏼

機械学習は、H20、TPOT、auto-sklearnなどのツールを使用して、手動設計モデルから自動的に最適化されたパイプラインにますますシフトしています。これらのライブラリは、ランダム検索などの手法とともに、手動による介入なしにデータセットに最適なモデルを見つけることにより、モデルの選択と機械学習の一部の調整を簡素化することを目的としています。ただし、オブジェクト開発、おそらく機械学習パイプラインのより価値のある側面は、ほぼ完全に人間のままです。

設計機能（機能エンジニアリング）は、フィーチャー作成とも呼ばれ、機械学習モデルをトレーニングするために既存のデータから新しいフィーチャーを作成するプロセスです。機械学習アルゴリズムが提供するデータからのみ学習し、タスクに関連する機能を作成することが絶対に必要であるため、このステップは実際に使用されるモデルよりも重要である可能性があります（優れた記事「いくつかの便利なもの」を参照）機械学習について知っておくべきこと "）。

通常、機能開発は、ドメインの知識、直感、およびデータ操作に基づいた長い手動プロセスです。このプロセスは非常に退屈で、最終的な特性は人間の主観性と時間の両方によって制限されます。自動機能設計は、データサイエンティストがデータセットから多くの候補オブジェクトを自動的に作成し、そこから最適なものを選択してトレーニングに使用できるようにすることを目的としています。

この記事では、Python featuretoolsライブラリで自動機能開発を使用する例を見ていきます。... サンプルデータセットを使用して基本を示します（実際のデータを使用した今後の投稿に注意してください）。この記事の完全なコードはGitHubで入手できます。

機能開発の基本

特性の開発とは、既存のデータから追加の特性を作成することを意味し、多くの場合、関連する複数のテーブルに分散しています。機能開発では、データから関連情報を抽出し、それを単一のテーブルに入れて、機械学習モデルのトレーニングに使用できるようにする必要があります。

特に複数のテーブルの情報を使用する場合は、新しい特性を作成するために通常いくつかの手順を実行するため、特性の作成プロセスには非常に時間がかかります。フィーチャー作成操作を2つのカテゴリーにグループ化できます。変換と集約です。いくつかの例を見て、これらの概念の動作を見てみましょう。

変換単一のテーブル（Pythonの用語では、テーブルは単なるパンダDataFrame）に作用し、1つ以上の既存の列から新しい機能を作成します。たとえば、以下の顧客テーブルがある場合、

列から月を見つけるか、列joinedから自然対数を取ることで特徴を作成できますincome。これらは1つのテーブルからの情報のみを使用するため、どちらも変換です。

一方、集計はテーブル間で実行され、1対多の関係を使用してケースをグループ化し、統計を計算します。たとえば、各顧客が複数のローンを持つことができる顧客ローンに関する情報を含む別のテーブルがある場合、各顧客の平均、最大および最小のローン値などの統計を計算できます。

このプロセスには、顧客ごとにローンテーブルをグループ化し、集計を計算し、受信したデータを顧客データと組み合わせることが含まれます。これが、Pandas言語を使用してPythonで実行できる方法です。

import pandas as pd

# Group loans by client id and calculate mean, max, min of loans
stats = loans.groupby('client_id')['loan_amount'].agg(['mean', 'max', 'min'])
stats.columns = ['mean_loan_amount', 'max_loan_amount', 'min_loan_amount']

# Merge with the clients dataframe
stats = clients.merge(stats, left_on = 'client_id', right_index=True, how = 'left')

stats.head(10)

これらの操作自体は複雑ではありませんが、数十のテーブルに分散した数百の変数がある場合、このプロセスを手動で行うことはできません。理想的には、複数のテーブルに対して変換と集計を自動的に実行し、結果のデータを1つのテーブルに結合できるソリューションが必要です。Pandasは素晴らしいリソースですが、手動で実行したいデータ操作はまだたくさんあります！（機能の手動設計の詳細については、優れたPython Data Science Handbookを参照してください。）

Featuretools

さいわい、featuretoolsはまさに私たちが求めているソリューションです。このオープンソースのPythonライブラリは、関連する一連のテーブルから多くの特性を自動的に生成します。 Featuretoolsは、「ディープフィーチャー合成」と呼ばれる手法に基づいています。これは、実際よりもはるかに印象的に聞こえます（名前は、ディープラーニングを使用しているためではなく、複数の機能を組み合わせたためです！）。

Deep Feature Synthesisは、いくつかの変換および集約操作（機能プリミティブと呼ばれます）を組み合わせFeatureTools辞書で）多くのテーブルに分散したデータから機能を作成します。機械学習のほとんどのアイデアと同様に、これは単純な概念に基づく複雑な方法です。一度に1つのビルディングブロックを研究することで、この強力な手法をよく理解できます。

最初に、例からのデータを見てみましょう。上記のデータセットからすでに何かを見てきました。テーブルの完全なセットは次のようになります。

clients：信用組合のクライアントに関する基本情報。各クライアントは、このデータフレームに1行しかありません
loans：顧客へのローン。このデータフレームでは、クレジットごとに独自の行しかありませんが、顧客は複数のクレジットを持つことができます。
payments：ローンの支払い。各支払いには1行しかありませんが、各ローンには複数の支払いがあります。

顧客が将来のローンを返済するかどうかを予測するなどの機械学習タスクがある場合、すべての顧客情報を1つのテーブルに結合します。テーブルは（client_idおよび変数を介してloan_id）リンクされており、一連の変換と集計を使用して手動でプロセスを完了することができます。ただし、featuretoolsを使用してプロセスを自動化できることがすぐにわかります。

エンティティとエンティティセット（エンティティとエンティティセット）

featuretoolsの最初の2つの概念は、エンティティとエンティティセットです。エンティティは単なるテーブルです（またはDataFrameパンダで考える場合）。EntitySetは、テーブルとテーブル間の関係のコレクションです。 entitysetが独自のメソッドと属性を持つ単なるPythonデータ構造であると想像してください。

次のようにして、featuretoolsで空のエンティティセットを作成できます。

import featuretools as ft
# Create new entityset
es = ft.EntitySet(id = 'clients')

次に、エンティティを追加する必要があります。各エンティティには、すべての一意の要素を含む列であるインデックスが必要です。つまり、インデックスの各値は、テーブルに1回だけ出現する必要があります。データフレーム内のインデックスclientsはclient_id、各クライアントがそのデータフレーム内に1行しかないためです。次の構文を使用して、既存のインデックスを持つエンティティをエンティティセットに追加します。

# Create an entity from the client dataframe
# This dataframe already has an index and a time index
es = es.entity_from_dataframe(entity_id = 'clients', dataframe = clients, 
                              index = 'client_id', time_index = 'joined')

データフレームにloansも一意のインデックスloan_idがあり、エンティティセットに追加するための構文はと同じですclients。ただし、支払いデータフレームには一意のインデックスはありません。このエンティティをエンティティセットに追加するときは、パラメーターを渡しmake_index = Trueてインデックス名を指定する必要があります。さらに、featuretoolsはエンティティの各列のデータ型を自動的に推測しますが、列型のディクショナリをパラメーターに渡すことでこれを上書きできますvariable_types。

# Create an entity from the payments dataframe
# This does not yet have a unique index
es = es.entity_from_dataframe(entity_id = 'payments', 
                              dataframe = payments,
                              variable_types = {'missed': ft.variable_types.Categorical},
                              make_index = True,
                              index = 'payment_id',
                              time_index = 'payment_date')

このデータフレームでmissedは、整数であっても、2つの離散値しか取ることができないため、数値変数ではありません。したがって、featuretoolsにカテゴリ変数として扱うように指示します。エンティティセットにデータフレームを追加した後、それらのいずれかを調べます。

列タイプは、指定されたリビジョンで正しく推論されました。次に、エンティティセットのテーブルがどのように関連しているかを示す必要があります。

テーブル間の関係

2つのテーブル間の関係を表す最善の方法は、親子の類似性を使用することです。 1対多の関係：各親は複数の子を持つことができます。テーブル領域では、親テーブルには親ごとに1つの行がありますが、子テーブルには同じ親の複数の子に対応する複数の行を含めることができます。

たとえば、データセットでは、clientsフレームはフレームの親ですloans。各クライアントにはに1行しかありませんclientsが、には複数の行を含めることができますloans。同様に、loans両親はpayments各ローンには複数の支払いがあるためです。親は共通の変数によって子にリンクされています。集計を行うときは、子テーブルを親変数でグループ化し、各親の子に関する統計を計算します。featuretoolsで関係

を形式化するには、2つのテーブルをリンクする変数を指定するだけです。clientsそしてテーブルがされloans、変数に関連付けられている client_id、と loans、とpaymentsの助けを借りて- loan_id。関係を作成してエンティティセットに追加するための構文を以下に示します。

# Relationship between clients and previous loans
r_client_previous = ft.Relationship(es['clients']['client_id'],
                                    es['loans']['client_id'])

# Add the relationship to the entity set
es = es.add_relationship(r_client_previous)

# Relationship between previous loans and previous payments
r_payments = ft.Relationship(es['loans']['loan_id'],
                                      es['payments']['loan_id'])

# Add the relationship to the entity set
es = es.add_relationship(r_payments)

es

エンティティセットには、3つのエンティティ（テーブル）とこれらのエンティティを結び付ける関係が含まれています。エンティティを追加して関係を形式化すると、エンティティのセットが完成し、フィーチャを作成する準備が整います。

機能プリミティブ

特性の深い統合に完全に入る前に、特性のプリミティブを理解する必要があります。私たちはすでにそれらが何であるかを知っていますが、異なる名前で呼ぶだけです！これらは、新しい機能を形成するために使用する基本的な操作です。

集約：親によってグループ化され、子の統計を計算する親子関係（1対多）で実行される操作。例では、テーブルをグループ化されているloansことによりclient_id、各クライアントの最大ローン額を決定します。
変換：1つのテーブルから1つ以上の列に対して実行される操作。例には、同じテーブル内の2つの列の差、または列の絶対値が含まれます。

新機能は、これらのプリミティブを使用して、または複数のプリミティブとして、featuretoolsで作成されます。以下は、featuretoolsのいくつかのプリミティブのリストです（カスタムプリミティブを定義することもできます）。

これらのプリミティブは、単独で使用することも、組み合わせて機能を作成することもできます。指定されたプリミティブでフィーチャーを作成するには、関数ft.dfs（ディープフィーチャー合成の略）を使用します。エンティティのセットを渡しtarget_entityます。これは、選択された機能 trans_primitives（変換）とagg_primitives（集計）を追加するテーブルです。

# Create new features using specified primitives
features, feature_names = ft.dfs(entityset = es, target_entity = 'clients', 
                                 agg_primitives = ['mean', 'max', 'percent_true', 'last'],
                                 trans_primitives = ['years', 'month', 'subtract', 'divide'])

結果は、各クライアントの新機能のデータフレームです（クライアントを作成したためtarget_entity）。たとえば、各クライアントが参加した月があり、これは変換プリミティブです。

また、各クライアントの平均支払い額など、いくつかの集約プリミティブもあります。

いくつかのプリミティブを指定しただけですが、featuretoolsはこれらのプリミティブを組み合わせてスタックすることにより、多くの新しい機能を作成しました。

完全なデータフレームには、793列の新機能が含まれています。

サインのディープシンセシス

これで、ディープフィーチャシンセシス（dfs）を理解するためのすべてが揃いました。実際、前の関数呼び出しですでにdfsを実行しました！深い特性は、複数のプリミティブの組み合わせで構成される特性であり、dfsは、それらの特性を作成するプロセスの名前です。ディープフィーチャの深さは、フィーチャを作成するために必要なプリミティブの数です。

たとえば、列MEAN (payment.payment_amount)は単一の集計を使用して作成されたため、深さが1の深いフィーチャです。深さ2の要素はこれLAST(loans(MEAN(payment.payment_amount))です。これは、MEANの上にあるLAST（最新）の2つの集計を組み合わせることによって行われます。これは、各クライアントの最新のローンの平均支払いを表します。

機能は任意の深さまで作成できますが、実際には深さ2を超えたことはありません。この時点以降、機能を解釈することは困難ですが、興味がある人は「もっと深く」試してみることをお勧めします。

プリミティブを手動で指定する必要はありませんが、代わりに、featuretoolsに自動的に機能を選択させることができます。このため、同じ関数呼び出しを使用しますがft.dfs、プリミティブは渡しません。

# Perform deep feature synthesis without specifying primitives
features, feature_names = ft.dfs(entityset=es, target_entity='clients', 
                                 max_depth = 2)

features.head()

Featuretoolsは私たちのために多くの新しい機能を作成しました。このプロセスは自動的に新しい特性を作成しますが、データサイエンティストに代わるものではありません。これらの特性のすべてをどう処理するかを理解する必要があるためです。たとえば、顧客がローンを返済するかどうかを予測することが目標である場合、特定の結果に最も関連する兆候を探す可能性があります。さらに、サブジェクトエリアについての知識があれば、それを使用して、フィーチャの特定のプリミティブを選択したり、候補フィーチャを深く合成したりできます。

次のステップ

自動化された機能設計により、1つの問題は解決しましたが、別の問題が発生しました。機能が多すぎます。モデルをフィッティングする前にこれらの機能のどれが重要であるかを言うのは困難ですが、ほとんどの場合、それらのすべてがモデルをトレーニングしたいタスクに関連するとは限りません。さらに、機能が多すぎると、モデルのパフォーマンスが低下する可能性があります。これは、有用性の低い機能が重要な機能を混雑させるためです。

属性が多すぎる問題は、次元の呪いとして知られています。モデルの特徴の数（データの次元）が増えると、特徴と目標の間の対応を研究することが難しくなります。実際、モデルが適切に機能するために必要なデータ量は特徴の数に応じて指数関数的にスケーリングします。

次元の呪いは、特徴の削減（特徴の選択とも呼ばれます）と組み合わされます：不要な特徴を削除するプロセス。これには多くの形式があります：主成分分析（PCA）、SelectKBest、モデルからの特徴値の使用、またはディープニューラルネットワークを使用した自動コーディング。ただし、機能の削減は別の記事の別のトピックです。この時点で、featuretoolsを使用して、最小限の労力で多くのテーブルから多くの機能を作成できることがわかりました。

出力

機械学習の多くのトピックと同様に、featuretoolsを使用した自動機能設計は、単純なアイデアに基づく複雑な概念です。エンティティ、エンティティ、および関係のセットの概念を使用して、featuretoolsはディープフィーチャ合成を実行して新しいフィーチャを作成できます。次に、機能の詳細な合成により、プリミティブ（テーブル間の1対多の関係を介して動作する集計）と、1つのテーブルの1つ以上の列に適用される変換（関数）を組み合わせて、複数のテーブルから新しい機能を作成します。

SkillFactoryの有料オンラインコースを受講して、スキルと給与の注目の職業をゼロから取得する方法の詳細をご覧ください。

機械学習コース（12週間）
Data Science (12 )
(9 )
«Python -» (9 )
DevOps (12 )
- (8 )

データサイエンスマスタリー：Pythonでの自動機能構築