PyTorchを使用したプログラミング：ディープラーニングアプリケーションの構築

こんにちは住民！ Ian Poynterは、クラウドでPyTorchをセットアップする方法、画像、音声、テキストを簡単に操作できるようにするニューラルアーキテクチャを作成する方法を理解するのに役立ちます。この本は、移植の学習、モデルのデバッグ、およびPyTorchライブラリの使用に不可欠な概念をカバーしています。次のことを学習します。-深層学習モデルの実装-大規模プロジェクトでのPyTorchの使用-学習転送の適用-PyTorchtorchaudioと畳み込みモデルを使用したオーディオデータの分類-Wikipediaでトレーニングされたモデルを使用した最新のNLP技術の適用-PyTorchモデルのデバッグTensorBoardとFlamegraphを使用-コンテナにPyTorchアプリケーションを展開する「PyTorchは、Googleの巨大なTensorFlowに匹敵する、最も急速に成長している深層学習ライブラリの1つです。

PyTorchによる画像分類

深層学習の教科書には、専門的で理解できない用語がたくさんあります。私はそれを最小限に抑え、PyTorchの操作に慣れてきたら簡単に拡張できる例を常に1つ挙げます。この例を本全体で使用して、モデルをデバッグする方法（第7章）またはモデルを本番環境にデプロイする方法（第8章）を示します。



これから第4章の終わりまで、画像分類子をコンパイルします。ニューラルネットワークは、一般的に画像分類子として使用されます。ネットワークは画像を提供し、簡単な質問をします：「これは何ですか？」



PyTorchでアプリケーションを作成することから始めましょう。

分類問題

ここでは、魚と猫を区別できる簡単な分類子を作成します。モデルの設計と開発プロセスを繰り返して、モデルをより正確にします。

図では 2.1と2.2は、魚と猫の栄光を表しています。魚に名前があるかどうかはわかりませんが、猫の名前はヘルベティカです。



標準的な分類の問題のいくつかについて説明することから始めましょう。

標準的な難しさ

魚と猫を区別できるプログラムの書き方は？おそらく、猫に尻尾があるのか​​、魚に鱗があるのか​​を説明する一連のルールを作成し、それらのルールを画像に適用して、プログラムが画像を分類できるようにします。しかし、これには時間、労力、スキルが必要です。 Manx猫に出くわしたらどうしますか？明らかに猫ですが、尻尾はありません。



これらのルールを使用して考えられるすべてのシナリオを説明しようとすると、これらのルールはますます複雑になります。また、ビジュアルプログラミングは私にとってひどいことを認めなければならないので、これらすべてのルールのコードを手動で作成しなければならないという考えは恐ろしいものです。



画像を入力すると猫や魚を返す機能が必要です。すべての基準を完全にリストするだけでは、このような関数を構築することは困難です。しかし、深い学習は本質的に、構造を作成し、ネットワークに大量のデータを提供し、それが正しい答えを与えたかどうかを知らせるという条件で、先ほど話したこれらすべてのルールを作成するという大変な作業をコンピューターに強制します。これが私たちがやろうとしていることです。さらに、PyTorchを使用するためのいくつかの基本的なテクニックを学びます。

しかし、最初にデータ

まず、データが必要です。どのくらいのデータ？さまざまな要因に依存します。第4章でわかるように、ディープラーニング手法ではニューラルネットワークをトレーニングするために大量のデータが必要であるという考えは必ずしも真実ではありません。ただし、ここでは最初から始めます。これには通常、大量のデータへのアクセスが必要です。魚や猫の画像がたくさん必要です。



Googleの画像検索から大量の画像をダウンロードするのに時間を費やすことができますが、もっと簡単な方法があります。ニューラルネットワークのトレーニングに使用される画像の標準コレクションはImageNetです。1,400万を超える画像と2万の画像カテゴリが含まれています。これは、すべての画像分類子が比較する基準です。したがって、必要に応じて他のオプションを選択することもできますが、そこから画像を取得します。



データに加えて、PyTorchには、猫とは何か、魚とは何かを定義する方法が必要です。それは私たちにとっては十分に簡単ですが、コンピューターにとっては難しいです（それが私たちがプログラムを作成する理由です！）。データに添付されたラベリングを使用します。これは監視付き学習と呼ばれます。 （どのラベルにもアクセスできない



場合は、ご想像のとおり、監視されていない機械学習が使用されます。）ImageNetデータを使用する場合、ラベルには情報が多すぎるため、役に立ちません。タビーキャットやトラウトをコンピューターにマークすることは、猫や魚と同じではありません。



それらのラベルを変更する必要があります。ImageNetは膨大な数の画像のコレクションであるため、魚と猫の画像とタグ付けURLをまとめました（https://oreil.ly/NbtEU）。



そのディレクトリでdownload.pyスクリプトを実行すると、URLから画像がダウンロードされ、適切なトレーニング場所に配置されます。再ラベル付けは簡単です。スクリプトは、猫の画像を列車/猫のディレクトリに保存し、魚の画像を列車/魚のディレクトリに保存します。スクリプトを使用してダウンロードしたくない場合は、これらのディレクトリを作成し、対応する画像を適切な場所に配置するだけです。これでデータができましたが、PyTorchが理解できる形式に変換する必要があります。

PyTorchとデータローダー

データの読み込みとトレーニング対応形式への変換は、多くの場合、時間がかかりすぎるデータサイエンスの1つの領域です。 PyTorchは、画像、テキスト、またはオーディオのいずれで作業している場合でも、非常に簡単にする確立されたデータ相互作用要件を開発しました。



データを操作するための2つの主な条件は、データセットとデータローダーです。データセットは、ニューラルネットワークに送信するデータを受信できるようにするPythonクラスです。



データローダーは、データセットからネットワークにデータを転送するものです。 （これには、次のような情報が含まれる場合があります：ネットワークにデータをアップロードしているワーカープロセスの数？同時にアップロードしている画像の数？）



最初にデータセットを見てみましょう。各データセットは、画像、音声、テキスト、3Dランドスケープ、株式市場情報などが含まれているかどうかにかかわらず、この抽象的なPythonクラスの要件を満たしている限り、PyTorchと対話できます。

class Dataset(object):
     def __getitem__(self, index):
          raise NotImplementedError

     def __len__(self):
          raise NotImplementedError

非常に簡単です。データセットのサイズ（len）を返すメソッドと、データセットから要素をペアで取得できるメソッド（label、tensor）を使用する必要があります。これは、トレーニングのためにデータをニューラルネットワークに供給するときに、データローダーによって呼び出されます。したがって、PyTorchが処理できるように、画像を取得してテンソルに変換し、元に戻してマークを付けることができるgetitemメソッドの本体を作成する必要があります。それはすべて明らかですが、明らかにこのシナリオは十分に一般的であるため、PyTorchを使用するとタスクが簡単になるのではないでしょうか。

トレーニングデータセットの作成

torchvisionパッケージには、各ディレクトリがラベルである構造に画像があると仮定して、ほとんどすべてを実行するImageFolderクラスが含まれています（たとえば、すべての猫はcatという名前のディレクトリにあります）。猫と魚の例に必要なものは次のとおりです。

import torchvision
from torchvision import transforms

train_data_path = "./train/"
transforms = transforms.Compose([
      transforms.Resize(64),
      transforms.ToTensor(),
      transforms.Normalize(mean=[0.485, 0.456, 0.406],
                                std=[0.229, 0.224, 0.225] )
      ])

train_data = torchvision.datasets.ImageFolder
(root=train_data_path,transform=transforms)

torchvisionでは、画像がニューラルネットワークに入る前に画像に適用する変換のリストを指定できるため、ここに他の何かが追加されます。デフォルトの変換では、画像データを取得してテンソルに変換します（前のコードで示したtrans forms.ToTensor（）メソッド）が、それほど明白ではない可能性のある他のいくつかの処理も実行します。



まず、GPUは、高速で標準サイズの計算を実行するように構築されています。しかし、おそらく多くの解像度の画像の品揃えがあります。処理パフォーマンスを向上させるために、サイズ変更変換（64）を使用して、各入力画像を同じ64x64解像度にスケーリングします。次に、画像をテンソルに変換し、最後に特定の平均点と標準偏差点のセットを中心にテンソルを正規化します。



入力がニューラルネットワークのレイヤーを通過するときに多数の乗算が実行されることが予想されるため、正規化は重要です。入力値を0から1の間に保つことで、学習フェーズ中の値の大幅な増加を防ぎます（爆発勾配問題として知られています）。この魔法の化身は、ImageNetデータセット全体の平均と標準偏差にすぎません。あなたは魚と猫のサブセットのためにそれを特別に計算することができますが、これらの値はかなり信頼できます。 （まったく異なるデータセットで作業している場合、この平均と分散を計算する必要がありますが、多くは単にImageNet定数を使用し、許容可能な結果を​​報告します。）



構成可能な変換により、データ拡張のための画像回転や画像シフトなどのアクションを簡単に実行することもできます。これについては、第4章で説明します。

この例では、画像のサイズを64x64に変更しています。最初のネットワークでの計算を高速化するために、このランダムな選択を行いました。第3章で説明する既存のアーキテクチャのほとんどは、入力イメージに224x224または299x299を使用します。一般に、入力ファイルサイズが大きいほど、ネットワークはより多くのデータを学習できます。コインの裏側は通常、より小さなバッチの画像をGPUメモリに収めることができます。

データセットに関する情報は他にもたくさんありますが、それだけではありません。しかし、トレーニングデータセットについてすでに知っているのに、なぜ必要以上に知っている必要があるのでしょうか。

検証および参照データセット

トレーニングデータセットが設定されましたが、検証データセットで同じ手順を繰り返す必要があります。ここでの違いは何ですか？深層学習（そして実際にはすべての機械学習）の落とし穴の1つは、過剰適合です。モデルは、トレーニングされた内容を認識するのに非常に優れていますが、見たことのない例では機能しません。モデルは猫の写真を見て、他のすべての猫の写真がこれとあまり似ていない場合、モデルはそれが猫ではないと判断しますが、反対は明らかです。ニューラルネットワークがこのように動作するのを防ぐために、コントロールサンプルをdownload.pyにロードします。つまり、トレーニングデータセットにない猫と魚の一連の画像にロードします。各トレーニングサイクル（エポックとも呼ばれます）の最後に、このセットを比較して、ネットワークに問題がないことを確認します。心配しないでください。このチェックのコードは非常に単純です。これは、いくつかの変数名が変更された同じコードです。

val_data_path = "./val/"
val_data = torchvision.datasets.ImageFolder(root=val_data_path,
                                                                  transform=transforms)

再定義する代わりに、変換チェーンを使用しました。



検証データセットに加えて、検証データセットも作成する必要があります。これは、すべてのトレーニングを完了した後にモデルをテストするために使用されます。

test_data_path = "./test/"
test_data = torchvision.datasets.ImageFolder(root=test_data_path,
                                                                   transform=transforms)

一見すると、さまざまな種類のセットが複雑で混乱する可能性があるため、トレーニングのどの部分で各セットを使用するかを示す表をまとめました（表2.1）。





これで、Pythonコードをさらに数行使用してデータローダーを作成できます。

batch_size=64
train_data_loader = data.DataLoader(train_data, batch_size=batch_size)
val_data_loader = data.DataLoader(val_data, batch_size=batch_size)
test_data_loader = data.DataLoader(test_data, batch_size=batch_size)

このコードで新しく注目に値するのは、batch_sizeコマンドです。彼女は、トレーニングと更新を行う前に、ネットワークを通過する画像の数を示しています。理論的には、テストデータセットとトレーニングデータセットの一連の画像にbatch_sizeを割り当てて、ネットワークが更新する前に各画像を確認できるようにすることができます。実際には、これは通常行われません。これは、小さいパケット（文献ではミニパケットとしてより一般的に知られている）が必要とするメモリが少なく、各画像に関するすべての情報をデータセットに格納する必要がないためです。パケットサイズが小さいほど、ネットワークからの学習が速くなります。はるかに高速に更新します。 PyTorchデータローダーの場合、batch_sizeはデフォルトで1に設定されています。おそらく、これを変更することをお勧めします。私は64を選びましたが、あなたは理解するために実験することができますGPUメモリを使い果たすことなく使用できるミニパッケージの数。いくつかの追加パラメータを試してください。たとえば、データセットのフェッチ方法、実​​行するたびにデータセット全体をシャッフルするかどうか、データセットからデータを取得するために必要なワークフローの数を指定できます。このすべてはで見つけることができますPyTorchドキュメント。



これはPyTorchにデータを渡すことに関するものなので、画像の分類を開始する単純なニューラルネットワークを想像してみましょう。

最後に、ニューラルネットワーク！

まず、最も単純な深層学習ネットワーク、つまり入力テンサー（画像）と連携する入力レイヤーから始めます。出力層（2）の出力クラスの数のサイズ。そしてその間に隠された層。最初の例では、完全にリンクされたレイヤーを使用します。図では 2.3は、3つのノードの入力レイヤー、3つのノードの非表示

レイヤー、および2つのノードの出力を示しています。



この例では、1つのレイヤーの各ノードが次のレイヤーのノードに影響を与え、各接続には、そのノードから次のレイヤーへの信号の強度を決定する重みがあります。（これらは、通常はランダムな初期化から、ネットワークをトレーニングするときに更新される重みです。）入力がネットワークを通過するとき、私たち（またはPyTorch）は、そのレイヤーの重みとバイアスに入力を単純にマトリックス乗算できます。それらを次の関数に渡す前に、この結果はアクティベーション関数に入ります。これは、システムに非線形性を導入する方法にすぎません。

アクティベーション機能

アクティベーション機能はトリッキーに聞こえますが、現在見つけることができる最も一般的なアクティベーション機能は、ReLU、つまり修正された線形ユニットです。再び賢い！ただし、これはmax（0、x）を実装する関数であるため、入力が負の場合は結果が0になり、xが正の場合は入力（x）のみになります。とても簡単です！



遭遇する可能性が最も高いもう1つのアクティベーション関数は、多変量ロジスティック関数（softmax）です。これは、数学的な意味でもう少し複雑です。基本的に、0から1までの値のセットを生成し、合計で1（確率！）になり、差が大きくなるように値に重みを付けます。つまり、他のすべてよりも大きいベクトルで1つの結果を生成します。分類ネットワークの最後で、入力データがどのクラスであるとネットワークが判断するかを確実に予測するために使用されることがよくあります。



これらすべてのビルディングブロックができたので、最初のニューラルネットワークの構築を開始できます。

ニューラルネットワークの作成

PyTorchでニューラルネットワークを構築することは、Pythonでプログラミングすることに似ています。 torch.nn.Networkというクラスから継承し、__ init__メソッドとforwardメソッドにデータを入力します。

class SimpleNet(nn.Module):

def __init__(self):
     super(Net, self).__init__()
     self.fc1 = nn.Linear(12288, 84)
     self.fc2 = nn.Linear(84, 50)
     self.fc3 = nn.Linear(50,2)

def forward(self):
     x = x.view(-1, 12288)
     x = F.relu(self.fc1(x))
     x = F.relu(self.fc2(x))
     x = F.softmax(self.fc3(x))
     return x
simplenet = SimpleNet()

繰り返しますが、これは難しいことではありません。 init（）で必要な設定を行います。この場合、スーパークラスコンストラクターと3つの完全に接続されたレイヤー（PyTorchではLinearと呼ばれ、KerasではDenseと呼ばれます）を呼び出します。 forward（）メソッドは、トレーニングと予測（推論）の両方で、データがネットワークを介してどのように送信されるかを示します。まず、画像内の3Dテンソル（xとyに加えて3チャンネルの色情報（赤、緑、青））を変換する必要があります-注意！ -最初の線形レイヤーに渡すことができるように1次元テンソルに変換します。これは、view（）を使用して行います。したがって、レイヤーとアクティベーション関数を順番に適用し、softmax出力を返し、この画像の予測を取得します。



隠しレイヤーの番号は任意ですが、最後のレイヤーの出力である2は、猫または魚の2つのクラスに一致します。スタック内で縮小するにつれて、レイヤー内のデータを縮小する必要があります。たとえば、レイヤーが50入力から100出力に移行する場合、ネットワークは50接続を100出力のうち50に渡すだけで学習し、作業が完了したと見なすことができます。入力に関連して出力のサイズを縮小することにより、ネットワークのこの部分に、より少ないリソースで元の入力の代表性を学習させるようにしています。これは、おそらく、ネットワークが画像のいくつかの際立った特徴を定義することを意味します。たとえば、フィンやテールを認識することを学習しました。



予測があり、元の画像の実際のラベルと比較して、それが正しいかどうかを確認できます。ただし、PyTorchが予測の正しさや不正確さだけでなく、予測の正しさや不正確さも定量化できるようにするための何らかの方法が必要です。損失関数はこれを行います。

著者について

Ian Poynter（Ian Pointer）-Fortune 100の多数のクライアント向けの機械学習（詳細な教育方法を含む）のソリューションを専門とするエンジニアデータサイエンス。現在、YangはLucidworksで働いており、高度なアプリケーションとNLPの開発に従事しています。



»本の詳細については、出版社のウェブサイトをご覧ください

»目次

» 住民向けの抜粋



クーポンの25％割引-PyTorch



紙版の本の支払い時に、電子書籍が電子メールで送信されます。