ディープラーニングに最適なオープンソースツールとライブラリ-ICLR2020エクスペリエンス

ニューラルネットワークについて聞いたことがない人をハブレで見つけるのは難しいです。ニューラルネットワークの最新の進歩に関する定期的なニュースは、一般の人々を驚かせ、また新しい愛好家や研究者を魅了しています。魅了された専門家の流れは、神経モデルのさらなる成功に貢献するだけでなく、ディープラーニングアプローチをより便利に使用するためのツールの開発にもつながります。よく知られているTensorflowおよびPyTorchフレームワークに加えて、他のライブラリが活発に開発されており、多くの場合、より柔軟ですが、あまり知られていません。 



この記事は、neptune.aiによる投稿の1つを翻訳したものであり、ICLR2020機械学習会議で発表された最も興味深い深層学習ツールに焦点を当てています。 

高度な深層学習はどこで作成され、議論されていますか？

ディープラーニングについて議論する主な場所の1つは、2020年4月27〜30日に開催されたディープラーニングに関する主要な会議であるICLRです。 5,500人を超える参加者と700近くのプレゼンテーションとトークがあり、これは完全にオンラインのイベントにとって大成功です。会議に関する包括的な情報は、ここ、ここ、またはここにあります。



バーチャルソーシャルミーティングはICLR2020のハイライトの1つでした。主催者は、「最先端のDL研究におけるオープンソースツールと実践」と呼ばれるプロジェクトを立ち上げることを決定しました。対応するツールキットが深層学習研究者の仕事の必然的な部分であるという事実のために、トピックが選ばれました。この分野の進歩により、大規模な生態系が急増しました（TensorFlow、PyTorch、MXNet）、および研究者の特定のニーズに対応する小規模なターゲットツール。



上記のイベントの目的は、オープンソースツールの作成者とユーザーに会い、DeepLearningコミュニティ間で経験と印象を共有することでした。主なインスピレーションやプロジェクトリーダーを含め、合計100人以上が集まり、短期間で作品を発表しました。参加者と主催者は、提示されたツールとライブラリの多様性と創造性に驚いていました。



この記事には、仮想ステージから提示された明るいプロジェクトが含まれています。

ツールとライブラリ

以下は、ICLRでデモされた8つのツールであり、機能の詳細な概要が示されています。 



各セクションでは、いくつかのポイントに対する回答を非常に簡潔に示しています。

1. ツール/ライブラリはどのような問題を解決しますか？
2. 最小限のユースケースを実行または作成するにはどうすればよいですか？
3. ライブラリ/ツールをさらに深く掘り下げるための外部リソース。
4. 連絡を取りたい場合のプロジェクト代表者のプロフィール。

以下の特定のセクションにジャンプするか、それらすべてを1つずつ参照することができます。読書を楽しむ！

AmpliGraph

トピック：ナレッジグラフベースの埋め込みモデル。

プログラミング言語：Python

投稿者：Luca Costabello

Twitter | LinkedIn | GitHub |ウェブサイト



ナレッジグラフは、複雑なシステムを表すための用途の広いツールです。ソーシャルネットワーク、バイオインフォマティクスデータセット、小売購入データのいずれであっても、グラフナレッジモデリングにより、組織は見落とされがちな重要なつながりを特定できます。



データ間の関係を明らかにするには、グラフを操作するために特別に設計された特別な機械学習モデルが必要です。



AmpliGraphナレッジグラフから埋め込みを抽出するためにApache2によってライセンスされたマシン学習モデルのセットです。このようなモデルは、グラフのノードとエッジをベクトル形式でエンコードし、それらを組み合わせて欠落している事実を予測します。グラフの埋め込みは、トップオブナレッジグラフ、ナレッジディスカバリー、リンクベースのクラスタリングなどのタスクで使用されます。



AmpliGraphは、これらのモデルを経験の浅いユーザーが利用できるようにすることで、研究者向けのグラフ埋め込みトピックへのエントリの障壁を低くします。このプロジェクトは、オープンソースAPIを利用して、機械学習でグラフを使用する愛好家のコミュニティをサポートします。このプロジェクトでは、実際のデータに基づいてナレッジグラフから埋め込みを作成および視覚化する方法と、後続のマシン学習タスクでそれらを使用する方法を学習できます。



開始するには、以下は、参照データセットの1つでモデルをトレーニングし、欠落しているリンクを予測する最小限のコードです。





AmpliGraphマシン学習モデルは、ベクトル空間でのグラフの埋め込み、表現を生成します。



さらに、埋め込みは、新しい、以前は気付かなかった接続を予測するために、特別な機能と組み合わされます。



AmpliGraphは、もともとAccenture Labs Dublinで開発され、さまざまな産業プロジェクトで使用されています。

Automunge

表形式のデータ準備プラットフォーム

プログラミング言語：Python

投稿者Nicholas Teague

Twitter | LinkedIn | GitHub | AutomungeのWebサイト



機械学習で使用するための表形式データの準備に役立つPythonライブラリです。パッケージのツールキットを介して、機能を正規化し、エンコードし、ギャップを埋めるための簡単な変換が可能です。変換はトレーニングサブサンプルに適用され、次に同じ方法でテストサブサンプルのデータに適用されます。変換は、自動的に実行するか、内部ライブラリから割り当てるか、ユーザーが柔軟に構成できます。ポピュレーションオプションには、「機械学習ベースのインフィル」が含まれます。このインフィルでは、データの各列の欠落している情報を予測するようにモデルがトレーニングされます。



簡単に言えば：



automunge（。）機械学習、postmunge（。）で使用するための表形式のデータを準備します



追加データは順次、高効率で処理されます。



Automungeは、pipを介してインストールできます。





インストール後、初期化のためにライブラリをJupyterNotebookにインポートするだけです。





デフォルトのパラメータを使用してトレーニングサンプルのデータを自動的に処理するには、次のコマンドを使用するだけで十分です。





さらに、テストサブサンプルからのデータの後続の処理では、automunge（。）を呼び出して取得したpostprocess_dictディクショナリを使用してコマンドを実行するだけで十分です。





automunge（。）呼び出しのassigncatおよびassigninfillパラメーターを使用して、ギャップを埋めるための変換の詳細とデータタイプを定義できます。たとえば、列が「column1」と「column2」のデータセットの場合、列1のMLパディングを使用した最小値と最大値（「mnmx」）に基づいてスケーリングを割り当て、に基づいたパディングを使用したワンホットエンコーディング（「text」）を割り当てることができます。 column2の最も一般的な値。明示的に指定されていない他の列のデータは自動的に処理されます。





リソースとリンクの



ウェブサイト| GitHub | 簡単なプレゼンテーション

DynaML

Scala

プログラミング言語の機械学習：Scala

投稿者：Mandar Chandorkar

Twitter | LinkedIn | GitHub 



DynaMLは、Scalaベースの研究および機械学習ツールボックスです。これは、次の点で役立つエンドツーエンドの環境をユーザーに提供することを目的としています。

• モデルの開発/プロトタイピング、
• かさばる複雑なパイプラインでの作業、
• データと結果の視覚化、
• スクリプトおよびノー​​トブックの形式でのコードの再利用。

DynaMLは、Scala言語とエコシステムの長所を活用して、パフォーマンスと柔軟性を提供する環境を作成します。これは、Ammonite scala、Tensorflow-Scala、Breeze高性能数値計算ライブラリなどの優れたプロジェクトに基づいています。



DynaMLの主要コンポーネントはREPL /シェルであり、構文の強調表示と高度な自動完了システムがあります。



コードスニペットをコピーしてコマンドラインに貼り付け、実行します。



環境には2Dおよび3D視覚化のサポートが付属しており、結果はコマンドシェルから直接表示できます。



3Dチャートは、jzy3d JavaAPIを使用してレンダリングされます。データパイプ



モジュールを使用すると、レイアウトに適したモジュラー方式でデータ処理パイプラインを簡単に作成できます。関数を作成し、DataPipeコンストラクターを使用してそれらをラップし、>演算子を使用して関数ブロックを構築します。



パイプラインが論理的にステージに分割され、各ステップで1つの変換が実行される場合、データストリームの処理は直感的に見えます。



実験的なJupyterノートブック統合機能も利用できます。リポジトリ内のnotebookディレクトリには、DynaML-ScalaJupyterコアの使用例がいくつか含まれています。



ノートブックc線形回帰（線形回帰ノートブック）は、線形回帰モデルの係数を計算するための低レベルAPITensorflowの使用を示しています。



ユーザーガイドには、DynaML環境をマスターして最大限に活用するのに役立つ広範なリファレンスとドキュメントが含まれています。



以下は、DynaMLの長所を強調するいくつかの興味深いアプリケーションです。

• 物理学は、バーガー方程式とフォッカープランクシステムを解くためにニューラルネットワークに影響を与えました。
• ディープラーニングトレーニング、
• 自動回帰時系列予測のためのガウスプロセスモデル。

GitHubのリソースとリンク| ユーザーマニュアル

ハイドラ

構成およびパラメーターマネージャー

プログラミング言語：Python

投稿者Omry Yadan

Twitter | GitHub 



Facebook AIによって開発されたHydraは、構成ファイルとコマンドラインを使用して構成を作成およびオーバーライドする機能を提供することにより、研究アプリケーションの開発を簡素化するPythonプラットフォームです。このプラットフォームは、自動パラメーター拡張、プラグインを介したリモートおよび並列実行、自動作業ディレクトリ管理、およびTABキーを押すことによる完了オプションの動的な提案もサポートします。



Hydraを使用すると、さまざまな機械学習環境間でコードの移植性が向上します。コードを変更せずに、パーソナルワークステーション、パブリッククラスターとプライベートクラスターを切り替えることができます。上記は、モジュラーアーキテクチャによって実現されます。



基本的な例



この例ではデータベース構成を使用していますが、モデル、データセット、またはその他の必要なものに簡単に置き換えることができます。



config.yaml：





my_app.py：





コマンドラインから構成内のすべてをオーバーライドできます。





構成例：



2つの異なるデータベース構成を切り替えることができます。



このディレクトリ構造を作成します。





config.yaml：





defaultsは、構成オブジェクトを作成するときにdb /mysql.yamlを使用するようにHydraに指示する特別なディレクティブです。



これで、使用するデータベース構成を選択したり、コマンドラインからパラメーター値をオーバーライドしたりできます：





詳細については、チュートリアルをご覧ください。



さらに、新しい興味深い機能が間もなく登場します。

• 厳密に型指定された構成（構造化構成ファイル）、
• AxおよびNevergradプラグインを使用したハイパーパラメータの最適化、
• Rayランチャープラグインを使用してAWSを起動します。
• joblibプラグインなどを介したローカル並列起動。

ラルク

二値化されたニューラルネットワーク

プログラミング言語：Python

投稿者：Lucas Geiger

Twitter | LinkedIn | GitHub 



Larqは、2値化ニューラルネットワーク（BNN）を構築、トレーニング、および展開するためのオープンソースのPythonパッケージエコシステムです。 BNNは、アクティベーションと重みが32、16、または8ビットを使用してエンコードされず、1ビットのみを使用する深層学習モデルです。これにより、推論時間が大幅に短縮され、消費電力が削減されるため、BNNはモバイルおよび周辺機器のアプリケーションに最適です。



オープンソースのLarqエコシステムには、3つの主要なコンポーネントがあります。

1. Larq — , . API, TensorFlow Keras. . Larq BNNs, .
2. Larq Zoo BNNs, .   Larq Zoo , BNN .
3. Larq Compute Engine — BNNs. TensorFlow Lite MLIR Larq FlatBuffer, TF Lite. ARM64, , Android Raspberry Pi, , , BNN.

プロジェクトの作成者は、常により高速なモデルを作成し、Larqエコシステムを新しいハードウェアプラットフォームと深層学習アプリケーションに拡張しています。たとえば、Larqを使用してバイナリネットワークと8ビットネットワークの組み合わせをトレーニングおよび展開できるように、8ビットの量子化をエンドツーエンドで統合する作業が現在進行中です。



リソースとリンクの



ウェブサイト| GitHub larq / larq | GitHub larq /動物園| GitHub larq / compute-engine | 教科書  | ブログ| ツイッター

McKernel

対数線形時間の原子力法

C / C ++：プログラミング言語

J.デCURTO私ディアス投稿者

のTwitter | ウェブサイト



カーネルメソッドのランダム機能近似と本格的なディープラーニングフレームワークの両方を提供する最初のオープンソースC ++ライブラリ。



McKernelは4つの異なる用途を提供します。

1. 自己完結型の超高速オープンソースハダマードコード。圧縮、暗号化、量子コンピューティングなどの分野で使用します。
2. 非常に高速な核技術。SVMメソッド（サポートベクトルメソッド：ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BE%D0%BF%D0）のどこでも使用できます％BE％D1％80％D0％BD％D1％8B％D1％85_％D0％B2％D0％B5％D0％BA％D1％82％D0％BE％D1％80％D0％BE％D0％B2）ディープラーニングよりも優れています。たとえば、ヘルスケアやその他の分野での一部のロボティクスアプリケーションや一部の機械学習のユースケースには、連合学習やチャネル選択が含まれます。
3. ディープラーニングと核法の統合により、先験的な人型的/数学的方向でのディープラーニングアーキテクチャの開発が可能になります。
4. 機械学習における多くの未解決の問題を解決するための深層学習研究フレームワーク。

すべての計算を説明する式は次のとおりです。





ここでは、先駆的な形式主義としての著者が、深層学習の方法としてランダムな症状を使用すること、および核技術を説明するために使用されました。理論的根拠は、ガウス、ウィーナー、フーリエ、カルマンの4つの巨人に基づいています。この基盤は、Rahimi and Recht（NIPS 2007）およびLe etal。によって築かれました。 （ICML 2013）。



一般的なユーザーをターゲットにする



McKernelの主な対象者は、ロボット工学、ヘルスケアのための機械学習、信号処理、および通信の分野の研究者および実務家であり、C ++で効率的かつ迅速に実装する必要があります。この場合、ほとんどのDeep Learningライブラリは、大部分が高レベルのPython実装に基づいているため、指定された条件を満たしていません。さらに、聴衆は、核法を使用して神経ネットワークのアーキテクチャを改善することを模索している、より広範な機械学習および深層学習コミュニティの代表者である可能性があります。



時間をかけずにライブラリを実行するための非常に単純な視覚的な例は、次のようになります。





次は何ですか？



エンドツーエンドの学習、自己監視学習、メタ学習、進化的戦略との統合、NASによる検索スペースの大幅な削減、...



リソースとリンク



GitHub | 完全なプレゼンテーション

SCCHトレーニングエンジン

ディープラーニング

プログラミング言語の自動化ルーチン  ：Python

投稿者Natalya Shepeleva

Twitter | LinkedIn | Webサイト



典型的なディープラーニングパイプラインの開発はかなり標準的です：データの前処理、タスクの設計/実装、モデルトレーニング、および結果の評価。それにもかかわらず、プロジェクトごとに、その使用には開発のすべての段階でエンジニアの参加が必要であり、同じアクションの繰り返し、コードの重複、そして最終的にはエラーにつながります。



SCCHトレーニングエンジンの目標は、最も人気のある2つのフレームワークであるPyTorchとTensorFlowのディープラーニング開発プロセスを統合および自動化することです。シングルエントリアーキテクチャは、開発時間を最小限に抑え、バグから保護します。



誰のため？ 



SCCHトレーニングエンジンの柔軟なアーキテクチャには、2つのレベルのユーザーエクスペリエンスがあります。



メイン。このレベルでは、ユーザーはトレーニング用のデータを提供し、モデルのトレーニングパラメーターを構成ファイルに書き込む必要があります。その後、データ処理、モデルトレーニング、結果の検証を含むすべてのプロセスが自動的に実行されます。その結果、トレーニングされたモデルが主要なフレームワークの1つで取得されます。



高度。モジュラーコンポーネントの概念のおかげで、ユーザーは必要に応じてモジュールを変更し、独自のモデルを展開し、さまざまな損失関数と品質メトリックを使用できます。このモジュラーアーキテクチャにより、メインパイプラインの操作を妨げることなく機能を追加できます。





彼は何ができる？



現在の機能：

• TensorFlowおよびPyTorchと連携し、
• さまざまな形式のデータを解析するための標準化されたパイプライン、
• モデルのトレーニングと結果の検証のための標準化されたパイプライン、
• 分類、セグメンテーション、および検出タスクのサポート、
• 相互検証のサポート。

開発中の機能：

• 最適なモデルハイパーパラメータを検索し、
• モデルの重みをロードし、特定のコントロールポイントからトレーニングします。
• GANアーキテクチャのサポート。

使い方？ 



SCCHトレーニングエンジンの栄光をすべて見るには、2つのステップを踏む必要があります。

1. リポジトリをコピーし、コマンドpip installrequirements.txtを使用して必要なパッケージをインストールするだけです。
2. python main.pyを実行して、LeNet-5モデルでの処理とトレーニングを含むMNISTケーススタディを確認します。

構成ファイルの作成方法と高度な機能の使用方法に関するすべての情報は、GitHubページにあります。



コア機能を備えた安定したリリース：2020年5月下旬に予定されています。



リソースとリンク



GitHub   | Webサイト

トークナイザー

テキストトークナイザー

プログラミング言語：Rust with Python API

投稿者：Anthony Mua

Twitter | LinkedIn | GitHub 



huggingface / tokenizersは、パフォーマンスと多目的使用に重点を置いた、最新のトークナイザーへのアクセスを提供します。トークナイザーを使用すると、トークナイザーを簡単にトレーニングして使用できます。トークナイザーは、あなたがNLP分野の学者であるか実践者であるかに関係なく、あなたを助けることができます。



主な機能

• 極端な速度：トークン化がパイプラインのボトルネックになることはなく、データを前処理する必要もありません。ネイティブのRust実装のおかげで、ギガバイトのテキストのトークン化には数秒しかかかりません。
• オフセット/配置：複雑な正規化手順でテキストを処理する場合でも、オフセット制御を提供します。これにより、NERや質問への回答などのタスクのテキストを簡単に抽出できます。
• 前処理：言語モデルにデータを供給する前に必要な前処理（切り捨て、パディング、特別なトークンの追加など）を処理します。
• 学習のしやすさ：新しいシャーシでトークナイザーをトレーニングします。たとえば、BERTのトークナイザーを新しい言語で学ぶことはかつてないほど容易になりました。
• 多言語：複数の言語のバンドル。今すぐPython、Node.js、またはRustで使用を開始できます。この方向での作業は続きます！

例： 





等々： 

• 単一ファイルへのシリアル化と任意のトークナイザーの1行でのロード、
• ユニグラムのサポート。

Hugging Faceは、彼らの使命をNLPの促進と民主化を支援するものと見なしています。GitHubの



リソースとリンク



huggingface /トランスフォーマー| GitHub huggingface /トークナイザー| ツイッター

結論

結論として、一般的にディープラーニングとマシンラーニングに役立つライブラリは多数あり、それらすべてを1つの記事で説明する方法はないことに注意してください。上記のプロジェクトのいくつかは特定の場合に役立ちます、いくつかはすでによく知られています、そしていくつかの素晴らしいプロジェクトは残念ながらそれを記事に入れませんでした。



で我々CleverDATAは維持するために努力するの遅れない新しいツールや便利なライブラリ、および積極的に深い学習と機械学習の使用に関連する我々の仕事に新鮮なアプローチを適用します。私としては、メインの記事には含まれていないが、ニューラルネットワークの操作に大いに役立つこれらの2つのライブラリに読者の注意を引きたいと思います。Catalyst（https://catalyst-team.com）およびAlbumentation（https://albumentations.ai/）。 



幅広い聴衆にほとんど知られていないものを含め、すべての実践スペシャリストが彼自身のお気に入りのツールとライブラリを持っていると確信しています。仕事で役立つツールが無駄に無視されていると思われる場合は、コメントに書き込んでください。ディスカッションでの言及でさえ、有望なプロジェクトが新しいフォロワーを引き付けるのに役立ち、人気の高まりは、機能の向上と自分自身の発展につながります。ライブラリ。



ご清聴ありがとうございました。提示された一連のライブラリが作業に役立つことを願っています。