ハイパフォーマンスコンピューティング、人工知能、データ分析のための共通アーキテクチャの構築

今日、ハイパフォーマンスコンピューティング（ HPC）、人工知能（ AI）、およびデータ分析（ DA）はますます重複しています。重要なのは、複雑な問題を解決するには、さまざまな手法を組み合わせる必要があるということです。従来の製造プロセスにおけるAI、HPC、DAの組み合わせは、科学的発見と革新を加速させることができます。



データサイエンティストと研究者は、HPCシステムなどの新しいコンピューティング集約型の問題解決プロセスを大規模に開発しています。 AIとデータ分析のワークロードは、パフォーマンスを向上させるために拡張できるHPCインフラストラクチャの恩恵を受けます。今日は、この市場のトレンドと、DA、AI、HPCのアーキテクチャを削減するためのアプローチについて説明します。







最新のワークロードの収束に向かう傾向には、より統一されたアーキテクチャが必要です。従来のHPCワークロード（シミュレーションなど）には、高速ネットワーク接続と高性能ファイルシステムに加えて、多くの計算能力が必要です。たとえば、鉱床の貯留層モデルの作成には、数時間から数日かかる場合があります。



人工知能とデータ分析のワークロードはリソースを大量に消費するため、オペレーターがデータを処理するには、データ収集ツールと専用のワークスペースが必要です。人工知能とデータ分析は、インタラクティブな相互作用と反復的なアクションを必要とするプロセスです。



HPC、AI、およびDAのワークロードの違いにより、3つの別個のインフラストラクチャが必要であるという印象を与える可能性がありますが、そうではありません。統合アーキテクチャは、新しいオペレーティングモデルを再トレーニングしたり適応したりすることなく、人工知能を扱うデータアナリストと科学者の両方に適しています。



ただし、3つのワークロードすべてを単一のアーキテクチャに統合することは、考慮すべき課題をもたらします。

• HPC、AI、またはDAのユーザースキルはさまざまです。
• リソース管理システムとロードプランナーは互換性がありません。
• すべてのソフトウェアとすべてのフレームワークが単一のプラットフォームに統合されているわけではありません。
• 生態系にはさまざまなツールと機能が必要です。
• 負荷とそのパフォーマンス要件は異なります。

デルテクノロジーズのターンキーソリューションの基盤

デルテクノロジーズのすぐに使用できるAIおよびデータ分析ソリューションは、3つのワークロードすべてに単一の環境を提供します。これらは、次の4つの基本原則を考慮して構築されています。

1. データの可用性。
2. シンプルなジョブスケジューリングとリソース管理。
3. ワークロードの最適化。
4. 統合されたオーケストレーションとコンテナ化。

データの可用性

ユーザーは、ワークロードに関係なく、データにすばやくアクセスする必要があります。データの移動は、異なるストレージ環境間で制限する必要があります。特にワークフローが複数の手法を組み合わせている場合は、運用効率を向上させるために、HPC、AI、およびDAのデータセットを単一の環境に組み合わせる必要があります。



たとえば、先進運転支援システムは、異常気象モデルを使用して、悪天候での実際の運転での事故を防ぎます。次に、新しいデータを使用してディープニューラルネットワークをトレーニングします。出力はモデルをトレーニングするための入力になります。次に、結果がSparkに読み込まれます。これは、顧客の現在のデータセットに接続し、モデルの後続のトレーニングに最適なデータを選択するために使用されます。最高のパフォーマンスを得るには、ワークフローから受信するデータを、すでに利用可能なデータにできるだけ近づける必要があります。

ジョブスケジューリングとリソース管理

HPCコンシューマーは、SLURMなどの従来のジョブスケジューラに依存しています。バッチスケジューリングの場合、SLURMは時間間隔に基づいてハードウェアリソースを割り当て、実行中のジョブを開始、実行、および制御するためのフレームワークを提供します。 SLURMは、クラスター内のタスク間の競合を回避するために、送信されたチケットのキュー管理も提供します。



データ分析では、SparkStandaloneやMesosなどのタスクスケジューラを使用します。ハイパフォーマンスコンピューティングと人工知能用の事前構築されたアーキテクチャは、Kubernetesを使用してSparkをオーケストレーションし、実行中のタスクのリソースを管理します。両方の環境に対応するジョブスケジューラはないため、アーキテクチャは両方をサポートする必要があります。 Dell Technologiesは、両方の要件を満たすアーキテクチャを開発しました。



HPC、データ分析、AI向けのDell EMCのターンキーアーキテクチャは、単一のリソースプールを作成します。リソースは、HPC Resource Managerを介して管理される任意のHPCタスクに、またはコンテナ化されたAIまたはデータ分析ワークロードに動的に割り当てることができます。これらのワークロードは、Kubernetesコンテナシステムから管理されます。

ワークロードの最適化

アーキテクチャは、別のタイプのワークロードに妥協することなく、あるタイプのワークロードに合わせて拡張できる必要があります。ワークロードの要件を理解するには、プログラミング言語、スケーリングのニーズ、およびソフトウェアスタックとファイルシステムの管理が重要です。次の表は、スケーラブルなアーキテクチャを構築するときに使用されるテクノロジーの例を示しています。

最後の設計コンポーネントは、KubernetesとDockerをKubernetesアーキテクチャに統合することです。これは、デプロイ、スケーリング、管理を自動化するために使用されるオープンソースのコンテナ化システムです。 Kubernetesは、サーバーのクラスターを編成し、利用可能なリソースと各コンテナーのリソースニーズに基づいてコンテナーをスケジュールするのに役立ちます。コンテナは、Kubernetesの基本的なオペレーティングユニットであるグループに編成され、目的のサイズに拡張されます。



Kubernetesは、負荷分散、リソース割り当ての追跡、使用率、個々のリソースのヘルスチェックなどの検出サービスの管理を支援します。これにより、コンテナを自動的に再起動またはコピーすることで、アプリケーションを自己修復できます。



Dockerは、ソフトウェア製品をすばやく構築、テスト、およびデプロイできるようにするソフトウェアプラットフォームです。プログラムをコンテナと呼ばれる標準モジュールにパッケージ化します。コンテナには、ライブラリ、システムツール、コード、実行条件など、プログラムの実行に必要なすべてのものが含まれています。Dockerを使用すると、あらゆる環境でアプリケーションを迅速にデプロイおよびスケーリングし、コードが確実に実行されるようにすることができます。

ハードウェアアーキテクチャブロック

適切なサーバーの選択

Dell EMC PowerEdge DSS 8440は、HPC用に最適化された2ソケット（4U）サーバーです。 1つのDSS8440は、画像認識用の4、8、または10個のNVIDIA V100グラフィックアクセラレータ、または自然言語処理（NLP）用のNVIDIAT4に対応できます。 10台のNVMeドライブにより、トレーニングデータにすばやくアクセスできます。このサーバーは、機械学習やその他のリソースを大量に消費するワークロードに最適なパフォーマンスと柔軟性の両方を備えています。たとえば、エンジニアリングおよび科学環境でのモデリングと予測分析。







Dell EMC PowerEdge C4140ニューラルネットワークのトレーニングに必要なスケーラブルなサーバーソリューションのニーズを満たします。ディープラーニングは、特に学習フェーズでは、高速GPUを含む計算集約型のプロセスです。各C4140サーバーは、最大4つのNVIDIA Tesla V100（Volta）GPUをサポートします。 NVIDIA NVLINK 20ファクトリを介して接続すると、8つ以上のC4140をクラスター化してより大きなモデルにすることができ、最大500Pflopsのパフォーマンスを実現します。







Dell EMC PowerEdge R740xdほとんどの機械学習プロジェクトに適したクラシックな2ソケットサーバーです。この汎用2Uサーバーは、グラフィックアクセラレータと多数のストレージデバイスのインストールをサポートしているため、ディープラーニングタスクでさらに使用できる可能性があります。

適切なネットワークの選択

Dell EMC PowerSwitch S5232F-ON：高性能イーサネットDell EMC S5235F-ON S5235F-ONには32個のQSFP28ポートがあり、それぞれがスプリットケーブルを使用して100GbEまたは10/25/40 / 50GbEをサポートします。スイッチバスの帯域幅は64Tbpsであり、低遅延で高性能を提供します。



Mellanox SB7800は、多くの同時ワークロードに適したソリューションです。任意の2つのスイッチングポイント間で90nsの遅延を伴う高性能のノンブロッキング72Tbit / sバスは、高性能ソリューションを提供します。

サービスとストレージシステム

適切なストレージサービスの選択

ハードウェアコンポーネントの選択は、解決する問題と使用するソフトウェアによって異なります。むしろ条件付きで、データストレージサブシステムは3つのタイプに分けることができます。

1. ストレージサービスはソフトウェアに組み込まれており、その不可欠な部分です。例としては、HDFSファイルシステムを備えたApache Hadoop、またはSQL ApacheCassandraデータベースがありません。
2. ストレージサービスは、専用ソリューション（Dell EMC PowerScaleなど）または企業のストレージシステムのいずれかによって提供されます。
3. クラウドリソースへのアクセス：プライベートDell EMC ECS、Cloudian、Ceph、およびパブリック（Amazon、Google、MS Azure）の両方。データアクセスは、原則として、RESTプロトコル（Amazon S3、Openstack Swiftなど）に基づいて実行されます。これは、ビッグデータのストレージ市場で最も活発に発展しているセグメントの1つです。

組み込みのストレージサービスまたは専用システムのいずれかが運用ストレージレイヤーとして使用され、クラウドシステムがアーカイブの長期ストレージとして機能する場合、組み合わせたアプローチを区別できます。特定のストレージサービスの使用は、解決されるタスクと規制要件（災害からの保護、承認および監査プロバイダーとの統合、使いやすさ）によって異なります。



一方では、組み込みのストレージサービスは、ソフトウェアで利用できる場合、迅速に展開され、もちろん、他のアプリケーションサービスと可能な限り統合されます。一方、それらは必ずしもすべての必要な要件を満たしているわけではありません。たとえば、本格的なレプリケーションやバックアップシステムとの統合はありません。さらに、1つのディストリビューションまたは一連のアプリケーション専用に別の専用の「データセグメント/アイランド」を作成します。

機能要件

ストレージサービスには、次の要件を課すことができます。

• 容量とパフォーマンスの両方における線形スケーラビリティ。
• マルチスレッド環境で効果的に機能する機能。
• システムコンポーネントの大規模な障害に対する耐性。
• システムのアップグレードと拡張が簡単です。
• オンラインおよびアーカイブストレージ層を作成する機能。
• データを操作するための高度な機能（監査、DRツール、不正な変更に対する保護、重複排除、メタデータ検索など）。

ストレージパフォーマンスは、ハイパフォーマンスコンピューティング、機械学習、人工知能プロジェクトにとって重要です。そのため、Dell Technologiesは、最も要求の厳しいお客様の要件を満たすために、幅広いオールフラッシュおよびハイブリッドストレージシステムを提供しています。



Dell EMCのストレージポートフォリオには、高性能PowerScale（HDFS、NFS / SMB）およびECS（S3、Opensatck Swift、HDFS）ストレージシステム、およびNFSおよびLustre分散ストレージシステムが含まれます。

特殊なシステムの例

Dell EMC PowerScaleは、ビッグデータに関連するプロジェクトで効果的に作業できるようにする特殊なシステムの一例です。これにより、企業データレイクを構築できます。ストレージシステムにはコントローラーとディスクシェルフは含まれていませんが、専用の複製ネットワークを使用して接続された同等のノードのセットです。各ノードには、クライアントアクセス用のディスク、プロセッサ、メモリ、およびネットワークインターフェイスが含まれています。クラスタのすべてのディスク容量は、単一のストレージプールと単一のファイルシステムを形成し、これらは任意のノードを介してアクセスできます。



Dell EMC PowerScaleさまざまなファイルプロトコルを介して同時にアクセスできるストレージシステムです。すべてのノードは、単一のリソースプールと単一のファイルシステムを形成します。すべてのノードは同等であり、どのノードも追加のオーバーヘッドなしで任意のリクエストを処理できます。システムは252ノードに拡張されます。1つのクラスター内で、パフォーマンスの異なるノードのプールを使用できます。運用処理には、SSD / NVMeと40または25GbEの効率的なネットワークアクセスを備えた本番ノードを使用し、アーカイブデータには、8〜12テラバイトの容量のあるSATAディスクを備えたノードを使用します。さらに、プライベートとパブリックの両方で、最も使用されていないデータをクラウドに移動することが可能になります。

プロジェクトとアプリケーション

Dell EMC PowerScaleの使用は、多くのエキサイティングなビッグデータプロジェクトにつながりました 。たとえば、Mastercardの疑わしいアクティビティ識別システム。また、Zenuityの自動車両制御（ADAS）に関連する問題の解決にも成功しています。重要なポイントの1つは、ストレージサービスを個別の層に分離し、個別にスケーリングできることです。



したがって、複数の分析プラットフォームを単一のデータセットで単一のストレージプラットフォームに接続できます。たとえば、サーバー上で直接実行される特定のHadoopディストリビューションを備えたメインの分析クラスター、および仮想化された開発/テストループ。同時に、クラスター全体を分析のタスクに割り当てることはできませんが、クラスターの特定の部分のみを割り当てることができます。



2番目の重要なポイントは、PowerScaleがファイルシステムへのアクセスを提供することです。つまり、従来のソリューションと比較して、分析される情報の量に厳密な制限はありません。クラスター化されたアーキテクチャーは、大規模なSATAドライブを使用している場合でも、機械学習タスクに優れたパフォーマンスを提供します。優れた例は、結果のモデルの精度がデータの量と質に依存する可能性があるML / DLの問題です。

従来のシステム

Dell EMC PowerVault ME4084（DAS）は、基本的なストレージシステムとして使用できます。3ペタバイトまで拡張可能で、5,500 MB / sのスループットと320,000IOPSが可能です。

HPC、AI、およびデータ分析のためのターンキーソリューションの典型的な図

業界別の典型的なAIのユースケース

概要

HPC、AI、および データ分析向けのデルテクノロジーズのターンキーソリューションは、 複数のワークロードをサポートする統合アーキテクチャを提供 します。このアーキテクチャは、データの可用性、簡単なジョブスケジューリングとリソース管理、ワークロードの最適化に加えて、統合されたオーケストレーションとコンテナ化という4つの主要コンポーネントに基づいています。このアーキテクチャは、HPCのニーズに最適な複数のサーバー、ネットワーク、およびストレージのオプションをサポートしています。



それらは非常に異なる問題を解決するために使用することができ、私たちは常に機器の選択、展開、構成、およびメンテナンスでお客様を支援する準備ができています。



この資料の著者は、ロシアのデルテクノロジーズのコンピューティングおよびネットワーキングソリューション部門のコンサルタントエンジニアであるAlexanderKoryakovskyです。