マスストレージ業界のトレンド

今日は、第5世代のネットワーク、ゲノムスキャナー、自動運転車が、産業革命前の期間に生成されたすべての人類よりも多くのデータを1日あたりに生成する世界でデータをより適切に保存する方法について説明します。









私たちの世界はますます多くの情報を生み出しています。その一部はつかの間であり、収集されるとすぐに失われます。もう一方は「何世紀にもわたって」設計されているのに対し、もう一方はより長く保管する必要があります。少なくとも、これが現在からの見方です。情報の流れは、新しいアプローチ、この無限の「需要」を満たすように設計されたテクノロジーが急速に時代遅れになっているほどの速度でデータセンターに定着しています。

分散ストレージシステムの40年の開発

最初のネットワーク接続ストレージは、1980年代に通常の形式で登場しました。あなたの多くは、NFS（ネットワークファイルシステム）、AFS（アンドリューファイルシステム）またはCodaに出くわしました。 10年後、ファッションとテクノロジーが変化し、分散ファイルシステムは、GPFS（General Parallel File System）、CFS（Clustered File Systems）、およびStorNextに基づくクラスター化ストレージシステムに取って代わられました。基礎として、古典的なアーキテクチャのブロックストレージが使用され、その上にソフトウェア層を使用して単一のファイルシステムが作成されました。これらおよび同様のソリューションは現在も使用されており、独自のニッチを占めており、非常に需要があります。



ミレニアムの変わり目に、分散ストレージのパラダイムは多少変化し、SN（Shared-Nothing）アーキテクチャを備えたシステムが主導権を握りました。クラスターストレージから別々のノード上のストレージへの移行がありました。これは、原則として、信頼性の高いストレージを提供するソフトウェアを備えた従来のサーバーでした。このような原則に基づいて、たとえば、HDFS（Hadoop分散ファイルシステム）およびGFS（グローバルファイルシステム）が構築されます。



2010年代に近づくと、分散ストレージの背後にある概念は、VMware vSAN、Dell EMC Isilon、HuaweiOceanStorなどの本格的な商用製品にますます反映されています。..。言及されたプラットフォームはもはや愛好家のコミュニティではありませんが、製品の機能、サポート、サービスに責任を持ち、そのさらなる開発を保証する特定のベンダーです。このようなソリューションは、いくつかの分野で最も需要があります。

テレコムオペレーター

おそらく、分散ストレージシステムの最も古い消費者の1つは通信事業者です。この図は、どのアプリケーショングループがデータの大部分を生成するかを示しています。 OSS（運用サポートシステム）、MSS（管理サポートサービス）、およびBSS（ビジネスサポートシステム）は、サブスクライバーへのサービス、プロバイダーへの財務報告、およびオペレーターのエンジニアへの運用サポートを提供するために必要な3つの補完的なソフトウェアレイヤーです。



多くの場合、これらのレイヤーのデータは互いに強く混合されており、不要なコピーの蓄積を回避するために、作業ネットワークからの情報の全量を蓄積する分散ストレージが使用されます。ストレージは、すべてのサービスが参照する共通のプールに結合されます。



私たちの計算によると、クラシックストレージシステムからブロックストレージシステムへの移行により、ハイエンドクラスの専用ストレージシステムを排除し、特殊なソフトウェアと連携して動作するクラシックアーキテクチャの従来のサーバー（通常はx86）を使用するだけで、予算を最大70％節約できます。セルラーオペレーターは長い間、そのようなソリューションを大量に購入し始めています。特に、ロシアの事業者は、Huaweiのこのような製品を6年以上使用しています。



はい、分散システムを使用して多くのタスクを実行することはできません。たとえば、パフォーマンス要件の増加や古いプロトコルとの互換性があります。ただし、オペレーターが処理するデータの少なくとも70％は、分散プールに配置できます。

銀行部門

どの銀行にも、処理から自動バンキングシステムまで、さまざまなITシステムがあります。このインフラストラクチャは大量の情報でも機能しますが、開発、テスト、オフィスプロセスの自動化など、ほとんどのタスクでストレージシステムのパフォーマンスと信頼性を向上させる必要はありません。ここでは、従来のストレージシステムを使用できますが、毎年収益性が低下しています。さらに、この場合、パフォーマンスがピーク負荷から計算されるストレージリソースの使用に柔軟性がありません。



分散ストレージシステムを使用する場合、実際には通常のサーバーであるノードは、たとえばサーバーファームにいつでも変換して、コンピューティングプラットフォームとして使用できます。

データレイク

上の図は、データレイクサービスの一般的な消費者のリストを示しています。これらは、電子政府サービス（たとえば、「Gosuslugi」）、デジタル化された企業、財務構造などです。これらはすべて、大量の異種情報を処理する必要があります。



ブロックデータベースへの高性能アクセスと、オブジェクトとして保存されたスキャンされたドキュメントのライブラリへの定期的なアクセスの両方が必要なため、このような問題を解決するための従来のストレージシステムの操作は効果的ではありません。これは、たとえば、Webポータルを介した注文システムにリンクすることもできます。これらすべてを従来のストレージプラットフォームに実装するには、さまざまなタスクに対応する大量の機器が必要になります。1つの水平ユニバーサルストレージシステムで、前述のすべてのタスクを十分にカバーできます。ストレージ特性が異なる複数のプールを作成する必要があります。

新しい情報の生成者

世界に保存されている情報の量は、年間約30％増加しています。これはストレージベンダーにとって朗報ですが、このデータの主なソースは何であり、今後もそうなるでしょうか。



10年前、ソーシャルネットワークはそのようなジェネレーターになり、多数の新しいアルゴリズムやハードウェアソリューションなどを作成する必要がありました。現在、ストレージボリュームの増加には3つの主な要因があります。 1つ目はクラウドコンピューティングです。現在、約70％の企業が何らかの形でクラウドサービスを使用しています。これらは、電子メールシステム、バックアップ、およびその他の仮想化エンティティです。

2番目のドライバーは第5世代のネットワークです。これらは、新しい速度と新しい量のデータ転送です。 5Gの普及により、フラッシュメモリカードの需要が減少すると予測しています。電話機にいくらメモリがあっても、それでも不足します。ガジェットに100メガビットのチャネルがある場合は、写真をローカルに保存する必要はありません。



ストレージシステムの需要が高まっている理由の3番目のグループには、人工知能の急速な発展、ビッグデータ分析への移行、および可能なすべてのユニバーサル自動化への傾向が含まれます。



「新しいトラフィック」の特徴は、その非構造化です..。このデータは、形式を指定せずに保存する必要があります。後続の読み取りにのみ必要です。たとえば、利用可能なローンのサイズを決定する銀行スコアリングシステムは、ソーシャルネットワークに投稿した写真を見て、海やレストランに頻繁に行くかどうかを判断すると同時に、利用可能な医療文書からの抜粋を調査します。これらのデータは、一方ではすべてを網羅しており、他方では均一性に欠けています。

構造化されていないデータの海

「新しいデータ」の出現にはどのような問題が伴いますか？もちろん、その中で最も重要なのは、情報自体の量と推定保存時間です。ドライバーだけがいない現代の自律型自動車は、そのすべてのセンサーとメカニズムから毎日最大60TBのデータを生成します。新しいモーションアルゴリズムを開発するには、この情報を同じ日に処理する必要があります。そうしないと、情報が蓄積され始めます。さらに、それは非常に長い期間、つまり数十年保管する必要があります。そうして初めて、将来的には、大規模な分析サンプルに基づいて結論を導き出すことが可能になります。



単一の遺伝子配列決定装置は、1日あたり約6TBを生成します。そして、その助けを借りて収集されたデータは、削除を意味するものではありません。つまり、仮想的には、永久に保存する必要があります。



最後に、すべて同じ第5世代ネットワーク。実際に送信される情報に加えて、このようなネットワーク自体は、アクションログ、通話記録、マシン間の相互作用の中間結果など、データの巨大なジェネレータです。



これにはすべて、情報を保存および処理するための新しいアプローチとアルゴリズムの開発が必要です。そして、そのようなアプローチが現れます。

新時代のテクノロジー

情報ストレージシステムの新しい要件に対処するために設計されたソリューションには、人工知能の導入、ストレージメディアの技術的進化、およびシステムアーキテクチャの分野における革新の3つのグループがあります。 AIから始めましょう。







新しいHuaweiソリューションでは、人工知能がストレージ自体のレベルですでに使用されています。ストレージ自体には、システムがその状態を独立して分析し、障害を予測できるようにするAIプロセッサが装備されています。ストレージシステムが重要な計算機能を備えたサービスクラウドに接続されている場合、人工知能はより多くの情報を処理し、その仮説の精度を向上させることができます。



障害に加えて、このようなAIは、将来のピーク負荷と容量が使い果たされるまでの残り時間を予測できます。これにより、不要なイベントが発生する前でも、パフォーマンスを最適化し、システムを拡張できます。







次に、データキャリアの進化について説明します。最初のフラッシュドライブは、SLC（シングルレベルセル）テクノロジーを使用して作成されました。これに基づくデバイスは、高速で信頼性が高く、安定していますが、容量が小さく、非常に高価でした。数量の増加と価格の引き下げは、特定の技術的譲歩によって達成されました。これにより、ドライブの速度、信頼性、および寿命が低下しました。それにもかかわらず、この傾向はストレージシステム自体には影響しませんでした。これは、さまざまなアーキテクチャ上のトリックにより、一般に、生産性と信頼性の両方が向上しています。



しかし、なぜオールフラッシュストレージシステムが必要だったのでしょうか。すでに使用されているシステムの古いHDDを同じフォームファクタの新しいSSDに置き換えるだけで十分ではありませんか？これは、古いシステムでは不可能だった、新しいソリッドステートドライブのすべてのリソースを効果的に使用するために必要でした。



たとえば、Huaweiは、この課題に対処するためのさまざまなテクノロジーを開発しました。その1つが、ディスクとコントローラーの相互作用を最大化するFlashLinkです。



インテリジェントな識別により、データを複数のストリームに分解し、WA（書き込み増幅）などの多くの望ましくない現象に対処することが可能になりました。同時に、新しいリカバリアルゴリズム、特にRAID 2.0+、再構築の速度を上げ、時間を完全に重要でない値に減らしました。



障害、過密、ガベージコレクション-これらの要因も、コントローラーの特別な変更により、ストレージシステムのパフォーマンスに影響を与えなくなりました。







そして、ブロックデータストレージはNVMeの準備をしています。データアクセスを整理するための従来のスキームは次のように機能したことを思い出してください。プロセッサはPCIExpressバスを介してRAIDコントローラにアクセスしました。次に、SCSIまたはSASを介してメカニカルディスクと相互作用しました。バックエンドでNVMeを使用すると、プロセス全体が大幅に高速化されましたが、メモリへの直接アクセスを提供するために、ドライブをプロセッサに直接接続する必要があるという1つの欠点がありました。



現在私たちが目にしている技術開発の次の段階は、NVMe-oF（NVMe over Fabrics）の使用です。 Huaweiブロックテクノロジーに関しては、すでにFC-NVMe（NVMe over Fiber Channel）と、NVMe over RoCE（RDMA over Converged Ethernet）アプローチをサポートしています。テストモデルは非常に機能的であり、公式発表までに数か月残っています。これはすべて、「ロスレスイーサネット」の需要が高い分散システムにも現れることに注意してください。







分散ストレージの作業を最適化する追加の方法は、データミラーリングを完全に拒否することです。 Huaweiソリューションは、通常のRAID 1のようにnコピーを使用しなくなり、ECメカニズムに完全に切り替わります。（消去コーディング）。特別な数学パッケージが一定の間隔で制御ブロックを計算します。これにより、損失が発生した場合に中間データを復元できます。



重複排除と圧縮のメカニズムが必須になりつつあります。従来のストレージシステムでは、コントローラーにインストールされているプロセッサーの数によって制限されている場合、分散スケールアウトストレージシステムでは、各ノードに、ディスク、メモリ、プロセッサー、相互接続など、必要なものがすべて含まれています。これらのリソースは、重複排除と圧縮がパフォーマンスへの影響を最小限に抑えるのに十分です。



そして、ハードウェアの最適化方法について。ここでは、TOEの役割を果たす追加の専用マイクロ回路（またはプロセッサ自体の専用ブロック）を使用して、中央プロセッサの負荷を軽減することができました。（TCP / IPオフロードエンジン）またはEC、重複排除、および圧縮の数学の問題を引き継ぎます。







データストレージへの新しいアプローチは、分解された（分散された）アーキテクチャで具体化されます。集中型ストレージシステムには、ファイバーチャネルを介して多数のアレイを備えたSANに接続されているサーバーファクトリがあります。このアプローチの欠点は、スケーリングと保証されたサービスレベル（パフォーマンスまたは遅延）の提供が難しいことです。ハイパーコンバージドシステムは、情報の保存と処理の両方に同じホストを使用します。これにより、実質的に無制限のスケーラビリティが提供されますが、データの整合性を維持するために高いコストがかかります。



上記の両方とは対照的に、分解されたアーキテクチャは、システムをコンピューティングファブリックと水平ストレージシステムに分離することを意味します。これにより、両方のアーキテクチャの利点が提供され、パフォーマンスが不足している要素にのみほぼ無期限にスケーリングできます。

統合から収束まで

過去15年間で関連性が高まった古典的なタスクは、ブロックストレージ、ファイルアクセス、オブジェクトへのアクセス、ビッグデータのファーム操作などを同時に提供する必要があることです。ケーキのチェリーは、たとえば、磁気テープのバックアップシステムにすることもできます。



最初の段階では、これらのサービスの管理を統合することしかできませんでした。異種データストレージシステムは、管理者が利用可能なプールからリソースを割り当てるために、いくつかの特殊なソフトウェアにロックされていました。ただし、これらのプールはハードウェアが異なるため、プール間で負荷を移行することはできませんでした。より高いレベルの統合では、統合はゲートウェイレベルで行われました。共有ファイルアクセスを使用すると、さまざまなプロトコルを介して送信できます。



現在、私たちが利用できる最も高度な収束方法には、ユニバーサルハイブリッドシステムの作成が含まれます。OceanStor100Dがどうあるべきか正確に。アクセシビリティは同じハードウェアリソースを使用し、論理的に異なるプールに分割されますが、ワークロードの移行を可能にします。これはすべて、単一の管理コンソールから実行できます。このようにして、「1つのデータセンター-1つのストレージシステム」という概念を実装することができました。







現在、情報を保存するコストによって、多くのアーキテクチャ上の決定が決まります。安全に最前線に置くことができますが、今日はアクティブアクセスを備えたライブストレージについて議論しているため、パフォーマンスも考慮する必要があります。次世代分散システムのもう1つの重要な特性は、統合です。結局のところ、異なるコンソールから複数の異なるシステムを制御したいと思う人は誰もいません。これらすべての品質は、Huawei OceanStorPacific製品の新シリーズに具現化されています。

新世代の大量保管

OceanStor Pacificは、「シックスナイン」（99.9999％）のレベルで信頼性の要件を満たし、HyperMetroクラスのデータセンターを作成するために使用できます。 2つのデータセンター間の距離が最大100kmの場合、システムは2ミリ秒の追加の遅延を示します。これにより、クォーラムサーバーを備えたソリューションを含め、あらゆる耐災害ソリューションを構築できます。







新シリーズの製品は、プロトコルの多様性を示しています。 OceanStor 100Dは、ブロックアクセス、オブジェクトアクセス、およびHadoopアクセスをすでにサポートしています。近い将来、ファイルアクセスも実装される予定です。異なるプロトコルで配信できる場合は、データの複数のコピーを保持する必要はありません。







「ロスレスネットワーク」の概念はストレージと何の関係があるように思われますか？事実、分散ストレージシステムは、対応するアルゴリズムとRoCEメカニズムをサポートする高速ネットワークに基づいて構築されています。スイッチでサポートされているAIファブリックは、ネットワーク速度をさらに向上させ、待ち時間を短縮するのに役立ちます。 AIファブリックのアクティブ化によるストレージパフォーマンスの向上は、最大20％になる可能性があります。







新しいOceanStorPacific分散ストレージノードとは何ですか？ 5Uソリューションには120台のドライブが含まれ、3つのクラシックノードを置き換えることができるため、ラックスペースを2倍以上節約できます。コピーの保存が拒否されたため、ドライブの効率が大幅に向上しました（最大+ 92％）。



ソフトウェア定義のストレージは、クラシックサーバーにインストールされる特別なソフトウェアであるという事実に慣れています。しかし現在、最適なパラメータを実現するために、このアーキテクチャソリューションには特別なノードも必要です。これは、ARMプロセッサに基づく2つのサーバーで構成され、3インチドライブのアレイを管理します。







これらのサーバーは、ハイパーコンバージドソリューションにはあまり適していません。第一に、ARMのアプリケーションはほとんどなく、第二に、負荷バランスを維持することが困難です。個別のストレージに移行することを提案します。クラシックサーバーまたはラックサーバーで表されるコンピューティングクラスターは個別に動作しますが、OceanStor Pacificストレージノードに接続し、直接タスクも実行します。そしてそれはそれ自体を正当化します。



たとえば、15台のサーバーラックを使用する従来のハイパーコンバージドビッグデータストレージソリューションを考えてみましょう。別々のコンピューティングサーバーとOceanStorPacificストレージノード間でワークロードを分離し、それらを互いに分離することで、必要なラックの数が半分になります。これにより、データセンターの運用コストが削減され、総所有コストが削減されます。保存される情報の量が年間30％増加する世界では、そのような利点は散在していません。

***

Huaweiのソリューションとシナリオの詳細については、当社のWebサイトを参照するか、会社の担当者に直接お問い合わせください。