🌪️ 👆 👍🏼 NVMe名前空間：機会と落とし穴 🧖🏽 🏕️ 🛑

私は多くの人が聞いたことが確信している NVM Expressのか、単に のNVMe。当初、これらは私にとってただの高速ドライブでした。そして、これがこれらのドライブを接続するためのインターフェースであることに気づきました。それから彼は、PCIeバスを介してデータを転送するためのプロトコルとしてNVMeを理解し始めました。また、プロトコルだけでなく、ソリッドステートドライブ用に特別に設計されたプロトコルもあります。

少しずつ、これが全体の仕様であることに気づきました。そして、私たちは去ります... NVMeには、いくつの興味深い使用機能が存在することがわかりました。いくつのものが発明されたのか...そのような情報の層が私を通り過ぎたのは少しでも不快でした。

では、NVMeとは正確には何ですか？よく見てみましょう。

それはすべてSATAインターフェースから始まりました。実際、それ以前は、SCSI、UltraSCSI、ATA、PATAなど、他にも多くのインターフェイスがありましたが、これらは昔のものです。この記事では、現在関連するインターフェースのみを検討します。

SATAインターフェイスを介したデータ転送速度は560MB / sに達します。これは、HDDディスクには十分すぎるほどです。HDDディスクのパフォーマンスは90〜235 MB / sです（プロトタイプがいくつかあり、速度は480 MB / sに達します）。）。しかし、これはSSDドライブには十分ではなく、すでにパフォーマンスは3000〜3500 MB /秒に達しています。 SASインターフェイスも機能しません。最大速度はわずか1200MB /秒です。

ソリッドステートドライブの可能性を最大限に引き出すために、優れた人材がPCIeインターフェイスを使用することを決定しました。今では、8〜32 GB / sの速度でデータを転送できます。 SSDのPCIeインターフェースへの接続を統合するために、NVMe仕様が開発されました。 USBフラッシュドライブを接続するための仕様がやがて作成されたのと同じ方法で。

NVMeを完全に分解することはありません。この記事では、私が非常に興味を持った機能であるNVMe名前空間または 名前空間を皆さんと共有したいと思います。

読者の中には、このテクノロジーの探求に興味を持っている人がいることを願っています。経験豊富なユーザーのコメントを歓迎します。そして、私のように、このトピックを理解し始めたばかりの場合は、SSDの歴史に関する一連の記事を読むことをお勧めします。かつて、彼女は私が私の頭の中のたくさんのゴミをいじって整理するのを手伝ってくれました。

NVMeに近い

Linux上のNVMe

遠くから始めます。名前空間に関する情報を調べて検索するために、「LinuxのNVMeディスクがなぜそのように呼ばれるのですか？」という質問が表示されました。

Linuxのディスクをブロックデバイスとしてラベル付けすることに誰もが慣れています。これらは、物理デバイスまたは仮想デバイスと対話するためのインターフェイスを提供するファイル記述子です。そして、そのようなデバイスにはランダムではありませんが、いくつかの情報を含む非常に厳密な名前があります。devfsからの次の出力を見てみましょう。

root@thinkpad-e14:~$ ls -l /dev/ | grep -E "nvme"
crw-------  1 root    root    241,   0  25 22:04 nvme0
brw-rw----  1 root    disk    259,   0  25 22:04 nvme0n1
brw-rw----  1 root    disk    259,   1  25 22:04 nvme0n1p1
brw-rw----  1 root    disk    259,   2  25 22:04 nvme0n1p2
brw-rw----  1 root    disk    259,   3  25 22:04 nvme0n1p3

本番マシンに接続されているすべてのNVMeデバイスがここに一覧表示されます。ブロックデバイス/ dev / nvme0n1p1について考えてみます。奇妙なことに、nvme部分はNVMeデバイスに使用されます。次の番号は、ドライブで実行されるすべての操作を担当するディスクコントローラのシリアル番号を示しています。 末尾p1は示し パーティション番号、ディスク上を。最後に、注目に値する部分はn1です。これはスペースの数です。

簡単にするために、通常のSSDとの類似点を描くこともできます

。/dev/sda-/dev / nvme0n1の類似点

/ dev / sda1- / dev / nvme0n1p1のアナログ

/ dev / nvme0デバイスに注意してください。これはNVMeコントローラーです。キャラクターデバイスです。したがって、特定のコマンドを送信することで参照できます。これについては、さらに使用します。

名前空間とパーティション

あなたは疑問に思うかもしれません：名前空間はパーティションとどう違うのですか？NVMe名前空間のすべての機能と利点を削除しましょう。パーティションは、ホストレベルのディスクパーティションです。名前空間はコントローラーレベルのセクションです。つまり、名前空間は、ホストがブロックデバイスのように機能する一種の論理空間です。

別のレベルのパーティション分割により、ストレージシステムの編成に柔軟性が追加され、データの信頼性、パフォーマンス、およびセキュリティの向上を目的としたさまざまなテクノロジーを使用できるようになります。それらについては後で見ていきます。

NVMeコントローラーパラメーター

すべてのデータ操作は、特別なNVMeコントローラーによって処理されます。さらに、メモリには、シリアル番号、モデル、すべての種類のディスク設定、割り当てられたスペース、データ形式などの情報の内部構造に関するメタデータが格納されます。

顕微鏡で調べることを提案します。これを行うために、特別なコマンドをコントローラーに送信し、それに応答してメタデータを返しました。これを行う方法については後で説明しますが、とりあえず見てみましょう。データがたくさんあるので、完全には挿入しませんでしたが、後で説明するパラメーターが実際に存在することを知っておく必要があります。

{
  "vid" : 5197,
  "ssvid" : 5197,
  "sn" : "00000000000000",
  "mn" : "00000000000000000000000000",
  "fr" : "7L1QFXV7",
  "rab" : 2,
  "ieee" : 9528,
  "cmic" : 0,
  "mdts" : 9,
  "cntlid" : 5,
  "ver" : 66304,
  "rtd3r" : 100000,
  "rtd3e" : 8000000,
  "oaes" : 512,
  "ctratt" : 0,
  "rrls" : 0,
  "crdt1" : 0,
  "crdt2" : 0,
  "crdt3" : 0,
  "oacs" : 23,
  "tnvmcap" : 256060514304,
  "unvmcap" : 0,
  ...
}

メタデータは、上位から下位の順にバイトのシーケンスとしてコントローラーに格納されるため、さらに次の記録形式に従います：

[バイト間隔（ビッグエンディアン形式）] /パラメーター名/復号化。

理解を深めるための例。次のレコードは、71〜64バイトのfrパラメータの値が格納されていることを意味します。これは、ファームウェアリビジョンを表します：

[71:64] / fr /ファームウェアリビジョン。

[23：4] / sn /シリアル番号。コントローラのシリアル番号が含まれています。

[63:24] / mn /モデル番号。モデル番号または部品番号が含まれます。

[71:64] / fr /ファームウェアリビジョン。コントローラファームウェアのリビジョン番号が含まれています。

[257：256] / oacs /オプションのadminコマンドのサポート。追加のコマンドとコントローラー機能の存在を示します。これは16ビットで構成され、各ビットが特定のコマンドを担当します。ビットが1の場合、コントローラーは次のことを可能にします。

[15:10]-予約済み。
[9] -LBAステータスを取得します。
[8]- 「ドアベルバッファ構成」へのアクセスを取得します;
[7]-仮想化を管理する（「仮想化管理」） ;
[6] -NVMe-MiRecieveおよびNVMe-MiSendコマンド（「NVMe管理インターフェイス」）を使用します。
[5]-ディレクティブ（ "ディレクティブ"）を使用します;
[4] — («Self-Test Commands»);
[3] — («Namespace Management»);
[2] — ( «Firmware Commit» «Firmware Download»);
[1] — («NVM Format»);
[0] — («Security Send», «Security Receive»).

この記事では、名前空間に関連する関数、つまり「名前空間管理」と 「NVM形式」についてのみ触れます。他の機能の詳細に興味がある場合は、NVMExpressリビジョン1.4の仕様を参照してください。

NVMeスペースパラメータ

次に、NVMeスペースのメタデータを見てみましょう。

{
  "nsze" : 500118192,
  "ncap" : 500118192,
  "nuse" : 233042000,
  "nsfeat" : 0,
  "nlbaf" : 0,
  "flbas" : 0,
  "mc" : 0,
  "dpc" : 0,
  "dps" : 0,
  "nmic" : 0,
  "rescap" : 0,
  ...
  ]
}

[7：0] / nsze /名前空間のサイズ。これは、論理ブロック内のスペースの最大量です。この場合-500118192512バイトのブロック。ちなみに、blockdevの出力に示されています。

root@thinkpad-e14:~$ sudo blockdev --getsz /dev/nvme0n1
500118192

[15：8] / ncap /名前空間容量。これは、現在ストレージスペースに割り当てられている論理ブロックの数です。

[23:17] / nuse /名前空間の使用。これは、現在データによって占有されている論理ブロックの数です。

nszeオプションとncapオプションは同じであることに注意してください。最大ボリュームと現在割り当てられているボリュームを指定するポイントは何ですか？これは、現時点で利用可能な割り当てよりも割り当てが少ない可能性があることを意味しますか？はい！

事実、名前空間はシンプロビジョニングテクノロジーをサポートしています。 ..。これは、指定されたボリュームの一部のみがスペースに割り当てられることを意味します。他の部分は共有プールに残り、オンデマンドでこのスペースまたは他のスペースに割り当てられます。割り当てられたボリュームがいっぱいになったとき、またはクリティカルしきい値に達したときです。一般に、このテクノロジーにより、ストレージリソースをより効率的に使用できます。このテクノロジーの詳細と詳細については、この記事を参照してください。

私たちの状況では、スペースは細かい分布のサポートなしで作成されたため、nszeとncapは等しくなります。ディスク上のこのようなスペースは次のようになります。

ncapと nsizeは、1つの合計スペース量を指します。ディスク上でシンディストリビューションを使用する場合、スペースは次のようになります。

ここで、 nszeは最大ボリューム、nca p-割り当て 済みを示し、 nuseはどちらの場合も占有されているもののみを示します。値とき nuseに達するには、 NCAP、 NCAPの増加を、ではなく、より nsze。

このテクノロジーをサポートするには、名前空間の適切な構成と、コントローラー側からのシンディストリビューションのサポートが必要であることに注意してください。

[24:24] / nsfeat /名前空間機能。このパラメータは特に興味深いものです。スペースの追加機能の存在を示します。これは8ビットで構成され（ビッグエンディアンにもリストされています）、それぞれが特定の機能を担当します。ビット値が1の場合、関数はアクティブであり、0ではありません。

[7：5]-予約済み。
[4：4] -I / Oを最適化するための追加フィールドのサポート。
[3：3] -NGUIDフィールドの再利用を無効にします;
[2：2]-削除されたブロックと書き込まれていないブロックのサポート（「コンテキスト属性」） ;
[1：1]-アトミック記録用の追加フィールドのサポート（「アトミック操作」） ;
[0：0]-シンディストリビューションのサポート。

[26:26] / flbas /フォーマットされたlbaサイズ。このパラメーターは、LBA構造を指します。また、8ビットで構成されています。

[7：5] -予約済み。
[4：4] -1に設定されている場合、メタデータがブロックの最後に保存されることを示します。値が0の場合：メタデータは別のバッファーに転送されます。
[3：0] -16の可能なLBAフォーマットの1つを選択できます。

[29:29] / dps /エンドツーエンドのデータ保護タイプの設定。エンドツーエンドのデータ保護のタイプを示します。8ビットで構成されます：

[7：4 ]-予約済み;
[3：3] -メタデータ転送のタイプを示します;
[2：0] -データ保護の存在とそのタイプを示します。

[30:30] / nmic /名前空間マルチパスおよび名前空間共有機能。このフィールドは、名前空間へのマルチアクセスに関連する機能のサポートを示します。

[7：1] -予約済み。
[0：0] -値1は、このスペースがパブリック（パブリック名前空間）であり、複数のコントローラーと通信できることを示します。値0は、スペースがプライベート（プライベート名前空間）であり、1つのみにバインドされていることを示します。

これで、パラメータの概要は終わりです。それらの数は膨大であるため、さまざまなタスクの名前空間を非常に細かく構成できます。これについては、記事の最後で検討します。各パラメーターの詳細な説明は、NVMExpressリビジョン1.4仕様に記載されています。

パブリックスペースとプライベートスペース

この記事では、パブリックスペースや プライベートスペースなどの用語についてはすでに説明しています。しかし、その意味を明確にしなかったので、少し時間を割く必要があると思います。

スペースを作成する手順の1つは、スペースをNVMeコントローラーに割り当てることです。スペースへのアクセスは、割り当てられているコントローラーを介して実行されます。ただし、スペースは1つのコントローラー（プライベート）だけでなく、複数のコントローラー（パブリック）にも割り当てることができます。

プライベートスペースが普通と呼べるなら、面白いものは何も作れないので、パブリックスペースは名前空間マルチパスのような機会を利用することができます ..。

NVMeとの相互運用性

NVMeデバイスとの対話の問題に取り掛かりましょう：コントローラーにさまざまなコマンドを送信する方法、名前空間を作成する方法、それらをフォーマットする方法など。このために、Linuxの世界にはユーティリティnvme-cliがあります。その助けを借りて、あなたはこれらの操作を実行することができます。

nvmeリスト

NVMeデバイスを一覧表示するために、次の方法でdevfsにアクセスする必要はありません。

root@thinkpad-e14:~$ ls /dev/ | grep "nvme"
nvme0
nvme0n1
nvme0n1p1
nvme0n1p2
nvme0n1p3

または、lspciを使用して、マシンに接続されているものを確認します。

root@thinkpad-e14:~$ lspci | grep -E "NVMe|Non-Volatile"
07:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd Device a809

nvmelistコマンドを使用するだけで十分です。

root@thinkpad-e14:~$ nvme list -o json
{
  "Devices" : [
    {
      "NameSpace" : 1,
      "DevicePath" : "/dev/nvme0n1",
      "Firmware" : "9L1QFXV7",
      "Index" : 0,
      "ModelNumber" : "SAMSUNG MZALQ256HAJD-000L1",
      "ProductName" : "Non-Volatile memory controller: Samsung Electronics Co Ltd Device 0xa809",
      "SerialNumber" : "00000000000000",
      "UsedBytes" : 38470483968,
      "MaximumLBA" : 500118192,
      "PhysicalSize" : 256060514304,
      "SectorSize" : 512
    }
  ]
}

例としてJSON形式で情報を出力しました。ご覧のとおり、ここにはデバイスのリストだけでなく、デバイスに関するさまざまな情報も表示されます。一部の属性（たとえば、DevicePathや ModelNumbe r）はコメントを必要としないと思うので、いくつかの属性にのみ注意を払います。

インデックス-コントローラー番号;
UsedBytes使用されているスペースの量（バイト単位）。
PhysicalSize-バイト単位の最大スペース量。
SectorSize - LBAまたは論理ブロック形式-アドレス可能な最小のデータブロック。
MaximumLBAは、論理ブロックの最大数です。

nvme id-ctrl、nvme id-ns

記事の前半で、デバイスに関するメタデータを取得するために、Identifyコマンドをコントローラーに送信しました。このために、nvmeid-ctrlコマンドを使用してコントローラーを識別しました。

root@thinkpad-e14:~$ nvme id-ctrl /dev/nvme0

そして、スペースを識別するためのnvme id-ns：

root@thinkpad-e14:~$ nvme id-ns /dev/nvme0n1

デバイス（コントローラーまたは名前空間）を指定する必要があることに注意してください。

nvme create-ns、nvme delete-ns

名前空間はいくつかの段階で作成されます。まず、それを形作る必要があります。これを行うには、nvmecreate-nsコマンドを使用します。

root@thinkpad-e14:~$ nvme create-ns /dev/nvme0 --nsze 1875385008 --ncap 1875385008 --flbas 0 --nmic 1 --dps 0
create-ns: Success, created nsid:1

あなたはすでにこのコマンドに与えられた引数に精通しています。「NVMeスペース設定」のセクションでそれらを調べました。

スペースを削除するには、nvmedelete-nsコマンドを使用します。

root@thinkpad-e14:~$ nvme delete-ns /dev/nvme0n1          
delete-ns: Success, deleted nsid:1

nvme attach-ns、nvme detach-ns

NVMeスペースを作成する第2段階は、生成されたスペースをコントローラーにバインドすることです。これを行うには、nvmeattach-nsコマンドを使用します。

root@thinkpad-e14:~$ nvme attach-ns /dev/nvme0 --namespace-id 1 --controllers 1
attach-ns: Success, nsid:1

このコマンドを使用して、識別子1のスペースをコントローラー / dev / nvme0にバインドします。--controllers引数にも注意してください。これは、スペースをマップできるNVMeコントローラーのIDをリストします。この引数はオプションであり、パブリックスペースを作成するときに使用されます。

何らかの理由で、コントローラーの番号付けは1から始まります。つまり、controller / dev / nvme0の識別子は1であり、これは--controllers引数で指定されます。うまくいけば、これにより、次のエラーの調査に時間を浪費することを回避できます。

root@thinkpad-e14:~$ nvme attach-ns /dev/nvme0 --namespace-id 1 --controllers 0                            
NVMe Status:CONTROLLER_LIST_INVALID: The controller list provided is invalid(211c)

スペースを解くには、nvmedetach-nsコマンドを使用します。

root@thinkpad-e14:~$ nvme detach-ns /dev/nvme0n1 --namespace-id 1 --controllers 1
detach-ns: Success, nsid:1

その後、スペースはブロックデバイスリストから消え、使用できなくなります。また、-controllers引数で、スペースを分離するコントローラーのみを指定する必要があります。

nvmeリセット

スペースがコントローラーにバインドされると、通常は作業に使用できます。ただし、コントローラーがスペースを認識できない場合があります。この場合、再起動する必要があります-nvmersetコマンドを使用します。

nvmeフォーマット

スペースのLBA形式を変更する必要がある場合は、nvmeformatコマンドが 役に立ちます。

root@thinkpad-e14:~$ nvme format /dev/nvme0n1 --lbaf 0
Success formatting namespace:1

--lbaf引数は、LBA形式を示します。

ただし、このコマンドを使用して、NVMeドライブ上のデータを安全に消去することもできます。

root@thinkpad-e14:~$ nvme format /dev/nvme0n1 --ses 1 -r
Success formatting namespace:1

--ses引数は、グラウトレベルを示します。

1-すべてのデータを削除します。
2-暗号化されたデータを削除します。

-r引数は、コントローラーが安全なグラウトの後に再起動することを示します。

応用

スペースには多くの用途があります。これらは主にパフォーマンスと冗長性を向上させるために使用され、ストレージシステムで使用されますが、より一般的なユースケースがあります。

スペアエリア

かなり一般的な使用方法から始めましょう。スペアエリア、またはリザーブエリアは、NVMeの前から発明されました。これはSSD上の特別なスペースであり、コントローラー自体が内部操作に使用し、ホストは使用できません。

スペースのサイズを変更することで、フォールバック領域のサイズも変更できます。実際には、ディスクの全体のボリュームは、すべてのスペースのボリュームとスペア領域のボリュームの合計に等しくなります。

したがって、スペースの総量を減らすと、残りの量はスペアエリアに有利になります。

バックアップ領域について詳しく知りたい場合は、この記事を参照してください。

暗号化と分離

NVMeドライブはサポート OPALのSEDを。さらに、名前空間ごとに異なる暗号化キーが使用されます。

コントローラは書き込み保護も提供します。3つのレベルがあります：

次の再起動まで読み取り専用。
書き込み保護機能を無効にした後、次の再起動まで読み取り専用。
作業全体を通して読み取り専用。

これは、固定およびモバイルPCでよく使用されます。たとえば、ブートローダーを読み取り専用スペースに配置して、損傷を防ぐことができます。他の重要なデータも同じ方法で保護できます。

複数使用

前述のように、スペースはコントローラーレベルのパーティションであり、エンドホストからは別のデバイスとして表示されます。大きなNVMeドライブをいくつかのプライベートスペースに分割し、それぞれを異なるホストに割り当てることは可能ですか？できる！また、ネットワークプロトコル NVMe-oF（NVMe Over Fabrics）を使用して、これらのスペースを仮想ホストだけでなく物理ホストにも割り当てることができます。

このドライブの使用により、パーティションスキームは次のようになります。

NVMeコントローラーは、スペースが互いに分離されていることを確認します。データはドライブの別々の領域に保存され、各ホストには独自のI / Oキューがあります。ただし、 スペアエリアまたは スペアエリアは引き続き共有されます。

名前空間マルチパスと名前空間共有

名前空間共有、またはパブリック名前空間は、1つ以上のホストが2つ以上のコントローラーを介してスペースを共有できることを意味します。

それは何のため？この図は、パブリックスペースの使用図を示しています。はい、興味深いです。NVMeコントローラー1とNVMeコントローラー2を介してNS Bスペースにアクセスできます。しかし、図が次のようになるまで、これには何の有用性もありません。

ここでは、コントローラーが完全に異なるホスト上にあり、データへのいくつかの独立したパスがあることがわかります。ホストコントローラーホストA（青色のコントローラー）とホストB（紫色のコントローラー）を経由します。これで、冗長性やパフォーマンスの向上に使用できます。青いパスの負荷が高い場合は、紫色のパスを使用します。

このアプローチにより、NVMe-oFを使用して、従来のサーバープラットフォームから高性能で信頼性の高い柔軟なソフトウェアデファインドストレージシステムを編成できます。

結果

NVMe名前空間は、ディスクの論理パーティションだけでなく~~、貴重なメカニズムで~~もあります。これは非常に興味深く重要なテクノロジーであり、データストレージ用の便利なインフラストラクチャソリューションを構築できます。冗長性、暗号化、およびディスクの耐用年数の延長の機会により、高負荷のサービスの安定した動作を維持できます。

この記事では、名前空間を使用する際のすべての側面と微妙な点については説明していません。むしろ、レビューや知人であることが判明しました。ただし、必要に応じて、これがテクノロジーのより深い研究を開始するのに役立つことを願っています。

あとがき

この記事を書いているとき、私は~~popabolyuの~~多くの問題に直面し、仕事を終えることができませんでした。さまざまなNVMe機能をテストするドライブを選択するときは注意してください。問題を解決し、要件を最小限に満たすディスクを見つけたのは初めてではありませんでした。また、ディスクメーカーはそのような情報を共有することに消極的であり、誤解を招くものさえあるため、ランダムに行動する必要がありました。具体的には、次のような問題が発生しました。

2b2qexe7 / 2b2qexm7ファームウェアを搭載したSamsung970 EVO / 970 EVO Plusドライブは、リセットコマンドとフォーマットコマンドを実装していません。
ファームウェア2b2qexe7 / 2b2qexm7を搭載したSamsung970 EVO / 970 EVO Plusドライブは、create-ns、delete-ns、detach-ns、atach-nsコマンドを使用したスペース管理を実装していません。
9L1QFXV7ファームウェアを搭載したSamsungPM991ドライブにはバグがあり、resetコマンドを使用してコントローラーを再起動するとエラーが発生します。
9L1QFXV7ファームウェアを搭載したSamsungPM991ドライブにはバグがあり、formatコマンドを使用してスペースをフォーマットするとエラーが発生します。
ファームウェア9L1QFXV7を搭載したSamsungPM991ドライブは、create-ns、delete-ns、detach-ns、atach-nsコマンドを使用したスペース管理を実装していません。

企業セグメントのディスクにはこれらの問題はないと確信していますが、誰もがそのようなハードウェアを購入できるわけではないので、購入する際にはディスクとそれらのマニュアルを詳しく調べてください。また、購入前にディスクを調べてNVMeコントローラーのパラメーターを確認する機会がある場合は、必ずそれを使用してください。

NVMe名前空間：機会と落とし穴