SONJSONではなくBinary‌ ‌coding‌ ‌

同じデータをはるかに少ない

。ベイトを

なぜ‌私‌ this‌ ‌ ‌心配する必要がある‌

データは、オブジェクト、リスト、配列などのデータ構造の形式でメモリに格納されます。ただし、ネットワークまたはファイルにデータを送信する場合は、それらをbaytovのシーケンスとしてエンコードする必要があります。バイトシーケンスでのメモリ内の表現はエンコーディングと呼ばれ、逆変換-dekodirovaniem。最終的にアプリケーションによって処理された、またはメモリに格納されたデータダイアグラムが進化し、新しいフィールドがstaryeに追加または削除される場合があります。 ‌Used‌ ‌ encoding‌ ‌must‌ ‌have‌ ‌as‌ reverse‌ ‌（new‌ ‌code‌ ‌must‌ ‌be‌ ‌capable‌ read‌ ‌data ‌ write‌ old ‌code）、‌so ‌and‌ ‌direct‌ ‌（古い‌ ‌code‌ ‌must‌ ‌be‌ ‌capable ‌read‌ ‌data ‌‌wrote‌‌new‌‌code）‌ ‌compatibility.‌ ‌

で

、この記事では、我々はバイナリ符号化方法は、スキームが変更サポートとしてコーディングバイナリもより良いJSON、XMLよりも、と理由を見つけるコードする様々なフォーマットについて説明します

dannyhを。

タイプ‌フォーマットコーディング‌

エンコード形式には2つのタイプがあり

• テキスト‌ ‌フォーマット‌
• バイナリ‌ ‌フォーマット‌

‌ ‌

テキスト‌ ‌フォーマット

テキスト

形式はある程度chelovekochitaemy。一般的な形式の例は、JSON、CSV、XMLです。テキスト形式は使いやすく理解しやすいですが、いくつかの問題があります。

• . , XML CSV . JSON , , . . , , 2^53 Twitter, 64- . JSON, API Twitter, ID — JSON- – - , JavaScript- .
• CSV , .
• テキスト形式は、バイナリエンコーディングよりも多くのスペースを使用します。たとえば、理由の1つは、JSONとXMLがスキーマレスであるため、フィールド名を含める必要があることです。

{
    "userName": "Martin",
    "favoriteNumber": 1337,
    "interests": ["daydreaming", "hacking"]
}

この例のJSONエンコーディングは、すべての空白が削除された後、82バイトを使用します。

バイナリエンコーディング

内部でのみ使用されるデータ分析の場合、無駄のない形式または高速な形式を選択できます。JSONはXMLより冗長ではありませんが、バイナリ形式と比較すると、どちらも依然として多くのスペースを使用します。この記事では、3つの異なるバイナリエンコーディング形式について説明します。

1. スリフト
2. プロトコルバッファ
3. アブロ

それらのすべては、スキーマを使用してデータの効率的なシリアル化を提供し、コードを生成するためのツールと、さまざまなプログラミング言語での作業をサポートします。それらはすべてスキーマの進化をサポートし、後方互換性と前方互換性の両方を提供します。

スリフトおよびプロトコルバッファー

ThriftはFacebookによって開発され、Protocol BuffersはGoogleによって開発されました。どちらの場合も、データをエンコードするにはスキーマが必要です。Thriftは独自のインターフェース定義言語（IDL）を使用してスキーマを定義します。

struct Person {
  1: string       userName,
  2: optional i64 favouriteNumber,
  3: list<string> interests
}

プロトコルバッファーの同等のスキーム：

message Person {
    required string user_name        = 1;
    optional int64  favourite_number = 2;
    repeated string interests        = 3;
}

ご覧のとおり、各フィールドにはデータ型とタグ番号（1、2、3）があります。 Thriftには、BinaryProtocolとCompactProtocolの2つの異なるバイナリエンコーディング形式があります。バイナリ形式は以下に示すように単純で、上記のデータをエンコードするために59バイトかかります。







Thriftバイナリプロトコルを使用したエンコード



コンパクトなプロトコルは、意味的にはバイナリと同等ですが、同じ情報を34バイトだけにパックします。節約は、フィールドタイプとタグ番号を1バイトにパックすることで達成されます。







Thrift Compact



Protocol Buffers を使用したエンコードは、ThriftのCompact Protocolと同様にデータをエンコードします。エンコード後、同じデータは33バイトになります。







プロトコルバッファを使用したエンコード



タグ番号は、ThriftおよびProtocol Buffersのスキーマの進化をサポートします。古いコードが新しいスキーマで書き込まれたデータを読み取ろうとした場合、新しいタグ番号のフィールドは無視されます。同様に、新しいコードは、欠落しているタグ番号の値をnullとしてマークすることにより、古いスキームで書き込まれたデータを読み取ることができます。

アブロ

AvroはProtocol BuffersおよびThriftとは異なります。Avroもスキーマを使用してデータを定義します。スキーマは、Avro IDL（人間が読める形式）を使用して定義できます。

record Person {
    string               userName;
    union { null, long } favouriteNumber;
    array<string>        interests;
}

またはJSON（より機械可読な形式）：

"type": "record",
    "name": "Person",
    "fields": [
        {"name": "userName",        "type": "string"},
        {"name": "favouriteNumber", "type": ["null", "long"]},
        {"name": "interests",       "type": {"type": "array",      "items": "string"}}
    ]
}

フィールドにはラベル番号がないことに注意してください。 Avroでエンコードされた同じデータは32バイトしかかかりません。







Avroでのコーディング。



上記のバイトシーケンスからわかるように、フィールドは識別できません（Thriftおよびプロトコルバッファーでは、番号付きのラベルがこれに使用されます）。また、フィールドのデータ型を判別することも不可能です。値は単純にまとめられます。これは、デコード中に回路を変更すると、誤ったデータが生成されることを意味しますか？ Avroの重要なアイデアは、書き込みと読み取りのスキーマは同じである必要はないが、互換性がなければならないということです。データがデコードされると、Avroライブラリは両方の回路を調べ、データをレコーダー回路からリーダー回路に変換することでこの問題を解決します。







リーダー回路とライター回路の違いをなくす



おそらく、リーダーがライター回路についてどのように学ぶかについて考えているでしょう。それはすべて、エンコーディングの使用シナリオに関するものです。

1. 大きなファイルやデータを転送する場合、レコーダーはファイルの最初に回路を1回含めることがあります。
2. 個別のレコードを持つデータベースでは、各行を独自のスキーマで書き込むことができます。最も簡単な解決策は、各エントリの先頭にバージョン番号を含め、スキーマのリストを保持することです。
3. ネットワークを介してレコードを送信するために、リーダーとライターは、接続が確立されたときにスキーマについて合意できます。

Avro形式を使用する主な利点の1つは、動的に生成されるスキーマのサポートです。番号付きタグは生成されないため、バージョン管理システムを使用して、さまざまなスキームでエンコードされたさまざまなエントリを保存できます。

結論

この記事では、テキストとバイナリのエンコード形式を検討し、同じデータがJSONエンコードで82バイト、Thriftとプロトコルバッファーでエンコードされた33バイト、およびAvroエンコードを使用して32バイトのみを占める方法について説明しました。バイナリ形式は、バックエンドサービス間でネットワークを介してデータを転送するときに、JSONに比べていくつかの明確な利点を提供します。

資源

データ集約型アプリケーションのエンコードと設計の詳細については、Martin Kleppman著「データ集約型アプリケーションの設計」を読むことを強くお勧めします。







SkillFactoryの有料オンラインコースを受講して、スキルと給与の注目の職業をゼロから取得する方法の詳細をご覧ください。

• 機械学習コース（12週間）
• データサイエンスの専門職をゼロからトレーニングする（12か月）
• 初心者レベルの分析職（9か月）
• Python for Web Developmentコース（9か月）

続きを読む

• データサイエンス2020の動向
• データサイエンスは死んでいます。長生きするビジネスサイエンス
• 最もクールなデータサイエンティストは統計に時間を無駄にしません
• オンラインコースなしでデータサイエンティストになる方法
• アイビーリーグの450の無料コース
• Data Science : «data»
• Data Sciene : Decision Intelligence