大野！私のデータサイエンスは錆びています

こんにちは、ハブル！



Crowdstrike社からの興味深い研究の翻訳をあなたの注意にもたらします。この資料は、（マルウェア分析に関連して）データサイエンスの分野でのRust言語の使用に特化しており、純粋なPythonは言うまでもなく、NumPyやSciPyでもRustがそのような分野でどのように競争できるかを示しています。





読書を楽しむ！



Pythonは最も人気のあるデータサイエンスプログラミング言語の1つであり、それには十分な理由があります。Python Package Index（PyPI）には、NumPy、SciPy、Natural Language Toolkit、Pandas、およびMatplotlibなどの膨大なデータサイエンスライブラリがあります。高品質の分析ライブラリが豊富にあり、広範な開発者コミュニティが存在するPythonは、多くのデータサイエンティストにとって明らかな選択肢です。



これらのライブラリの多くはパフォーマンス上の理由からCおよびC ++で実装されていますが、関数をPythonから呼び出せるように外部関数インターフェイス（FFI）またはPythonバインディングを提供しています。これらの低レベル言語の実装は、特に実行時間とメモリ消費の点で、Pythonの最も目に見える欠点のいくつかを軽減することを目的としています。実行時間とメモリ消費を制限できる場合、スケーラビリティは大幅に簡素化されます。これは、コストを削減するために重要です。データサイエンスの問題を解決する高性能のコードを記述できれば、そのようなコードをPythonと統合することは大きな利点になります。データサイエンスとマルウェア分析の



交差点で作業する場合 高速な実行だけでなく、スケーリングのための共有リソースの効率的な使用も必要です。スケーリングは、複数のプラットフォームにわたる数百万の実行可能ファイルを効率的に処理するなど、ビッグデータの重要な問題の1つです。最新のプロセッサで良好なパフォーマンスを実現するには、並列処理が必要です。通常、マルチスレッドを使用して実装されます。しかし、コード実行とメモリ消費の効率を改善することも必要です。このような問題を解決する場合、ローカルシステムのリソースのバランスをとることは難しく、マルチスレッドシステムを正しく実装することはさらに困難です。 CおよびC ++の本質は、スレッドセーフが提供されないことです。はい、プラットフォーム固有の外部ライブラリがありますが、スレッドの安全性を保証することは明らかに開発者の義務です。



マルウェアの 解析は本質的に危険です。悪意のあるソフトウェアは、多くの場合、意図しない方法でファイル形式のデータ構造を操作するため、分析ユーティリティが機能しなくなります。 Pythonで私たちを待っている比較的一般的な落とし穴は、優れた型安全性の欠如です。Noneその場所bytearrayで期待されるときに寛大に値を受け入れるPythonは、完全な混乱に陥ることができます。これは、コードにのチェックを詰め込むことによってのみ回避できますNone。このような「ダックタイピング」の仮定は、しばしばクラッシュを引き起こします。



しかし、錆があります。Rustは、上で概説したすべての潜在的な問題に対する理想的なソリューションとして、さまざまな方法で位置付けられています。ランタイムとメモリの消費はCおよびC ++に匹敵し、広範な型安全性が提供されます。Rustは、メモリの安全性を強力に保証し、実行時のオーバーヘッドがないなどの追加のアメニティも提供します。そのようなオーバーヘッドがないため、Rustコードを他の言語、特にPythonのコードと統合するのが簡単になります。この記事では、Rustについて簡単に説明し、それに関連する誇大宣伝に値するかどうかを確認します。

データサイエンスのサンプルアプリケーション

データサイエンスは、多くの応用側面を持つ非常に広い主題領域であり、それらすべてを1つの記事で説明することは不可能です。データサイエンスの簡単なタスクは、バイトシーケンスの情報エントロピーを計算することです。ビットでエントロピーを計算するための一般式はで与えられる。ウィキペディア：







ランダム変数のエントロピーを計算するためにX、まず各可能なバイト値が発生する回数をカウントし、次いで特定の値に遭遇する確率を計算するために遭遇した要素の総数によってその数を分割、それぞれ。次に、特定の値xiが発生する確率の加重和からの負の値と、いわゆる独自の情報をカウントします... ここではビット単位でエントロピーを計算しているため、ここで使用しています（ビットの場合は基数2に注意）。



Rustを試して、Rustがエントロピー計算と純粋なPythonをどのように処理するか、および上記の一般的なPythonライブラリのいくつかを見てみましょう。これは、Rustの潜在的なデータサイエンスパフォーマンスの簡略化された見積もりです。この実験は、PythonやPythonに含まれている優れたライブラリに対する批判ではありません。これらの例では、PythonからインポートできるRustコードから独自のCライブラリを生成します。すべてのテストはUbuntu 18.04で実行されました。

ピュアパイソン

標準ライブラリの数学モジュールのみを使用して、entropy.pyエントロピーを計算するための 単純な純粋なPython関数（c ）から始めましょうbytearray。この関数は最適化されていないため、変更とパフォーマンス測定の開始点として使用します。

import math
def compute_entropy_pure_python(data):
    """Compute entropy on bytearray `data`."""
    counts = [0] * 256
    entropy = 0.0
    length = len(data)
    for byte in data:
        counts[byte] += 1
    for count in counts:
        if count != 0:
            probability = float(count) / length
            entropy -= probability * math.log(probability, 2)
    return entropy

NumPyおよびSciPyを使用したPython

当然のことながら、SciPyはエントロピーを計算する機能を提供します。ただし、最初に、unique()NumPyの関数を使用してバイト頻度を計算します。SciPy実装には相対エントロピー（カルバックライブラー距離）を計算するための追加機能があるため、SciPyエントロピー関数のパフォーマンスを他の実装と比較することは少し不公平です。繰り返しになりますが、Pythonからインポートされたコンパイル済みのRustライブラリのパフォーマンスを確認するために、（あまり遅くないことを願って）テストドライブを行います。スクリプトに含まれているSciPy実装を使用しますentropy.py。

import numpy as np
from scipy.stats import entropy as scipy_entropy
def compute_entropy_scipy_numpy(data):
    """  bytearray `data`  SciPy  NumPy."""
    counts = np.bincount(bytearray(data), minlength=256)
    return scipy_entropy(counts, base=2)

Rustを使用したPython

次に、堅牢であるために、以前の実装と比較して、Rust実装をもう少し詳しく見ていきます。Cargoで生成されたデフォルトのライブラリパッケージから始めましょう。次のセクションでは、Rustパッケージをどのように変更したかを示します。

cargo new --lib rust_entropy
Cargo.toml

Cargo.tomlCargoパッケージを定義し、ライブラリ名を指定する 必須のマニフェストファイルから始めます rust_entropy_lib。Rust Package Registryのcrates.ioから入手できるパブリックcpythonコンテナー（v0.4.1）を使用します。この記事では、執筆時点で入手可能な最新の安定版リリースであるRust v1.42.0を使用しています。

[package] name = "rust-entropy"
version = "0.1.0"
authors = ["Nobody <nobody@nowhere.com>"] edition = "2018"
[lib] name = "rust_entropy_lib"
crate-type = ["dylib"]
[dependencies.cpython] version = "0.4.1"
features = ["extension-module"]

lib.rs

Rustライブラリの実装は非常に簡単です。純粋なPythonの実装と同様に、可能なバイト値ごとにcounts配列を初期化し、データを反復処理してカウントを設定します。操作を完了するには、確率を掛けた確率の負の合計を計算して返します。

use cpython::{py_fn, py_module_initializer, PyResult, Python};
///    
fn compute_entropy_pure_rust(data: &[u8]) -> f64 {
    let mut counts = [0; 256];
    let mut entropy = 0_f64;
    let length = data.len() as f64;
    // collect byte counts
    for &byte in data.iter() {
        counts[usize::from(byte)] += 1;
    }
    //  
    for &count in counts.iter() {
        if count != 0 {
            let probability = f64::from(count) / length;
            entropy -= probability * probability.log2();
        }
    }
    entropy
}

あとlib.rsは、Pythonから純粋なRust関数を呼び出すメカニズムだけです。「純粋な」Rust関数を呼び出すlib.rsためのCPython調整(compute_entropy_cpython())関数を含めます(compute_entropy_pure_rust())。そうすることで、単一の純粋なRust実装を維持し、CPythonに適したラッパーを提供することからのみ利益が得られます。

///  Rust    CPython 
fn compute_entropy_cpython(_: Python, data: &[u8]) -> PyResult<f64> {
    let _gil = Python::acquire_gil();
    let entropy = compute_entropy_pure_rust(data);
    Ok(entropy)
}
//   Python    Rust    CPython 
py_module_initializer!(
    librust_entropy_lib,
    initlibrust_entropy_lib,
    PyInit_rust_entropy_lib,
    |py, m | {
        m.add(py, "__doc__", "Entropy module implemented in Rust")?;
        m.add(
            py,
            "compute_entropy_cpython",
            py_fn!(py, compute_entropy_cpython(data: &[u8])
            )
        )?;
        Ok(())
    }
);

PythonからRustコードを呼び出す

最後に、Pythonから（再び、からentropy.py）Rust実装を呼び出します。これを行うには、まずRustからコンパイルされた独自の動的システムライブラリをインポートします。次に、py_module_initializer!Rustコードのマクロを使用してPythonモジュールを初期化するときに指定した、提供されているライブラリ関数を呼び出すだけです。この段階ではentropy.py、エントロピー計算のすべての実装を呼び出す関数を含むPython（）モジュールが1つだけあります。

import rust_entropy_lib
def compute_entropy_rust_from_python(data):
    ""  bytearray `data`   Rust."""
    return rust_entropy_lib.compute_entropy_cpython(data)

Cargoを使用して、Ubuntu 18.04で上記のRustライブラリパッケージをビルドしています。（このリンクは、OS Xユーザーに役立つ場合があります）。

cargo build --release

アセンブリが終了したら、結果のライブラリの名前を変更し、Pythonモジュールが配置されているディレクトリにコピーして、スクリプトからインポートできるようにします。Cargoで作成したライブラリの名前librust_entropy_lib.soはですがrust_entropy_lib.so、これらのテストの一部として正常にインポートできるようにするには、ライブラリの名前をに変更する必要があります。

パフォーマンスチェック：結果

100万を超えるランダムバイトのエントロピーを計算するpytestブレークポイントを使用して、各関数実装のパフォーマンスを測定しました。すべての実装は同じデータで示されています。ベンチマーク（entropy.pyにも含まれています）を以下に示します。

# ###   ###
#      w/ NumPy
NUM = 1000000
VAL = np.random.randint(0, 256, size=(NUM, ), dtype=np.uint8)
def test_pure_python(benchmark):
    """  Python."""
    benchmark(compute_entropy_pure_python, VAL)
def test_python_scipy_numpy(benchmark):
    """  Python  SciPy."""
    benchmark(compute_entropy_scipy_numpy, VAL)
def test_rust(benchmark):
    """  Rust,   Python."""
    benchmark(compute_entropy_rust_from_python, VAL)

最後に、エントロピーの計算に必要なメソッドごとに、個別の単純なドライバースクリプトを作成します。次は、純粋なPython実装をテストするための代表的なドライバースクリプトです。ファイルには、testdata.binすべてのメソッドをテストするために使用される1,000,000のランダムバイトが含まれています。それぞれの方法は、計算を100回繰り返し、メモリ使用量データの取得を容易にします。

import entropy
with open('testdata.bin', 'rb') as f:
    DATA = f.read()
for _ in range(100):
    entropy.compute_entropy_pure_python(DATA)

SciPy / NumPyとRustの両方の実装は優れたパフォーマンスを示し、最適化されていない純粋なPython実装を100倍以上簡単に破っています。 RustバージョンはSciPy / NumPyバージョンよりもわずかに優れた性能しか発揮しませんでしたが、結果は私たちの期待を裏付けました。純粋なPythonはコンパイル済み言語よりもはるかに遅く、Rustで記述された拡張機能はC言語の対応物と非常にうまく競合できます（そのような場合でもそれらを打ち負かします）マイクロテスト）。



生産性を向上させる方法は他にもあります。モジュールctypesまたはを使用できますcffi。タイプヒントを追加し、Cythonを使用して、Pythonからインポートできるライブラリを生成できます。これらのオプションはすべて、ソリューション固有のトレードオフを検討する必要があります。







また、GNUアプリケーションを使用して、各機能実装のメモリ使用量を測定しましたtime（組み込みのシェルコマンドと混同しないでくださいtime）。特に、常駐セットの最大サイズを測定しました。



純粋なPythonとRustの実装では、この部分の最大サイズは非常に似ていますが、SciPy / NumPyの実装では、このベンチマークのメモリが大幅に消費されます。これはおそらく、インポート中にメモリに読み込まれる追加機能が原因です。ともかく、PythonからRustコードを呼び出しても、メモリオーバーヘッドが大幅に増加することはないようです。

概要

PythonからRustを呼び出すときに得られるパフォーマンスに非常に感銘を受けました。私たちの率直な簡単な評価では、Rustの実装は、SciPyおよびNumPyパッケージのベースCの実装とパフォーマンスを競うことができました。錆は効率的な大規模処理に最適のようです。



Rustは優れた実行時間を示しただけではありません。これらのテストのメモリオーバーヘッドも最小限であることに注意してください。これらの実行時およびメモリ使用の特性は、スケーラビリティの目的に理想的であると思われます。 SciPyとNumPyのC FFI実装のパフォーマンスは確かに同等ですが、Rustを使用すると、CとC ++では得られない追加の利点が得られます。メモリの安全性とスレッドの安全性の保証は非常に魅力的な利点です。



CはRustに相当するランタイムを提供しますが、C自体はスレッドセーフを提供しません。 Cにこの機能を提供する外部ライブラリがありますが、それらが正しく使用されていることを確認するのは開発者の責任です。 Rustは、所有権モデルのおかげで、コンパイル時にレースなどのスレッドセーフティの問題を監視し、標準ライブラリは、パイプ、ロック、参照カウントされたスマートポインタなどの同時実行メカニズムのスイートを提供します。



SciPyやNumPyをRustに移植することは推奨していません。これらのPythonライブラリはすでに最適化されており、クールな開発者コミュニティによってサポートされています。一方、高性能ライブラリで提供されていないコードを純粋なPythonからRustに移植することを強くお勧めします。セキュリティ分析に使用されるデータサイエンスアプリケーションのコンテキストでは、Rustは、その速度とセキュリティが保証されているため、Pythonの競争力のある代替手段のようです。