初心者のためのデータサイエンスでのCおよびC ++の使用

C99およびC ++ 11の古典的なデータサイエンスの問題を解決しましょう。



PythonやRなどの言語はデータサイエンスでますます人気が高まっていますが、CおよびC ++はデータサイエンスの問題を効率的に解決するための強力な選択肢になり得ます。この記事では、C99とC ++ 11を使用して、Anscombeカルテットで動作するプログラムを作成します。これについては、次に説明します。



私はPythonとGNU Octaveの記事で常に言語を学ぶ動機について書いたので、読む価値があります。すべてのプログラムはコマンドライン用であり、グラフィカルユーザーインターフェイス（GUI）ではありません。完全な例はpolyglot_fitリポジトリにあります。

プログラミングの課題

このシリーズで作成するプログラム：

• CSVファイルからデータを読み取ります
• 直線でデータを補間します（つまり、f（x）= m⋅x + q）。
• 結果を画像ファイルに書き込みます

これは、多くのデータサイエンティストが直面する共通の課題です。データの例は、次の表に示すAnscombeカルテットの最初のセットです。これは人工的に作成されたデータのセットであり、直線に当てはめると同じ結果になりますが、グラフは大きく異なります。データファイルは、列を区切るためのタブとヘッダーを形成する複数の行を含むテキストファイルです。この問題は、最初のセット（つまり、最初の2列）のみを使用します。



アンスコムカルテット

Cのソリューション

Cは、今日使用されている最も人気のある言語の1つである汎用プログラミング言語です（TIOBEインデックス、RedMonkプログラミング言語ランキング、プログラミング言語人気度インデックス、およびGitHub調査によると）。これは古い言語であり（1973年頃に作成されました）、多くの成功したプログラムがその言語で記述されています（たとえば、LinuxカーネルやGit）。この言語は、直接的なメモリ管理に使用されるため、コンピュータの内部動作にもできる限り近いものです。これはコンパイルされた言語であるため、ソースコードはコンパイラによってマシンコードに変換される必要があります。彼の標準ライブラリはサイズが小さく軽いため、不足している機能を提供するために他のライブラリが開発されています。



これは、主にそのパフォーマンスのために、数値の圧縮に最もよく使用する言語です。多くのボイラープレートコードが必要なため、使用するのは非常に退屈ですが、さまざまな環境で十分にサポートされています。C99標準は、いくつかの気の利いた機能を追加した最近のリビジョンであり、コンパイラーによって十分にサポートされています。



初心者と経験豊富なユーザーの両方がこれらの言語を使用できるように、CおよびC ++でのプログラミングの前提条件について説明します。

取り付け

C99開発にはコンパイラが必要です。私は通常Clangを使用しますが、もう1つの本格的なオープンソースコンパイラであるGCCが使用します。データに合わせるために、GNU科学ライブラリーを使用することにしました。プロットのために、私は妥当なライブラリを見つけることができなかったため、このプログラムは外部プログラムGnuplotに依存しています。この例では、動的データ構造を使用してデータを格納します。これは、Berkeley Software Distribution（BSD）で定義されています。Fedoraへの



インストールは非常に簡単です：

sudo dnf install clang gnuplot gsl gsl-devel

コードコメント

C99では、コメントは行の先頭に//を追加することでフォーマットされ、行の残りの部分はインタープリターによって破棄されます。/ *と* /の間のすべても破棄されます。

//    .
/*     */

必要なライブラリ

ライブラリは2つの部分で構成されています。

• 関数の説明を含むヘッダーファイル
• 関数定義を含むソースファイル

ヘッダーファイルはソースコードに含まれており、ライブラリのソースコードは実行可能ファイルにリンクされています。したがって、この例ではヘッダーファイルが必要です。

//  -
#include <stdio.h>
//  
#include <stdlib.h>
//     
#include <string.h>
//   ""  BSD
#include <sys/queue.h>
//   GSL
#include <gsl/gsl_fit.h>
#include <gsl/gsl_statistics_double.h>

主な機能

Cでは、プログラムはmain（）という特別な関数内になければなりません。

int main(void) {
    ...
}

ここでは、前回のチュートリアルで説明したPythonとの違いに気付くでしょう。Pythonの場合、ソースファイルで見つかったコードはすべて実行されるためです。

変数の定義

Cでは、変数を使用する前に宣言し、型に関連付ける必要があります。変数を使用する場合は常に、変数に格納するデータを決定する必要があります。変数を定数値として使用するかどうかを指定することもできますが、これは必須ではありませんが、コンパイラーはこの情報を利用できます。リポジトリーの継ぎ手_C99.cプログラムの例：

const char *input_file_name = "anscombe.csv";
const char *delimiter = "\t";
const unsigned int skip_header = 3;
const unsigned int column_x = 0;
const unsigned int column_y = 1;
const char *output_file_name = "fit_C99.csv";
const unsigned int N = 100;

Cの配列は、長さを事前に（つまり、コンパイル前に）決定する必要があるという意味で動的ではありません。

int data_array[1024];

通常、ファイル内のデータポイントの数がわからないため、単一リンクリストを使用します。これは、無期限に拡張できる動的なデータ構造です。幸い、BSD は単一にリンクされたリストを提供します。定義例は次のとおりです。

struct data_point {
    double x;
    double y;

    SLIST_ENTRY(data_point) entries;
};

SLIST_HEAD(data_list, data_point) head = SLIST_HEAD_INITIALIZER(head);
SLIST_INIT(&head);

この例では、x値とy値の両方を含む構造化された値で構成されるリストdata_pointを定義しています。構文はかなり複雑ですが、直感的であり、詳細な説明は冗長すぎます。

プリントアウト

端末に出力するには、Octaveのprintf（）関数（最初の記事で説明）のように機能するprintf（）関数を使用できます。

printf("####      C99 ####\n");

printf（）関数は、印刷された行の終わりに自動的に改行を追加しないため、自分で追加する必要があります。最初の引数は文字列で、関数に渡すことができる他の引数の形式に関する情報を含めることができます。次に例を示します。

printf("Slope: %f\n", slope);

データの読み取り

ここで注意が必要な部分があります... CにはCSVファイルを解析するためのライブラリがいくつかありますが、Fedoraパッケージリポジトリにあるほど十分に安定しているか人気のあるものはありません。このチュートリアルに依存関係を追加する代わりに、この部分を自分で作成することにしました。繰り返しになりますが、詳細に説明するのは冗長すぎます。そのため、一般的なアイデアについてのみ説明します。ソースコードのいくつかの行は簡潔にするために無視されますが、完全な例はリポジトリで見つけることができます。



最初に入力ファイルを開きます。

FILE* input_file = fopen(input_file_name, "r");

次に、エラーが発生するまで、またはファイルが終了するまで、ファイルを1行ずつ読み取ります。

while (!ferror(input_file) && !feof(input_file)) {
    size_t buffer_size = 0;
    char *buffer = NULL;
    
    getline(&buffer, &buffer_size, input_file);

    ...
}

getline（） 関数は、POSIX.1-2008標準に最近追加された素晴らしい機能です。ファイルの行全体を読み取り、必要なメモリを割り当てることができます。次に、各行はstrtok（）関数を使用してトークンに分割されます。トークンを見て、必要な列を選択します。

char *token = strtok(buffer, delimiter);

while (token != NULL)
{
    double value;
    sscanf(token, "%lf", &value);

    if (column == column_x) {
        x = value;
    } else if (column == column_y) {
        y = value;
    }

    column += 1;
    token = strtok(NULL, delimiter);
}

最後に、x値とy値を選択して、新しいポイントをリストに追加します。

struct data_point *datum = malloc(sizeof(struct data_point));
datum->x = x;
datum->y = y;

SLIST_INSERT_HEAD(&head, datum, entries);

malloc（） 関数は、新しいポイントに一定量の永続メモリを動的に割り当て（予約）します。

フィッティングデータ

GSLの 線形補間関数gsl_fit_linear（）は、入力として通常の配列を受け入れます。したがって、作成された配列のサイズを事前に知ることができないため、手動で配列にメモリを割り当てる必要があります。

const size_t entries_number = row - skip_header - 1;

double *x = malloc(sizeof(double) * entries_number);
double *y = malloc(sizeof(double) * entries_number);

次に、リストを調べて、関連するデータを配列に格納します。

SLIST_FOREACH(datum, &head, entries) {
    const double current_x = datum->x;
    const double current_y = datum->y;

    x[i] = current_x;
    y[i] = current_y;

    i += 1;
}

リストが完成したので、注文を整理します。メモリリークを防ぐために、手動で割り当てたメモリは常に解放してください。メモリリークは、ひどい、ひどい、またひどいものです。記憶が解放されないたびに、庭のノームは頭を失います。

while (!SLIST_EMPTY(&head)) {
    struct data_point *datum = SLIST_FIRST(&head);

    SLIST_REMOVE_HEAD(&head, entries);

    free(datum);
}

最後に、最後に（！）、データを適合させることができます。

gsl_fit_linear(x, 1, y, 1, entries_number,
               &intercept, &slope,
               &cov00, &cov01, &cov11, &chi_squared);
const double r_value = gsl_stats_correlation(x, 1, y, 1, entries_number);

printf("Slope: %f\n", slope);
printf("Intercept: %f\n", intercept);
printf("Correlation coefficient: %f\n", r_value);

グラフをプロットする

グラフをプロットするには、外部プログラムを使用する必要があります。したがって、フィッティング関数を外部ファイルに保存します。

const double step_x = ((max_x + 1) - (min_x - 1)) / N;

for (unsigned int i = 0; i < N; i += 1) {
    const double current_x = (min_x - 1) + step_x * i;
    const double current_y = intercept + slope * current_x;

    fprintf(output_file, "%f\t%f\n", current_x, current_y);
}

Gnuplotプロットコマンドは次のようになります。

plot 'fit_C99.csv' using 1:2 with lines title 'Fit', 'anscombe.csv' using 1:2 with points pointtype 7 title 'Data'

結果

プログラムを実行する前に、プログラムをコンパイルする必要があります。

clang -std=c99 -I/usr/include/ fitting_C99.c -L/usr/lib/ -L/usr/lib64/ -lgsl -lgslcblas -o fitting_C99

このコマンドは、コンパイラーにC99標準を使用し、fitting_C99.cファイルを読み取り、gslおよびgslcblasライブラリーをロードして、結果をFitting_C99に保存するように指示します。コマンドラインの結果の出力：

####      C99 ####
 : 0.500091
: 3.000091
 : 0.816421

以下は、Gnuplotを使用して生成された結果の画像です。

C ++ 11ソリューション

C ++は、今日使用されている最も人気のある言語の1つでもある汎用プログラミング言語です。オブジェクト指向プログラミング（OOP）に重点を置いて、C言語（1983年）の後継として作成されました。 C ++は一般にCのスーパーセットと見なされるため、CプログラムはC ++コンパイラでコンパイルする必要があります。動作が異なるいくつかのエッジケースがあるため、これは常に当てはまるわけではありません。私の経験では、C ++はCよりボイラープレートコードを必要としませんが、オブジェクトを設計する場合、その構文はより複雑です。 C ++ 11標準は最近のリビジョンであり、コンパイラーによってサポートされる多かれ少なかれいくつかの気の利いた機能を追加しています。



C ++はCとほぼ互換性があるため、この2つの違いにのみ焦点を当てます。この部分でセクションを説明しない場合、それはCと同じであることを意味します。

取り付け

C ++の依存関係は、例Cと同じです。Fedoraでは、次のコマンドを実行します。

sudo dnf install clang gnuplot gsl gsl-devel

必要なライブラリ

ライブラリはCと同じように機能しますが、includeディレクティブは少し異なります。

#include <cstdlib>
#include <cstring>
#include <iostream>
#include <fstream>
#include <string>
#include <vector>
#include <algorithm>

extern "C" {
#include <gsl/gsl_fit.h>
#include <gsl/gsl_statistics_double.h>
}

GSLライブラリはCで記述されているため、この機能についてコンパイラに通知する必要があります。

変数の定義

C ++は、Cよりも多くのデータ型（クラス）をサポートします。たとえば、文字列型は、対応するCよりも多くの機能を備えています。それに応じて変数定義を更新します。

const std::string input_file_name("anscombe.csv");

文字列などの構造化オブジェクトの場合、=記号を使用せずに変数を定義できます。

プリントアウト

printf（） 関数を使用できますが、coutを使用する方が一般的です。<<演算子を使用して、coutで印刷する文字列（またはオブジェクト）を指定します。

std::cout << "####      C++11 ####" << std::endl;
...
std::cout << " : " << slope << std::endl;
std::cout << ": " << intercept << std::endl;
std::cout << " : " << r_value << std::endl;

データの読み取り

回路は以前と同じです。ファイルが開かれ、1行ずつ読み込まれますが、構文は異なります。

std::ifstream input_file(input_file_name);

while (input_file.good()) {
    std::string line;

    getline(input_file, line);

    ...
}

文字列トークンは、C99の例と同じ関数によって取得されます。標準のC配列の代わりに2つのベクトルを使用します。ベクトルは、C ++ 標準ライブラリのC配列の拡張で、malloc（）を呼び出さずにメモリを動的に管理します。

std::vector<double> x;
std::vector<double> y;

//    x  y
x.emplace_back(value);
y.emplace_back(value);

フィッティングデータ

ベクトルはシーケンシャルメモリを持っていることが保証されているので、C ++でデータを収めるために、リストについて心配する必要はありません。ベクトルバッファーへのポインターをフィッティング関数に直接渡すことができます。

gsl_fit_linear(x.data(), 1, y.data(), 1, entries_number,
               &intercept, &slope,
               &cov00, &cov01, &cov11, &chi_squared);
const double r_value = gsl_stats_correlation(x.data(), 1, y.data(), 1, entries_number);

std::cout << " : " << slope << std::endl;
std::cout << ": " << intercept << std::endl;
std::cout << " : " << r_value << std::endl;

グラフをプロットする

プロットは以前と同じ方法で行われます。ファイルに書き込む：

const double step_x = ((max_x + 1) - (min_x - 1)) / N;

for (unsigned int i = 0; i < N; i += 1) {
    const double current_x = (min_x - 1) + step_x * i;
    const double current_y = intercept + slope * current_x;

    output_file << current_x << "\t" << current_y << std::endl;
}

output_file.close();

次に、Gnuplotを使用してグラフをプロットします。

結果

プログラムを実行する前に、同様のコマンドでコンパイルする必要があります。

clang++ -std=c++11 -I/usr/include/ fitting_Cpp11.cpp -L/usr/lib/ -L/usr/lib64/ -lgsl -lgslcblas -o fitting_Cpp11

コマンドラインでの結果の出力：

####      C++11 ####
 : 0.500091
: 3.00009
 : 0.816421

そして、これがGnuplotで生成された結果の画像です。

結論

この記事では、C99およびC ++ 11でのデータのフィッティングとプロットの例を示します。 C ++はCとほぼ互換性があるため、この記事では類似点を使用して2番目の例を記述します。一部の側面では、C ++は明示的なメモリ管理の負担を部分的に軽減するため、使いやすくなっていますが、OOPのクラスを作成する機能を導入しているため、構文はより複雑です。ただし、OOPはプログラミングスタイルであるため、OOPテクニックを使用してCで記述することもできます。これは、どの言語でも使用できます。GObjectやJanssonライブラリなど、CでのOOPの優れた例がいくつかあります。



数値の処理には、構文が単純でサポート範囲が広いため、C99を使用することを好みます。最近まで、C ++ 11は広くサポートされていなかったため、以前のバージョンでは荒削りな部分を避けようとしました。より複雑なソフトウェアの場合は、C ++を選択することをお勧めします。



データサイエンスにCまたはC ++を使用していますか？コメントであなたの経験を共有してください。







SkillFactoryの有料オンラインコースを受講して、スキルと給与の注目の職業をゼロから取得する方法の詳細をご覧ください。

• 機械学習コース（12週間）
• データサイエンスの専門職をゼロからトレーニングする（12か月）
• 初心者レベルの分析職（9か月）
• Python for Web Developmentコース（9か月）

続きを読む

• Data Sciene 2020
• Data Science . Business Science
• Data Scientist
• Data Scientist -
• 450
• Data Science : «data»
• Data Sciene : Decision Intelligence