機械学習用のCPythonライブラリ「VKF」

で著者の以前の記事、ウェブサーバは、格子理論に基づく機械学習のVKF方法を用いた実験を行うために説明しました。この記事では、Webサーバーを使用する代わりに、CPythonライブラリを直接使用するためのパスを指定しようとしています。機械学習アルゴリズムをテストするために、UCIデータリポジトリからキノコとワインの品質配列を使用した実験の作業セッションを再現します。次に、入力データの形式について説明します。

前書き

この記事では、格子理論に基づく機械学習プログラムの新しいバージョンについて説明します。このバージョンの主な利点は、PythonプログラマーがC ++でプログラムされた効率的なアルゴリズムにインターフェースすることです。



今日、機械学習手順（たたみ込みニューラルネットワーク、ランダムフォレスト、サポートベクターマシンなど）は非常に高いレベルに達しており、音声、ビデオ、および画像の認識において人間をしのいでいます。しかし、彼らは結論の正しさを証明するための議論を提供することはできません。



一方、機械学習へのシンボリックなアプローチ（帰納論理プログラミング、整数プログラミングを使用した学習カバレッジ）は、計算が非常に複雑であり、比較的小さなサイズのサンプルにも実際には適用できません。



ここで説明するアプローチは、確率論的アルゴリズムを使用してこれらの問題を回避します。 ICFの機械学習手法では、現代代数格子理論（形式的概念の分析）と確率理論（特にマルコフ連鎖）の手法を使用します。しかし、ICFシステムを使用してプログラムを使用および作成するために、高度な数学の知識は必要ありません。著者は、Pythonプログラマーが理解できるインターフェースを介してプログラムへのアクセスを提供するライブラリー（Windowsではvkf.cp38-win32.pydまたはLinuxではvkf.cpython-38-x86_64-linux-gnu.so）を作成しました。



説明されているアプローチに関連して親のアプローチがあります-20世紀の80年代の初めに発明された技術科学博士。教授。VK。自動仮説生成のためのFinn JSMメソッド。それは、その作成者が言うように、科学研究の自動化されたサポートのための方法へと進化しました。引数のロジックの方法を使用して、トレーニングセットを拡張するときに見つかった仮説の安定性をチェックし、JSM推論のさまざまな戦略を使用して予測の結果を組み合わせることができます。



残念ながら、このノートの著者と彼の同僚は、JSMメソッドのいくつかの理論的な欠点を発見して調査しました。

1. 最悪の場合、生成される類似性の数は、入力データ（トレーニングサンプル）のサイズと比較して指数関数的に大きくなる可能性があります。
2. (NP-).
3. .
4. «» , .
5. .

著者の研究は、彼の論文の第2章にまとめられています。最後の点は著者によって最近発見されましたが、彼の意見では、サンプルアプローチの拡張に終止符を打ちます。



最後に、JSMコミュニティは、そのシステムのソースコードへのアクセスを提供していません。さらに、使用されているプログラミング言語（FortおよびC＃）は、一般の人々による使用を許可しません。著者に知られている唯一の無料のC ++バージョンのJSMソルバー（T.A. Volkova著）ロボフリーク）には、計算の異常終了につながることがある迷惑なエラーが含まれています。



著者は当初、VKF方式システム用に開発されたエンコーダをJSMコミュニティと共有することを計画していました。したがって、JSMシステムとVKFシステムの両方に同時に適用できるすべてのアルゴリズムを別のライブラリ（Windowsではvkfencoder.cp38-win32.pyd、Linuxではvkfencoder.cpython-38-x86_64-linux-gnu.so）に入れました。 ... 残念ながら、これらのアルゴリズムは、JSMコミュニティからは要求されていません。VKFライブラリはこれらのアルゴリズム（たとえば、vkf.FCAクラス）を実装していますが、ファイルからではなく、Webインターフェースを介して直接テーブルに入力することに依存しています。ここでは、vkfencoderライブラリを使用します。

1個別機能のライブラリを使用する手順

読者がMariaDBサーバー+ MariaDBコネクタ/ Cをインストールした方法を知っているとしましょう（デフォルトでは、IPアドレス127.0.0.1:3306とユーザー 'root'、パスワード 'toor'を使用します）。まず、vkfencoderライブラリとvkfライブラリをデモ仮想環境にインストールし、「mushroom」という名前の空のMariaDBデータベースを作成します。

krrguest@amd2700vii:~/src$ python3 -m venv demo 
krrguest@amd2700vii:~/src$ source demo/bin/activate 
(demo) krrguest@amd2700vii:~/src$ cd vkfencoder
(demo) krrguest@amd2700vii:~/src/vkfencoder$ python3 ./setup.py build
(demo) krrguest@amd2700vii:~/src/vkfencoder$ python3 ./setup.py install
(demo) krrguest@amd2700vii:~/src/vkfencoder$ cd ../vkf
(demo) krrguest@amd2700vii:~/src/vkf$ python3 ./setup.py build
(demo) krrguest@amd2700vii:~/src/vkf$ python3 ./setup.py install
(demo) krrguest@amd2700vii:~/src/vkf$ cd ../demo
(demo) krrguest@amd2700vii:~/src/demo$ mysql -u root -p
MariaDB [(none)]> CREATE DATABASE IF NOT EXISTS mushroom;
MariaDB [(none)]> exit;

作業の結果として、データベース「mushroom」

がフォルダー〜/ src / demo / lib / python3.8 / site-packages / vkfencoder-1.0.3-py3.8-linux-x86_64.egg / ファイルvkfencoder.cpython-38に表示されます-x86_64-linux-gnu.so、およびvkf.cpython

ファイルが〜/ src / demo / lib / python3.8 / site-packages / vkf-2.0.1-py3.8-linux-x86_64.egg / フォルダーに表示されます38-x86_64-linux-gnu.so



Python3を起動し、MushroomsアレイでCCF実験を実行します。 〜/ src / demo / files /フォルダ（mushrooms.xml、MUSHROOMS.train、MUSHROOSS.rest）に3つのファイルがあると想定されています。これらのファイルの構造については、次のセクションで説明します。最初のファイル「mushrooms.xml」は、キノコを説明する各属性の値にある下半分の格子の構造を定義しています。 2番目と3番目のファイルは、約半分のファイル「agaricus-lepiota.data」です。これは、1981年にニューヨークで発行されたデジタル化された本「Identifier of North American Mushrooms」です。次の名前は「エンコーダー」、「ラチス」、トレイン」と「テスト」は、それぞれデータベースのキノコのテーブルの名前であり、それぞれ、ビット値の部分文字列による特徴値のエンコーディング、これらの値の半格子図のカバレッジ関係、トレーニングとテストの例。

(demo) krrguest@amd2700vii:~/src/demo$ Python3
>>> import vkfencoder
>>> xml = vkfencoder.XMLImport('./files/mushrooms.xml', 'encoder', 'lattices', 'mushroom', '127.0.0.1', 'root', 'toor')
>>> trn = vkfencoder.DataImport('./files/MUSHROOMS.train', 'e', 'encoder', 'trains', 'mushroom', '127.0.0.1', 'root', 'toor') 
>>> tst = vkfencoder.DataImport('./files/MUSHROOMS.rest', 'e', 'encoder', 'tests', 'mushroom', '127.0.0.1', 'root', 'toor') 

最後の2行の「e」は、キノコの食用に対応しています（これは、ターゲットの特性がこの配列でエンコードされる方法です）。



2つのテーブル「エンコーダー」と「ラチス」からの情報をxmlファイルに保存できるvkfencoder.XMLExportクラスがあり、変更を加えた後、vkfencoder.XMLImportクラスで再度処理できることに注意してください。



次に、実際のVKF実験に移ります。エンコーダーを接続し、以前に計算された仮説（ある場合）を読み込み、追加の数（100）の仮説を指定された数（4）のストリームに計算し、それらを 'vkfhyps'テーブルに保存します。

>>> enc = vkf.Encoder('encoder', 'mushroom', '127.0.0.1', 'root', 'toor')
>>> ind = vkf.Induction()
>>> ind.load_discrete_hypotheses(enc, 'trains', 'vkfhyps', 'mushroom', '127.0.0.1', 'root', 'toor') 
>>> ind.add_hypotheses(100, 4) 
>>> ind.save_discrete_hypotheses(enc, 'vkfhyps', 'mushroom', '127.0.0.1', 'root', 'toor')

ndxで番号付けされたCCF仮説のすべての重要なペア（feature_name、feature_value）のPythonリストを取得できます

>>> ind.show_discrete_hypothesis(enc, ndx)

キノコの食用について決定を下すための仮説の1つは、

[('gill_attachment', 'free'), ('gill_spacing', 'close'), ('gill_size', 'broad'), ('stalk_shape', 'enlarging'), ('stalk_surface_below_ring', 'scaly'), ('veil_type', 'partial'), ('veil_color', 'white'), ('ring_number', 'one'), ('ring_type', 'pendant')]

CCFメソッドのアルゴリズムの確率論的な性質のため、生成されない場合がありますが、著者は、生成されたCCF仮説が十分に多いと、非常によく似た仮説が発生し、重要なテストケースのターゲットプロパティをほぼ予測できることを証明しました。詳細は著者の論文の第4章にあります。



最後に、予測について説明します。生成された仮説の質を評価し、同時にその要素のターゲットプロパティを予測するためのテストサンプルを作成します

>>> tes = vkf.TestSample(enc, ind, 'tests', 'mushroom', '127.0.0.1', 'root', 'toor')
>>> tes.correct_positive_cases()
>>> tes.correct_negative_cases()
>>> exit()

2データ構造の説明

2.1離散フィーチャの格子構造

vkfencoder.XMLImportクラスは、フィーチャ値間の順序を記述したXMLファイルを解析し、2つのテーブル「エンコーダー」（各値をビット文字列に変換）および「ラティス」（1つのフィーチャの値間の関係を格納）を作成してデータを入力します。

入力ファイルの構造は次のようになります

<?xml version="1.0"?>
<document name="mushrooms_db">
  <attribute name="cap_color">
    <vertices>
      <node string="null" char='_'></node>
      <node string="brown" char='n'></node>
      <node string="buff" char='b'></node>
      <node string="cinnamon" char='c'></node>
      <node string="gray" char='g'></node>
      <node string="green" char='r'></node>
      <node string="pink" char='p'></node>
      <node string="purple" char='u'></node>
      <node string="red" char='e'></node>
      <node string="white" char='w'></node>
      <node string="yellow" char='y'></node>
    </vertices>
    <edges>
      <arc source="brown" target="null"></arc>
      <arc source="buff" target="brown"></arc>
      <arc source="buff" target="yellow"></arc>
      <arc source="cinnamon" target="brown"></arc>
      <arc source="cinnamon" target="red"></arc>
      <arc source="gray" target="null"></arc>
      <arc source="green" target="null"></arc>
      <arc source="pink" target="red"></arc>
      <arc source="pink" target="white"></arc>
      <arc source="purple" target="red"></arc>
      <arc source="red" target="null"></arc>
      <arc source="white" target="null"></arc>
      <arc source="yellow" target="null"></arc>
    </edges>
  </attribute>
</document>

上記の例は、機械学習データリポジトリ（カリフォルニア大学アーバイン校）のMushrooms配列の3番目の特性「cap_color」の値間の順序を表しています。各「属性」フィールドは、対応する属性の値の格子構造を表します。この例では、グループは離散属性「cap_color」に対応しています。すべての特性値のリストはサブグループを形成します。些細な（欠けている）類似性を示す値を追加しました。残りの値は、添付ファイル「agaricus-lepiota.names」の説明に対応しています。

それらの間の順序は、サブグループの内容によって表されます。各項目は、特性値のペア間のより具体的/より一般的な関係を示しています。たとえば、はピンクのキノコキャップが赤いキャップよりも具体的であることを意味します。



著者は、vkfencoder.XMLImportクラスのコンストラクターによって生成され、「エンコーダー」テーブルに格納された表現の正確さに関する定理を証明しました。彼のアルゴリズムと正当性の定理の証明では、形式的概念分析として知られる最新の格子理論を使用しています。詳細については、読者は著者の論文（第1章）を再び参照されます。

2.2離散特徴のサンプル構造

まず第一に、読者は自分のトレーニングとテストケースローダーをデータベースに実装するか、ライブラリで利用可能なvkfencoder.DataImportクラスを使用できることに注意してください。 2番目のケースでは、リーダーはターゲットフィーチャーが最初の位置にあり、1文字で構成される必要があることを考慮に入れる必要があります（たとえば、「+」/「-」、「1」/「0」または「e」/「p」）。



トレーニングサンプルは、トレーニングの例とカウンターの例（ターゲットプロパティがない例）を記述したCSVファイル（値はコンマ区切り）である必要があります。



入力ファイルの構造は次のようになります

e,f,f,g,t,n,f,c,b,w,t,b,s,s,p,w,p,w,o,p,k,v,d
p,x,s,p,f,c,f,c,n,u,e,b,s,s,w,w,p,w,o,p,n,s,d
p,f,y,g,f,f,f,c,b,p,e,b,k,k,b,n,p,w,o,l,h,v,g
p,x,y,y,f,f,f,c,b,p,e,b,k,k,n,n,p,w,o,l,h,v,p
e,x,y,b,t,n,f,c,b,e,e,?,s,s,e,w,p,w,t,e,w,c,w
p,f,f,g,f,f,f,c,b,g,e,b,k,k,n,p,p,w,o,l,h,y,g
p,x,f,g,f,f,f,c,b,p,e,b,k,k,p,n,p,w,o,l,h,y,g
p,x,f,y,f,f,f,c,b,h,e,b,k,k,n,b,p,w,o,l,h,y,g
p,f,f,y,f,f,f,c,b,h,e,b,k,k,p,p,p,w,o,l,h,y,g
p,x,y,g,f,f,f,c,b,h,e,b,k,k,p,p,p,w,o,l,h,v,d
p,x,f,g,f,c,f,c,n,u,e,b,s,s,w,w,p,w,o,p,n,v,d
p,x,y,g,f,f,f,c,b,h,e,b,k,k,p,b,p,w,o,l,h,v,g
e,f,y,g,t,n,f,c,b,n,t,b,s,s,p,g,p,w,o,p,k,y,d
e,f,f,e,t,n,f,c,b,p,t,b,s,s,p,p,p,w,o,p,k,v,d
p,f,y,g,f,f,f,c,b,p,e,b,k,k,p,b,p,w,o,l,h,y,p

ここの各行は、1つのトレーニング例を示しています。説明したキノコの食用性/毒性に応じて、最初の位置に「e」または「p」が含まれます。残りの位置（コンマで区切られている）には、文字（短縮名）または文字列（対応する属性の値の完全な名前）が含まれています。たとえば、4番目の位置は属性「cup_color」と一致します。「g」、「p」、「y」、「b」、「e」は「灰色」、「ピンク」、「黄色」、「砂」、「赤」を表します、それぞれ。上記の表の中央にある疑問符は、欠損値を示します。ただし、残りの（非ターゲット）特性の値は文字列にすることができます。データベースに保存すると、名前のスペースが「_」文字に置き換えられることに注意してください。



テストケースを含むファイルは同じように見えますが、システムのみに例の実際の兆候が通知されず、その予測がそれと比較されて、生成された仮説の質とその予測力が計算されます。

2.3連続フィーチャのサンプル構造

この場合も、オプションは可能です。リーダーは、独自のトレーナーとテストケースローダーをデータベースに実装するか、ライブラリで使用可能なvkfencoder.DataLoadクラスを使用できます。 2番目のケースでは、読者はターゲットフィーチャが最初の位置にあり、自然数（たとえば、0、7、15）で構成される必要があることを考慮に入れる必要があります。



トレーニングサンプルは、トレーニングの例とカウンターの例（ターゲットプロパティがない例）を記述したCSVファイル（ある種のセパレーターで値が区切られている）である必要があります。



入力ファイルの構造は次のようになります

"quality";"fixed acidity";"volatile acidity";"citric acid";"residual sugar";"chlorides";"free sulfur dioxide";"total sulfur dioxide";"density";"pH";"sulphates";"alcohol"
5;7.4;0.7;0;1.9;0.076;11;34;0.9978;3.51;0.56;9.4
5;7.8;0.88;0;2.6;0.098;25;67;0.9968;3.2;0.68;9.8
5;7.8;0.76;0.04;2.3;0.092;15;54;0.997;3.26;0.65;9.8
6;11.2;0.28;0.56;1.9;0.075;17;60;0.998;3.16;0.58;9.8
5;7.4;0.7;0;1.9;0.076;11;34;0.9978;3.51;0.56;9.4
5;7.4;0.66;0;1.8;0.075;13;40;0.9978;3.51;0.56;9.4
5;7.9;0.6;0.06;1.6;0.069;15;59;0.9964;3.3;0.46;9.4
7;7.3;0.65;0;1.2;0.065;15;21;0.9946;3.39;0.47;10
7;7.8;0.58;0.02;2;0.073;9;18;0.9968;3.36;0.57;9.5

私たちの場合、これらは最後の列を最初に並べ替えて機械学習手順をテストするために、UCIデータリポジトリのWine Quality配列から赤ポルトガルワインの「winequality-red.csv」ファイルから生成された「vv_red.csv」ファイルの最初の数行です。データベースに保存すると、名前のスペースが「_」文字に置き換えられることに注意することが重要です。

3継続的な機能を持つ例のCCF実験

以前に書いたように、UCIリポジトリからのWine Qualityアレイに関する作業を示します。MariaDBの下に「red_wine」という名前の空のデータベースを作成することから始めましょう。

(demo) krrguest@amd2700vii:~/src/demo$ mysql -u root -p
MariaDB [(none)]> CREATE DATABASE IF NOT EXISTS red_wine;
MariaDB [(none)]> exit;

作業の結果、「red_wine」データベースが表示されます。



Python3を起動し、Wine QualityアレイでVKF実験を行います。 〜/ src / demo / files /フォルダーにvv_red.csvファイルがあると想定されています。これらのファイルの構造は、前の段落で説明されています。次の名前「verges」、「complex」、「trains」、「tests」は、それぞれ「red_wine」データベース内のテーブルの名前であり、しきい値（初期値と回帰によって計算された機能の両方）、重要なロジスティック回帰の係数機能、トレーニング、テストケースのペア。

(demo) krrguest@amd2700vii:~/src/demo$ Python3
>>> import vkfencoder
>>> nam = vkfencoder.DataLoad('./files/vv_red.csv', 7, 'verges', 'trains', 'red_wine', ';', '127.0.0.1', 'root', 'toor')

2番目の引数は、しきい値（この例では7）を設定します。これを超えると、例は正と宣言されます。引数 ';' 区切り文字に一致します（デフォルトは '、'です）。著者による前の注記で



示したように、手順は離散フィーチャーの場合とは異なります。最初に、vkf.Joinクラスを使用してロジスティック回帰を計算します。その係数は「complex」テーブルに格納されます。

>>> join = vkf.Join('trains', 'red_wine', '127.0.0.1', 'root', 'toor')
>>> join.compute_save('complex', 'red_wine', '127.0.0.1', 'root', 'toor') 

ここで、情報理論を使用して、vkf.Generatorクラスを使用してしきい値を計算します。これは、最大値と最小値とともに、「verges」テーブルに格納されます。

>>> gen = vkf.Generator('complex', 'trains', 'verges', 'red_wine', 7, '127.0.0.1', 'root', 'toor')

5番目の引数は、元のフィーチャのしきい値の数を設定します。デフォルト（および値0）では、特徴の数の対数として計算されます。回帰は単一のしきい値を探します。



次に、実際のVKF実験に移ります。エンコーダーを接続し、以前に計算された仮説（ある場合）を読み込み、指定された数（8）のストリームで追加の仮説（300）を計算し、それらを「vkfhyps」テーブルに保存します。

>>> qual = vkf.Qualifier('verges', 'red_wine', '127.0.0.1', 'root', 'toor')
>>> beg = vkf.Beget('complex', 'red_wine', '127.0.0.1', 'root', 'toor')
>>> ind = vkf.Induction()
>>> ind.load_continuous_hypotheses(qual, beg, 'trains', 'vkfhyps', 'red_wine', '127.0.0.1', 'root', 'toor') 
>>> ind.add_hypotheses(300, 8) 
>>> ind.save_continuous_hypotheses(qual, 'vkfhyps', 'red_wine', '127.0.0.1', 'root', 'toor')

ndxと番号が付けられたCCF仮説のトリプル（feature_name、（lower_bound、upper_bound））のPythonリストを取得できます

>>> ind.show_continuous_hypothesis(enc, ndx)

最後に、予測について説明します。生成された仮説の質を評価し、同時にその要素のターゲットプロパティを予測するためのテストサンプルを作成します

>>> tes = vkf.TestSample(qual, ind, beg, 'trains', 'red_wine', '127.0.0.1', 'root', 'toor')
>>> tes.correct_positive_cases()
>>> tes.correct_negative_cases()
>>> exit()

ファイルが1つしかないため、ここではテストセットとしてトレーニングセットを使用しました。

4.ファイルのアップロードに関する注意

aiofilesライブラリを使用して、ファイル（ 'mushrooms.xml'など）をWebサーバーにアップロードしました。ここにあなたが役立つかもしれないコードの一部があります

import aiofiles
import os
import vkfencoder

async def write_file(path, body):
    async with aiofiles.open(path, 'wb') as file_write:
        await file_write.write(body)
    file_write.close()

async def xml_upload(request):
    #determine names of tables
    encoder_table_name = request.form.get('encoder_table_name')
    lattices_table_name = request.form.get('lattices_table_name')
    #Create upload folder if doesn't exist
    if not os.path.exists(Settings.UPLOAD_DIR):
        os.makedirs(Settings.UPLOAD_DIR)
    #Ensure a file was sent
    upload_file = request.files.get('file_name')
    if not upload_file:
        return response.redirect("/?error=no_file")
    #write the file to disk and redirect back to main
    short_name = upload_file.name.split('/')[-1]
    full_path = f"{Settings.UPLOAD_DIR}/{short_name}"
    try:
        await write_file(full_path, upload_file.body)
    except Exception as exc:
        return response.redirect('/?error='+ str(exc))
    return response.redirect('/ask_data')

結論

vkf.cpython-38-x86_64-linux-gnu.soライブラリには、多くの非表示のクラスとアルゴリズムが含まれています。彼らは、クローズドバイ操作、遅延評価、マルコフ連鎖のペア、マルコフ連鎖の過渡状態、総変動のメトリックなどの高度な数学的概念を使用しています。



実際には、機械学習用のデータリポジトリの配列を使った実験（カリフォルニア大学アーバイン校） ）は、C ++ 'VKFメソッド'プログラムが中規模のデータに実際に適用できることを示しています（Adult配列には32560トレーニングと16280テストケースが含まれています）。



'VKFメソッド'システムは、SPECTアレイでCLIP3（整数プログラミングカバレッジラーニングv.3）システムよりも（予測精度の点で）パフォーマンスが優れています。CLIP3は、SPECTアレイの作成者が作成したプログラムです。キノコ配列（トレーニングサンプルとテストサンプルにランダムに分割）では、「VKFメソッド」システムは100％の精度を示しました（キノコの毒性の基準と食用の基準の両方に関して）。このプログラムは、Adultアレイにも適用され、100万を超える仮説（グリッチなし）を生成しました。



vkf CPythonライブラリのソースコードは、savannah.nongnu.orgで事前にモデレートされています。 vkfencoder補助ライブラリのコードは、Bitbucketから入手できます。



著者は、彼の同僚と学生（D. A. Anokhin、E。D. Baranova、I。V. Nikulin、E。Yu。Sidorova、L。A. Yakimova）のサポート、有用な議論、および共同研究に感謝します。ただし、いつものように、作者はすべての既存の欠点に対して単独で責任があります。