Voynich原稿、ランダムフォレスト分類子の言語を決定する試み

私たちは、Pythonの単純な自然言語処理技術を使用して、神秘的な原稿（Voynich原稿）の言語を特定しようとしています。

1 Voynichの原稿とは何ですか？

Voynichの原稿は、おそらく15世紀から私たちに届いた、240ページに及ぶ不思議な原稿（コーデックス、原稿、または単なる本）です。原稿は、1912年に有名な炭素質作家エセル・ボイニッチ（ウィルフレッド・ボイニッチ）の夫によって古物商から誤って取得され、すぐに一般の人々の所有物になりました。



原稿の言語はまだ決定されていません。原稿の多くの研究者は、原稿のテキストが暗号化されていることを示唆しています。他の人は、原稿が今日私たちに知られているテキストで生き残っていない言語で書かれたと確信しています。さらに他の人は、Voynichの原稿をナンセンスだと考えています（不条理なCodex Seraphinianusの現代の賛美歌を参照してください）。



例として、テキストとニンフを含む主題のスキャンされたフラグメントを示します。

2なぜこの風変わりな原稿はとても面白いのですか？

多分これは遅い偽造ですか？どうやらそうではありません。トリノシュラウドとは異なり、放射性炭素分析も羊皮紙の古さを争う他の試みも、まだ明確な答えを与えていません。しかし、Voynichは、20世紀の初めに同位体分析を予見することはできませんでした...



しかし、原稿が遊び心のある僧侶、意識を変えた貴族のペンからの無意味な文字のセットである場合はどうなりますか？いいえ、絶対にありません。たとえば、無意識のうちにキーを叩くと、「asfds dsf」のように、誰もがよく知っている変調されたQWERTYキーボードのホワイトノイズを描写します。」。グラフによると、作者はよく知られているアルファベットの記号をしっかりと手で書いたことがわかります。さらに、原稿のテキスト内の文字と単語の分布の相関関係は、「生きている」テキストに対応しています。たとえば、条件付きで6つのセクションに分割された原稿には、「固有」という単語があります。これは、セクションの1つによく見られますが、他のセクションにはありません。



しかし、原稿が複雑な暗号であり、それを破ろうとしても理論的に意味がない場合はどうなるでしょうか。私たちがテキストの由緒ある時代を信じるならば、暗号化バージョンは非常にありそうにありません。中世は、エドガー・アラン・ポーがとても簡単かつエレガントに破った代替暗号しか提供できませんでした。繰り返しますが、テキストの文字と単語の相関関係は、大多数の暗号では一般的ではありません。



現代のコンピューティングリソースの使用を含め、古代のスクリプトの翻訳に大きな成功を収めたにもかかわらず、Voynichの原稿は、経験豊富なプロの言語学者や若い野心的なデータ科学者のどちらにも反対しています。

3しかし、原稿の言語が私たちに知られている場合はどうなりますか

...しかし、スペルは異なりますか？たとえば、このテキストでラテン語を認識しているのは誰ですか？







そして、ここに別の例があります-英語のテキストのギリシャ語への翻訳：

in one of the many little suburbs which cling to the outskirts of london
ιν ονε οφ θε μανυ λιττλε συμπυρμπσ whιχ cλιγγ το θε ουτσκιρτσ οφ λονδον

PythonのTransliterateライブラリ。注意：これはもはや置換暗号ではありません-いくつかの複数文字の組み合わせは1文字で送信され、その逆も同様です。



私は、特徴を強調し、それらの上にモデルを訓練、（分類）原稿の言語を識別しようとする、または既知の言語からのそれに比べて最も近いがあります：







最初の段階では-フィーチャー-テキストを特徴ベクトルに変換します。実数の固定サイズの配列で、ベクトルの各次元がソーステキストの独自の特別な特徴（特徴）を担います。たとえば、ベクトルの15次元で、テキストで最も一般的な単語の使用頻度を維持することに同意しましょう。16次元では、2番目に人気のある単語... N次元では、同じ繰り返し単語からのシーケンスの最大長などです。



2番目のステップであるトレーニングでは、各テキストの言語に関する事前の知識に基づいて分類子の係数を選択します。



分類子がトレーニングされると、このモデルを使用して、トレーニングサンプルに含まれていなかったテキストの言語を判別できます。たとえば、Voynich原稿のテキストの場合。

4絵はとてもシンプルです-キャッチは何ですか？

トリッキーな部分は、テキストファイルをベクトルに正確に変換する方法です。小麦をチャフから分離し、言語全体の特徴である特徴のみを残し、それぞれの特定のテキストは残しません。



簡単にするために、ソーステキストをエンコーディング（つまり数値）に変換し、このデータをそのまま多くのニューラルネットワークモデルの1つに「フィード」すると、結果はおそらく私たちを満足させません。ほとんどの場合、そのようなデータでトレーニングされたモデルはアルファベットに関連付けられ、シンボルに基づいて、まず、未知のテキストの言語を決定しようとします。



しかし、原稿のアルファベットには「類似点はありません」。さらに、文字の分布のパターンに完全に依存することはできません。理論的には、ある言語の音声を別の言語のルールで転送することも可能です（言語はエルフであり、ルーンはモルドールです））。



狡猾な筆記者は、私たちが知っているように、句読点や数字を使用しませんでした。すべてのテキストは、段落に分割された単語のストリームと考えることができます。ある文がどこで終わり、別の文がどこから始まるかについてさえ確実ではありません。



これは、私たちが文字に関してより高いレベルに上昇し、言葉に依存することを意味します。原稿のテキストに基づいて辞書を作成し、すでに単語レベルでパターンを追跡します。

5原稿の原文

もちろん、Voynich原稿の複雑な文字をUnicodeの同等の文字にエンコードする必要はなく、その逆も同様です。この作業は、たとえばここですでに行われています。デフォルトのオプションを使用すると、原稿の最初の行に相当する次のものが得られます。

fachys.ykal.ar.ataiin.shol.shory.cth!res.y.kor.sholdy!-

ドットと感嘆符（およびEVAアルファベットの他の多くの記号）は単なる区切り文字であり、私たちの目的ではスペースに置き換えることができます。疑問符とアスタリスクは認識されない単語/文字です。



確認のために、ここのテキストを置き換えて、原稿の断片を取得しましょう。

6プログラム-テキスト分類子（Python）

これは、実際のコードをテストするために必要な最小限のREADMEヒントを含むコードリポジトリへのリンクです。



ラテン語、ロシア語、英語、ポーランド語、ギリシャ語で20以上のテキストを収集し、各テキストの量を±35,000語（Voynich原稿の量）に維持しようとしました。



私はテキストで近い日付を選択しようとしました。たとえば、ロシア語のテキストでは、文字Ѣを避けました。異なるダイアクリティックでギリシャ語の文字を書くことのバリエーションは、共通の分母につながりました。また、テキストから数字やスペシャルを削除しました。文字、余分なスペース、1つのケースに変換された文字。



次のステップは、次のような情報を含む「辞書」を作成することです。

• テキスト（テキスト）内の各単語の使用頻度、
• 単語の「ルート」-つまり、一連の単語の変更不可能な共通部分、
• 一般的な「接頭辞」と「終わり」-というか、実際の言葉を構成する「ルート」と一緒に、言葉の始まりと終わり、
• 2つおよび3つの同一の単語の一般的なシーケンスとそれらの出現頻度。

私は引用符で単語の「ルート」を取りました-単純なアルゴリズム（そして時々私自身）は、例えば、単語サポートのルートは何であるかを決定することができませんか？ことでになってきてKA？料金の下で？



一般的に言えば、この語彙は、特徴ベクトルを構築するための半分準備されたデータです。なぜ私はこの段階を選び出したのですか？個々のテキストと各言語のテキストのセットの辞書をコンパイルしてキャッシュしますか？実際、このような辞書の作成には長い時間がかかり、テキストファイルごとに約30分かかります。そして、私はすでに120以上のテキストファイルを持っています。

7機能化

特徴ベクトルを取得することは、分類器をさらに魔法のようにするための予備段階にすぎません。もちろん、OOPフリークとして、依存関係の反転の原則に違反しないように、アップストリームロジック用の抽象クラスBaseFeaturizerを作成しました。このクラスは、1つまたは複数のテキストファイルを一度に数値ベクトルに変換できるように子孫に遺贈します。 また、継承クラスは、個々のフィーチャ（フィーチャベクトルのi座標）に名前を付ける必要があります。これは、分類のマシンロジックを視覚化する場合に役立ちます。たとえば、ベクトルの0番目の次元はCRw1としてマークされます-隣接する位置のテキストから取得された単語の使用頻度の自動相関（ラグ1）。BaseFeaturizer クラスから、クラスを継承しました







WordMorphFeaturizer。そのロジックは、テキスト全体および12ワードのスライドウィンドウ内でのワードの使用頻度に基づいています。



重要な側面は、テキスト自体に加えて、BaseFeaturizerの特定の継承者のコードにも、モデルのトレーニングとテストの開始時にすでにディスクにキャッシュされている可能性が高い、それらに基づいて準備された辞書（CorpusFeaturesクラス）が必要なことです。

8分類

次の抽象クラスはBaseClassifierです。このオブジェクトはトレーニングしてから、特徴ベクトルによってテキストを分類できます。



実装（RandomForestLangClassifierクラス）では、sklearnライブラリからRandom ForestClassifierアルゴリズムを選択しました。なぜこの特定の分類子？

• Random Forest Classifierは、デフォルトのパラメーターで私に適していました。
• 入力データの正規化は必要ありません。
• 意思決定アルゴリズムのシンプルで直感的な視覚化を提供します。

私の意見では、ランダムフォレスト分類子がそのタスクを処理したので、他の実装を作成していません。

9トレーニングとテスト

ファイルの80％（Byron、Aksakov、Apuleius、Pausanias、およびtxt形式でテキストを見つけることができた他の著者の作品からの大きな断片）は、分類子をトレーニングするためにランダムに選択されました。残りの20％（28ファイル）はサンプル外テスト用です。



約30の英語と20のロシア語のテキストで分類子をテストしましたが、分類子はエラーの大部分を示しました。ほとんどの場合、テキストの言語が正しく決定されていませんでした。しかし、私が5つの言語（ロシア語、英語、ラテン語、旧ギリシャ語、ポーランド語）で約120のテキストファイルを開始したとき、分類子は間違いを犯すことをやめ、28のテストケースから27〜28ファイルの言語を正しく認識し始めました。



次に、問題を少し複雑にしました。19世紀のアイルランドの小説「レイチェル・グレイ」をギリシャ語に書き写し、訓練を受けた分類者に提出しました。文字変換のテキストの言語が再び正しく定義されました。

10分類アルゴリズムは明確です

これは、トレーニングされたランダムフォレスト分類子の100本のツリーの1つがどのように見えるかです（画像を読みやすくするために、右側のサブツリーの3つのノードを切り取りました）：







例としてルートノードを使用して、各署名の意味を説明します。

• DGram3 <= 0.28-分類基準。この場合、DGram3は、WordMorphFeaturizerクラスによって名前が付けられた特徴ベクトルの特定の次元です。つまり、12ワードのスライディングウィンドウで3番目に一般的なワードの頻度です。
• gini = 0.76 — , Gini impurity, , , . , , - . . , gini, , 0 ( ),
• samples = 92 — , ,
• value = [46, 17, 45, 12, 29] — , (46 , 17 , 45 ..),
• class = en ( ) — .

基準（ルートノードのDGram3 <= 0.28）が満たされている場合は、左側のサブツリーに移動します。そうでない場合は、右側に移動します。各シートでは、すべてのテキストを1つのクラス（言語）に割り当て、Giniの不確実性基準≡0にする必要があります。



最終的な決定は、分類子のトレーニング中に作成された100本の同様のツリーのアンサンブルによって行われます。

11そして、プログラムはどのように原稿の言語を定義しましたか？

ラテン語、確率推定0.59。そしてもちろん、これは今世紀の問題の解決策ではありません。



原稿辞書とラテン語の1対1の対応は、不可能ではないにしても、簡単ではありません。たとえば、最も頻繁に使用される10の 単語を







次に







示します。Voynich原稿、ラテン語、古代ギリシャ語、ロシア語：アスタリスクは、ロシア語に相当するものを見つけるのが難しい単語を示します。たとえば、文脈に応じて意味が変わる記事や前置詞などです。



のような明らかな一致







文字を他のよく使う単語に置き換えるための規則の拡張で、私は見つけることができませんでした。仮定を立てることができるのは、たとえば、最も一般的な単語は「and」という結合です。英語を除く他のすべての言語では、「and」という結合が明確な記事「the」によって2位に押し上げられました。

次は何ですか？

まず、可能であれば、言語のサンプルを現代のフランス語、スペイン語、...、中東の言語のテキストで補足することを試みる価値があります-古い英語、フランス語（15世紀以前）など。これらの言語のいずれも原稿の言語ではない場合でも、既知の言語の定義の精度は向上し、おそらく原稿の言語に近いものが選択されます。



より創造的な課題は、各単語のスピーチの一部を定義しようとすることです。多くの言語（もちろん、まず第一に-英語）の場合、ダウンロード可能なパッケージの一部としてのPoS（Part of Speech）トークナイザーは、このタスクをうまく実行します。しかし、未知の言語の単語の役割をどのように決定するのですか？



同様の問題は、ソビエトの言語学者B.V.によって解決されました。 Sukhotin-たとえば、彼はアルゴリズムについて説明しました。

• 未知のアルファベットの文字を母音と子音に分離する-残念ながら、100％信頼できるわけではありません。特に、フランス語などの重要な音声を使用する言語では、
• スペースのないテキスト内のモルフェムの選択。

PoSトークン化の場合、単語の使用頻度、2/3単語の組み合わせでの出現、テキストのセクション全体での単語の分散から始めることができます。ユニオンとパーティクルは、名詞よりも均等に分散する必要があります。

文献

NLPの本やチュートリアルへのリンクはここに残しません-ネット上ではそれで十分です。代わりに、私が子供の頃に素晴らしい発見となった芸術作品をリストアップします。そこでは、ヒーローは暗号化されたテキストを解明するために一生懸命努力しなければなりませんでした。

1. E. A.ポー：ゴールデンビートルは時代を超越したクラシックです
2. V. Babenko：「Meeting」は、80年代後半の有名なねじれた、やや幻想的な探偵物語です。
3. K.桐田：「チェレシュネヴァヤ通りの騎士、または白衣の少女の城」は、読者の年齢を割り引いて書かれた魅力的な10代の小説です。