InfoWatch TrafficMonitorが機能しない言語分析の3つのクジラ

こんにちは！今日は、言語学がDLPシステムの作業にどのように統合され、悪意のある攻撃から重要なデータを保護するのにどのように役立つかについて説明します。



最近、企業が機密情報の漏洩からデータを保護する必要性が大幅に高まっています。従業員の遠隔作業モードへの移行により、情報セキュリティの分野でサイバー攻撃と犯罪が大幅に増加しました。アナリストの報告によると、2020年の最初の3分の1で、ロシア企業からの機密情報の漏洩数は38％増加し、この傾向は継続しています。



原則として、法的文書、財務書類、従業員やクライアントの個人データなどが攻撃されています。機密データを侵入者から保護するために、企業は情報漏えいを防ぐためにDLP（データ損失防止）システムをインストールします。



コンテンツ分析は違反を検出するためにトラフィックをフィルタリングするための不変の基礎であり、テクノロジーの品質が製品自体の品質を大きく左右するため、言語分析テクノロジーは多くのDLPシステムの作業に深く統合されています。

言語分析：仕組み

言語分析テクノロジーを使用すると、トピックで発生した用語とその組み合わせに基づいて、トピックと分析された情報が機密であるかどうかを自動的に判断できます。



まず、ドキュメントの初期分析を行います。顧客企業が機密で保護する必要のあるドキュメントの量と内容を決定した後（保護された情報のカテゴリごとに少なくとも10のドキュメントのサンプルがあることが望ましい）。顧客が提供しなければならない文書を理解していない場合は、顧客の組織で採用されている制限された情報のリストに焦点を当てることができます）、言語学者は用語を強調します-特定の業界に特徴的で、テキストの詳細を指定する単語またはフレーズ。ここで非常に重要なのは、この用語が1つの業界の文書のテキストに最も頻繁に見られ、別の業界ではめったに見られないことです（たとえば、銀行セクターの場合、一般的な用語は「現金残高」、「決済および現金サービス」または「預金」です）。



-さらに、用語は分類されます。カテゴリの数は決定論的ではありませんが、選択するカテゴリが多いほど、分類は不均一になります。用語を一般的な概念グループに分類して、情報をより明確に整理できるようにします。



用語を分類するとき、言語学者はそれを「特徴的」と定義することがあります。特徴的な用語には、入力されたカテゴリにのみ含まれ、他のどのカテゴリにも含まれない用語が含まれます。傍受されたテキストでそのような用語が1つでも見つかった場合、このテキストは自動的にこの用語が配置されているカテゴリに属します。



一般に、カテゴリの詳細に応じて、カテゴリ内の3つの用語（システムがテキストを機密として検出したときに検出される非特性用語の最小数）から数千までの用語が存在する可能性があります。これが特徴的な用語（たとえば、「ドラッグ」、「テロリズム」など）のみで構成されるカテゴリである場合、カテゴリには数千の用語が含まれる可能性があります。カテゴリが特徴のない用語で構成されている場合（原則として、これらは会社の文書に基づくカテゴリ（人事、会計、法律情報）です）、用語の数を数十（3から50）に制限することをお勧めします。







-次に、言語学者はカテゴリをコンテンツフィルタリングデータベース（BCF）に入力します、これに基づいて言語分析が行われます。コンテンツフィルタリングベースは、カテゴリと用語のリストを含む階層構造の辞書です。



BKFは、分析された情報の主題分布が発生する基準となる分類子として機能します。



特徴的でない用語をBCFに追加する場合、それらには重みが割り当てられます-1から10までの数値（デフォルトでは、カテゴリを作成するときに、重みは5に設定されます）。カテゴリ内の用語の重みの値は、テキスト内の用語の使用頻度の比率に比例する必要があり、用語の相互の使用頻度です-BCFに含まれていないテキスト内の単語に対するそれらの頻度は重要ではありません。たとえば、BCFカテゴリの1つにある場合「glokaya」、「kuzdra」、「shtekto」という用語を導入し、同じ重みを設定します（10または1の重みであるかどうかは関係ありません）。その後、「Glokaya kuzdra shtekoが側面をバンブルし、bokrenkaをカールします」というテキストが関連性1で検出されます。転送されたテキストでは、「glokaya」と「kuzdra」という単語が10回表示され、「shteko」-100回表示されると、すべての用語で同じ重みを持つカテゴリテキストの関連性が低下し、約0.69になります。この場合、「gloka」と「kuzdra」という用語の重みを1に設定し、「shteko」という用語の重みを10に設定するのが妥当です。そうすると、送信されるテキストの関連性は1になります。このような厳密な比率を常に観察できるとは限らないことは明らかですが、努力する必要があります。



特定のカテゴリに対するテキストの関連性を判断するために、従来の検索モデルの1つであるベクトルモデルが使用されます。これは、さまざまな言語オブジェクトを操作するためのかなり一般的な方法です。







主なアイデアは次のように説明できます。さまざまな用語で定義された特定のスペースがあります（この場合、これはテキスト情報を含むシステムによってインターセプトされたドキュメントです）。傍受されたドキュメント用にベクトルが作成されます。ベクトルの各座標の値は、対応する用語がこのドキュメントで使用された回数になります。 BKFカテゴリごとに同様のベクトルが作成されます。ベクトルの次元は、分析されたすべてのテキストで同じであり、BKFの単語数と同じです。



次に、ベクトルの関連性の値は、ドット積とノルムを使用して、ベクトル間の角度のコサインとして計算できます。







インターセプトされたドキュメントとBKFの用語のコサイン類似度は、0から1の範囲で変化します。この値が大きいほど、ドキュメントはカテゴリごとに類似しています。



コンテンツフィルタリングベースに基づく言語分析のテクノロジーには、他のテキスト分類テクノロジー（InfoWatch言語学者がドキュメントを分析するためにも使用しますが、後で詳しく説明します）に比べて多くの利点があります。



BKFの主な特徴は、その「柔軟性」と特定の企業のニーズに合わせてベースをカスタマイズする機能です。言語学者はBKFの内容を手動で補充および調整し、それによって各顧客のテクノロジーを微調整します。



BKFに基づく言語分析のテクノロジーにより、文字変換、タイプミスの存在、形態を考慮して、必要な用語やフレーズを見つけることができます。たとえば、特定の用語「トランスポートリース」では、システムは「トランスポートリース」と「トランスポートリース」の両方に反応します。 e。この用語の屈折とミスプリントのすべての可能な組み合わせに。検索は形態学的辞書に基づいて実行されます（ロシア語の場合はA.A. Zaliznyakの辞書であり、外国語の場合は個別に作成された辞書です）。タイプミス検出器は、形態学的辞書にある用語を修正しません。これは、単語への反応を回避するのに役立ちます。Domerau-Levenshteinの距離（1）は1に等しくなります。



InfoWatchには、業界辞書の大規模なデータベースがあります。スペースからエネルギーまで、さまざまなビジネス分野向けにBKFを開発しました。また、個々の企業の特定の目的のために設計された、プロファイルの狭いベース（たとえば、イスラム教やC ++、Javaなどのソースコードを含む）もあります。ロシア語に加えて、33の外国語で95のBKFがあり、それらの多くの形態のサポートを考慮に入れていることも付け加える価値があります。

Autolinguist：標準ドキュメントの迅速な保護

原則として、個々の企業のワークフローは、大きな変動性に違いはありません。各部門では、主題と語彙の内容が類似している標準のドキュメントが使用されます。



InfoWatchの「武器庫」でそのようなドキュメントを保護および分類するために、テキストデータ分析用の別のツールである「Autolinguist」があります。



名前が示すように、このテクノロジーを使用すると、手動分析に頼ることなく、一般的なドキュメントを事前定義されたカテゴリに自動的に分類できます。



BKFの作成のフレームワーク内でのドキュメントの分析は、通常、長くてエネルギーを消費する作業です（平均して、言語学者が用語を強調表示し、カテゴリを作成し、誤検知と誤検知の応答を排除するためにさらに作業するのに2〜5日かかります）。自動言語学者は、テキストの分類を設定するプロセスを大幅にスピードアップできます。



分類器は、Liblinear機械学習ライブラリ、特にロジスティック回帰アルゴリズム（2）を使用します。これにより、特定のカテゴリに属する​​テキストドキュメントの確率を取得できます。



ユーザーは、「オートリンギスト」の作業を自分でカスタマイズする機会があります。以前にドキュメントのトレーニングコレクションをロードし、分類子をトレーニングした後、ユーザーは新しいカテゴリを追加したり、ドキュメントベースのコンテンツを調整したりできます。

テキストオブジェクト：regexが問題ではなく、解決策である場合

必要な情報を分析および検出するためのもう1つの強力なツールは、テキストオブジェクトです。これは、通常の式（ご存知のとおり、ほとんどすべての検索条件を指定できる非常に柔軟で便利なツール）の使用に基づくテクノロジーであり、固定された外部でデータを保護するために使用されます。たとえば、クレジットカード番号、銀行口座の詳細、電子メールアドレスなどを提示します。







テキストオブジェクトには、通常の表現または文字列（単語またはフレーズ。この場合、スペルや形態の特殊性を考慮せずに、単語と文字列が完全に一致するものを検索します）の1つ以上のパターンを含めることができます。



技術のソースコードを変更せずに、顧客のニーズを考慮して、見つかったテキストまたは番号と設定の組み合わせを検証するために、検証機能はLuaで記述されています。



SWIFTシステムで国際銀行コードを検出するための検証関数の例を示します。







この関数は、「SWIFT」プレフィックスを削除し、区切り文字なしで残りのテキストを検証して返します。



事前にインストールされた一連のテキストオブジェクト（ロシア語、ベラルーシ語、カザフ語、ベトナム語、マレー語、アラビア語、およびほぼすべてのビジネス分野のデータをカバーする多くの国際的なオブジェクト）に加えて、ユーザーは特定のビジネスに固有の独自のテキストオブジェクトを作成する機会があります。たとえば、輸送組織が車両のVIN番号を制御すること、および軍事構造（軍人のIDの番号）が重要になります。







友人の皆さん、この記事から、InfoWatchトラフィックモニターシステム内の言語分析の主な複雑さについて学びました。コンテンツフィルタリングデータベースとその基本-用語とカテゴリ。典型的なテキストと、テンプレートデータの検出に使用されるテキストオブジェクトを個別に分類できる「Autolinguist」テクノロジー。



すでに持っている技術と開発の効率が証明されているにもかかわらず、私たちはセマンティック分析を積極的に開発し続け、既存のBKFとテキストオブジェクトを定期的に補充し、新しいBKFとテキストオブジェクトを作成し、言語技術の範囲を拡大しています。将来的には、すべての革新と興味深い「チップ」について間違いなく書きます。



同僚の言語学者、コメント、難しい質問をしたり、役立つリンクを投げたり、あなたの経験を共有したりしてください！一緒に世界をより良い場所にしましょう！



著者： Volobrinskaya Valeriavaleria_volob

---

1. , , , , .

2. , .