夢の会社の構築：データ品質管理

誤った初期データによって引き起こされた歴史上最も費用のかかる間違いは、アリアン5ロケットの墜落であると考えられています。この事件による被害総額は、1996年初頭の価格で5億ドルと推定されています。



もう1つ、おそらく最も興味深いのは、2014年のフランス国鉄SNCFからの2,000本の列車の大量注文の間違いでした。技術要件を形成したチームは、数十のステーションでエプロンの寸法を個人的に測定しました。快適さを増したいので、彼らは構図の幅を背中合わせに最大に設定しました。彼らはパリの近くで測定を行いました-そして多くの駅の地域ではエプロンが線路に近いことを彼らはテスト中にすでに学びました。間違いの代償は、インフラストラクチャ全体を数億ユーロで近代化することです。彼らは駅の特徴を備えたMDMがあるでしょう...







これに続いて、膨大な数の交換および銀行のエラーが発生します。詳細、数、および配置された株式の価値のデータが正しくないと、数十億ドルの損失または破産にさえつながります。



この記事は、「マスターデータと統合」の記事の続きであり、 データの品質管理の問題、主にマスターデータについて詳しく説明しています。この記事は、ITエグゼクティブ、アーキテクト、インテグレーター、およびかなり大規模な企業で働くすべての人にとって特に興味深いものになります。

コンテンツ

1.辞書、ビジネスデータの種類：マスターデータ、規制参照情報、運用データ。

2.間違いとは何かについて簡単に説明します。

3.DQSソリューションのアーキテクチャ。

4.エラーを処理するための技術的および非技術的な方法：

4.1。NSI。

4.2。マスターデータ。

4.3。オペレーティング・システム。

5.上記のいずれも役に立たなかった場合の対処方法-DQSを実装します。

6.そしてどのように責任を分担するのですか？



用語と問題に既に精通している場合は、DQSアーキテクチャのパート3に直接スキップしてください。

1.辞書、ビジネスデータの種類

ここ数十年の間、ITエバンジェリストはデータが新しいオイルであると私たちに確信させてきました。どんなビジネスもそれが所有する情報にますます依存していること。分析部門とデータ部門は、IT企業だけでなく、「図」から可能な限り産業および産業部門にも存在します。



ゼネラルエレクトリックとボーイングが「デジタル」子会社を作成し、航空機、タービン、発電所などの機器の所有者から収集した膨大な量の情報を獲得する方法の例に、すでに多くの人が悩んでいます。これらのデータにより、機器の信頼性を高め、起こりうる障害を予測し、潜在的な損傷を大幅に節約し、最終的には単に人々の命を救うことができます。



データはますます増えており、その蓄積はビジネスの成長に非線形的に依存しており、成長はそれを上回っています。開発の特定の段階（前の記事の規模で約レベル6〜7）にある成長企業は、 誤ったデータの問題に直面しており、これらのエラーのコストが非常に高いことが判明する場合が常にいくつかあります。





データの増加に関する従来の状況は、ほとんどの場合指数関数的です。



ビジネスの過程で、3種類のデータが会社にとって特に重要です。

• - — , , . , ( : , , ), , , ..;
• - () — -, . , : () , , , ;
• 運用（トランザクション）データ（特定のクライアントへの特定の製品の販売の事実、請求書と行為、受講したコース、宅配便の注文、タクシーの乗車）は、会社の業務に応じて異なります。

NSIをサポートする骨格、静脈と動脈のマスターデータと比較できる場合、オペレーティングシステムはこれらの静脈を流れる血液です。



ビジネスデータの種類を区別する必要があるのは、それぞれがエラーに対処するための独自のアプローチを持っているためです。これについては、以下で説明します。

2.間違いとは何かについて簡単に

エラーは避けられず、いつでもどこでも発生し、明らかに、宇宙自体の混沌とし​​た性質を反映しています。あなたはそれらを何か悪いものと見なし、それらのために動揺することができますが、それについて考えてください：間違いは進化の中心です！はい、次の各種は前の種であり、DNAにいくつかのランダムエラーがあります。これらのエラーの結果のみが、特定の条件下で有用であることが判明しました。

ビジネスが苦しむ主なタイプの間違い：

• 人的要因、人間工学。あらゆる種類のタイプミス、混乱したフィールド、誤った情報。入力時にアクションや手順を忘れた、または誤って見逃した（カスタマーカードにも50のフィールドがありますか？）静的に、これは最も可能性の高いタイプのエラーであるため、それらの頻度と影響が最大になる可能性があります。幸いなことに、それらと戦うために最も多くの方法が発明されました。
• . , , . , — , . , , . … , , ? , , , CRM : ! !
• 故意の間違い。従業員は故意に数百万人を自分自身に移しました-そして姿を消しました。もちろん、これは極端な例であり、犯罪ですが、それに至るまでには多くのステップがあります。たとえば、CRMの顧客の1人に不当に高い割引が割り当てられているか、アイテムのコストがコスト価格より低く設定されています。

そして、3番目が情報セキュリティサービスの対象である場合、それは独自の方法を持っています、そして私たちは人的要因と不完全さで実質的に働きます。

3.DQSソリューションのアーキテクチャ

DQM-データ品質管理、データ品質管理。

DQS-データ品質システム、データ品質[管理]システム。

データ品質管理システムについて直接話す前に（DQSは、データを操作するためのアプローチほど特定のソフトウェアではありません）、ITアーキテクチャについて説明します。



通常、データ品質管理の問題が発生するまでに、ITランドスケープは次のようになります。





（前の記事の図）



ここで、MDMはマスターデータと規制を維持するためのシステムであり、ESBは単一のエンタープライズデータバスです。多くの場合、システム間のすべてのデータと情報の流れがまだ共通のループに関与しているわけではなく、一部のシステムは互いに直接通信します。これを解決する必要があります。そうしないと、多くのプロセスが「盲点」になります。 DQSの場合。



従来、マスターデータの品質管理はオペレーティングシステムよりも優先度が高いと考えられているため、最初の段階では、DQSはMDMシステムに接続されます。ただし、将来的には、プロセスのステージの1つとして共通データバスに含まれるか、その「サービス」をAPI形式で提示します。具体的な数値では、第1スキームと第2スキームの間でデータ量に約10倍の違いがあり、前の記事とは1レベルの違いがあります。



4.エラーを処理するための技術的および非技術的な方法。



次の文には、この記事の最も悲しい考えが含まれています。特効薬はありません。あなたが入れたそのようなボタンやシステムはなく、エラーは消えます。一般に、この複雑な問題に対する単純で明確な解決策はありません。あるビューまたはデータセットでうまく機能するものは、別のビューやデータセットでは役に立たなくなります。



ただし、幸いなことに、以下のこの記事で概説する一連の技術的および組織的な方法により、エラーが劇的に減少します。 DQMアプローチを実装している企業は、検出されたエラーの数を50〜500分の1に減らします。具体的な数値は、効果、コスト、および使いやすさの間の合理的なバランスの結果です。



4.1。参考情報。



規範的および参照情報（実際には、状態分類子）の場合、最大限に分類された解決策があり、それは普遍的です。規範的文書を自分で維持する必要はありません！決して、どんな状況でも！



標準は常に外部ソースから厳密にロードする必要があります。主なタスクは、そのようなロードを実装し、障害が発生した場合の運用監視を確立することです。

#1. . : ( ), ( ), ( ).



, , ( - ) . , — ( ).



, : . - , . , . , , … .



( — ), (), (), (), , ( ) — API , .

これらの措置の結果として、たとえば、昨日のドル/ルーブルの為替レートを手動で入力することを社内の誰も考えてはなりません。公式ソースからダウンロードしたガイドからの抜粋のみ。







この点の分類的な性質は、その実装が標準のほとんどすべてのエラーを削除するという事実によるものです。また、マスターデータのエラーを完全に克服できない場合は、NSIを使用すると、エラーの数を1年に1〜2回に減らすことができます。これらは間違いではなく、状態データのエラーになります。

4.2。マスターデータ

マスターデータの主な戦略は逆説的に聞こえるかもしれません：それを規範に変えてください！

#2. — , ( 5-6 — , ).



MDM, : , . — .



, . . . (, , ) — (). — . -, (, -). , , .



, . , .

#3. , . , , . , , .



- . ? — . . : . , .



この話の自然な続きは、電子人事文書フロー（電子ワークブック、電子病欠など）であり、人事担当者の人件費を大幅に節約します。制限では、これにより、1人の人事担当者が200〜300人の従業員ではなく、1000人以上の従業員にサービスを提供できるようになります。



また、すべての従業員は自動的に電子署名キーを受け取り、社内のビジネスプロセスとクライアントとのドキュメント管理の両方で使用できるようになります。



債務、有罪判決などに関する情報。APIaccを介してオープンフォームで利用可能。政府サービス、それらとの統合は非常に簡単であり、あなたの会社が一度に多数のリスクを閉じることを可能にします。

4.3。オペレーティング・システム

ここにはすでに他のアプローチがあります。最初のものは前のものと似ています-外部の情報源を接続するためです。

#4. — , — , — — . - ? .



. . , — , . , , .. .



— -. , . ( , !)



(, ).



, - - ? ( , ) — . , -, , .

#5. : , .



— , , -, ( , ). -, API , . — , . .. , .

はい、すべてのプロセスで必要な情報源をすばやく見つけることができるわけではありません。検索と分析が必要になります。また、ソースが支払われることが判明し、長所と短所が比較検討されますが、アプローチは機能しており、実際に繰り返しテストされています。



情報（データ）は新しい石油であり、すべての州は、彼らが参加するすべてのプロセスについて、ビジネスを含む彼らの主題について可能な限り多くの情報を取得するよう努めています。



州がどのような情報を収集しているかを想像するのはさらに困難です。この記事の執筆時点では、ロシアのオープンデータポータルに約2万のデータセットが表示されているとしか言えません。そして、ロシアはこの道の始まりに過ぎないので、欧州連合の同様のポータルでは、100万セット以上のオープンデータが利用可能です！





www.europeandataportal.eu/en-DQS



はここにあります-注意深い読者が尋ねますか？



そして、彼女についてはまだ何もありませんでした。



実際、上記のすべては、エラーの数を最小限に抑えてビジネスプロセスを整理するための標準的なツールと方法です。

5.上記のいずれも役に立たなかった場合の対処方法-DQSの実装

孫子は、最善の戦いは避けられる戦いであると教えています。

DQSの実装の状況はやや似ています。



あなたの仕事は、マスターデータやオペレーティングシステムでさえも参照データへの変換を最大化することです。一部の業界、特にサービスセクターでは、これはほぼ100％可能です。したがって、とりわけ銀行セクターでは、ビジネスプロセスの自動化の度合いが他の多くのセクターよりもはるかに大きくなっています。



それでも、戦いが避けられない場合は、可能な限り適切に準備する必要があります。



DQSはどのレベルの企業開発に導入する必要がありますか？DQMプロセスとして-4-5（MDMシステムよりも早い！）、組織的に専用の機能として-7-8。

5.1。プロセスとしてのDQM

会社に経理または人事システムがある場合は、何らかの形でDQMプロセスがあります。これらのシステムにはすべて、入力データのルールセットが組み込まれています。たとえば、従業員の生年月日の義務的で厳密な形式、カウンターパーティの義務的な名前。



この段階でのタスクは、DQMプロセスを構築することです。彼は次です：

• ルールを考え出す。
• ルールの適用性と妥当性をテストし、ケースでテストします。
• ルールの適用に関する規制を策定し、ユーザーと連絡を取り、正当化する。
• 本番環境に実装します。
• モニターはルールを回避しようとします。

社内でMDMを実装できた場合、2番目以降のポイントで特別な問題が発生することはありません。これが現在の体系的な作業です。



この場合の最大の困難は、新しいルールを考え出すことで発生します。

5.2。ルール

フルネームなどのエンティティの場合、想像力は必須の名前と名前に限定され、日付については、「100年以内」を確認するために落胆しないでください。



最も想像を絶するデータをテストするための新しいルールを開発するための優れた手法があります。それを習得するために、額が7インチである必要はありません。実際に示されているように、初心者のシステムやビジネスアナリストは、マスターデータを入力するオペレーターでもマスターできます。



実際、これはステップバイステップのスクリプトであり、入力ではデータの定義があり、出力ではすべての場合の一連のルールがあります。ダーティデータの分類法として知られるこの手法は、21世紀初頭にヨーロッパのデータサイエンティストのグループによって開発されました。



アプローチだけでなく、実用的な例の本質は、幸いなことに、すでにHabréにここに翻訳して出版され、そのシステムの記事に記載されている- habr.com/ru/post/548164を



データ品質の問題はあなたのために空のフレーズではない場合、そして記事のそれを注意深く読んだ後、あなたはニルヴァーナを達成するのに近い状態にいることに気付くでしょう:)

例6。強いタイピング。参照でデータ型「date」が使用されている場合、日付の構造は可能な限り明示的にする必要があります。オペレーターのために2秒節約することに決め、「__.__.__」のようなテンプレートを作成し、「日、月、年」というヒントを付けた場合は、最初の日に「18.04.21」、「 21.04.18」および「04.18.21」。

日付を入力する良い方法は、明示的に指定された3つのフィールド（日、月、年）と、各フィールドに2つの数値を入力するときにすばやくジャンプすることです。あなたがインターネット上でカードで何かにお金を払ったことがあるなら、あなたは理解するでしょう。

例7。フィールドの可能な限り広いリストで禁止されている文字、辞書チェック。たとえば、教育（位置）について話していて、専門分野の分類子が役に立たなかった場合、ピリオド、引用符、および独立したダッシュが禁止されている場合でも、ユーザーがテキストフィールドにデータを入力できるようにします（リストは完全ではありません）。質が向上している情報の例：「技術科学博士」、「技術科学博士」、「DTN」、「博士。科学」など。

#8. (NULL) — . , / , / — , . — “ ”.



, , . , “”, “”, “”, “” ( .) , , . (“ ”, “, ”) (“ ”, “-”, “ ”). — . , , “” “” — , — . “”, “”…



, , . , , , .

6. DQS?

管理と責任の問題では、正しい答えはありません。むしろ、すべてが特定のチームと個人に依存します。ロケットエンジニアは主任会計士、芸術家は財務責任者、小学校の教師はセキュリティ責任者かもしれません。



DQMプロセスの責任についての質問は、実際にはさらに一般的 です。会社のデータの品質に責任があるのは誰ですか。従来、ビジネスユーザーとIT部門は、この質問に答える際に敵対者として行動していました。



多くの場合、企業は「流星データシステムにエラーが発生していることに気づきました」というステートメントで対話を開始します。



一方、ITサービスは、そのタスクはシステムの円滑な運用を確保することであり、ビジネスユーザーがシステムに入力する特定のデータはビジネスの責任であると考えています。



動作するDQMプロセスを確立し、DQSを実行することは、両方の当事者を満足させる妥協案です。 ITとアナリストにとっての課題は、エラーのリスクを最小限に抑えるために、データ入力に対して可能な限り多くのルールと制約を作成することです。



「ビジネス」の姿勢は通常、DQMプロセスの透明性の欠如によって引き起こされます。ただし、エラーの明確なデモンストレーションに減らすと、位置が柔らかくなります。そして、一次データを入力した人に結果を示す場合、それは合意に達することができます。



エラーの結果の動機付けと視覚化の両方の驚くべき例は、habr.com / ru / post / 347838の記事に 記載されています。この例では、高度なビジネス分析能力を備えたITサービスがDQMプロセスを担当しています。さらに、DQMコンピテンシー自体は難しくなく、アナリストは2、3か月で開発できます。



DQMプロセスにはビジネスプロセスの品質管理も含まれているため、興味深い別の例がhabr.com/ru/company/otus/blog/526174の記事に 記載されています。

結果

この記事からの一般的な結論は逆説的です。



あなたの会社が「データの品質に責任があるのは誰か」という質問をされた場合、あなたは罠に陥っています。正解はありません、tk。質問自体は間違っています。この道をたどろうとすると、最終的には、この質問に対する唯一の適切な答え（「すべて」）では実際には何も得られないことに気付くでしょう。



正しいアプローチは、質問を2つのブロックに分割することです。



1つ目は、プロセスとしてDQMを構築し、DQSを実装し、ルールを形成することです（アドホックベースではなく、継続的なプロセスとして）。このユニットは、分析機能が強力な場所にあります。通常はITですが、必ずしもそうとは限りません。



2番目のブロック（一次データ自体の入力）は、特定のデータについて決定が行われる場所ですが、ランダムではなく、すべてのルールに基づいています。したがって、DQSの実装は、データ駆動型企業に向けた重要なステップです。



ディスカッションにご招待します！