データモデリングは、レポートプロセス自体と同様に、開発者、アナリスト、マーケター間のやり取りを劇的に簡素化します。そのため、モデリングの価値に関するIBM Cloud Educationの記事を翻訳し、モデリングのためにデータを変換する方法に関する情報を自分で追加しました。
データモデリング
データモデリングがどのように抽象化を使用して、エンタープライズ情報システムのデータの性質を表現し、よりよく理解するかを学びます。
データモデリングとは
データモデリングとは、情報システム全体またはその一部を視覚的に表現することです。目標は、システムで使用および保存されるデータのタイプ、これらのタイプのデータ間の関係、データのグループ化と編成の方法、およびそれらの形式と属性を説明することです。
データモデルは、ビジネスニーズに基づいて構築されています。データモデルのルールと要件は、ビジネスからのフィードバックに基づいて事前に決定されているため、新しいシステムの開発に含めることも、既存のシステムに適合させることもできます。
データは、さまざまな抽象化レベルでモデル化できます。このプロセスは、利害関係者とエンドユーザーからビジネス要件を収集することから始まります。これらのビジネスルールは、データ構造に変換されます。データモデルは、ロードマップ、アーキテクトの青写真、または開発されているもののより深い理解に貢献する任意の正式なスキーマと比較できます。
データモデリングは、標準化されたスキーマと形式手法を使用します。これにより、組織内外のデータを管理するための一貫性のある予測可能な方法が提供されます。
理想的には、データモデルは、ビジネスのニーズに合わせて進化する生きたドキュメントです。これらは、ビジネスプロセスをサポートし、ITアーキテクチャと戦略を計画する上で重要な役割を果たします。データモデルは、サプライヤー、パートナー、同僚と共有できます。
, , - . , :
.
.
.
.
-.
, .
. . , .
. : , - . . , (, ), , , . .
. . . agile DevOps-. , . , .
, , -. , , . :
. , , , . .
. , , . , «» , , , .. «» , , .
. , . « » . «», . (UML).
. , , . () . - , .
. — , () . , , , , . , , .
. — , .
(), .
« » . , . IBM Information Management System (IMS) 1966 , . , , (XML) ().
IBM . . 1970 . , . . , .
(SQL) . . , .
ER- . ER- , . , ER-, «-» (Entity-Relationship diagram). ER- , (, ).
- - 1990- . «» — . . - , . .
. ER- , , . OLAP.
— «» «». «» ( ) ( ), . «» «», , .
CASE- , , . :
erwin Data Modeler — , IDEF1X, , .
Enterprise Architect — , , . - .
ER/Studio — , . , .
, Open ModelSphere.
, , , , Google BigQuery, Scheduled Queries AppScript. , SQL, Scheduled Queries . , - .
SQL-, , dbt Dataform.
dbt（データビルドツール）は、SQLクエリを実行、テスト、および文書化するためのオープンソースフレームワークであり、ソフトウェアエンジニアリングの要素をデータ分析プロセスにもたらします。SQLクエリでの作業を最適化するのに役立ちます。同じコードスニペットを100回繰り返さないように、マクロとJINJAテンプレートを使用します。
専用ツールが解決する主な問題は、サポートと更新に必要な時間を短縮することです。これは、デバッグの容易さを犠牲にして行われます。