Sberbankスケールがある場合。HiveおよびGreenPlumでのAb Initioの使用

しばらく前に、BigDataを操作するためのETLツールを選択するという問題に直面しました。以前に使用されていたInformatica BDMソリューションは、機能が制限されていたため、適切ではありませんでした。その使用は、spark-submitコマンドを実行するためのフレームワークに限定されています。市場には、原則として、毎日扱う大量のデータを処理できるアナログはそれほど多くありませんでした。最終的に、Ab Initioを選択しました。パイロットデモンストレーション中、製品は非常に高い処理速度を示しました。ロシア語のAb Initioに関する情報はほとんどないため、ハブレでの経験について話すことにしました。



Ab Initioには、独自のPDLで拡張できる多くの古典的で珍しい変換があります。中小企業の場合、このような強力なツールは冗長である可能性が高く、その機能のほとんどは高価で不要な場合があります。しかし、規模がSberbankの規模に近い場合、Ab Initioは興味深いかもしれません。



これは、ビジネスがグローバルに知識を蓄積し、エコシステムを開発するのに役立ち、開発者-ETLでスキルを引き出し、知識をシェルに引き上げ、PDL言語を習得する機会を提供し、ロードプロセスの視覚的な図を提供し、豊富な機能コンポーネントにより開発を簡素化します。



この投稿では、Ab Initioの機能について説明し、HiveやGreenPlumとの比較について説明します。

• MDW GreenPlum
• Ab Initio Hive GreenPlum
• Ab Initio GreenPlum Near Real Time

この製品の機能は非常に幅広く、習得には多くの時間がかかります。ただし、適切な作業スキルと適切なパフォーマンス設定があれば、データ処理結果は非常に印象的です。開発者にAb Initioを使用すると、彼に興味深い体験を与えることができます。これはETL開発の新しい見方であり、ビジュアル環境とスクリプトのような言語でのダウンロード開発のハイブリッドです。



ビジネスはそのエコシステムを開発し、このツールはこれまで以上に重宝しています。Ab Initioの助けを借りて、現在のビジネスに関する知識を蓄積し、この知識を使用して、古いビジネスや新しいビジネスを拡大することができます。Ab Initioの代替は、ビジュアル開発環境Informatica BDMおよび非ビジュアル環境-Apache Sparkから呼び出すことができます。

Ab Initioの説明

Ab Initioは、他のETLツールと同様に、製品のスイートです。







Ab Initio GDE（グラフィカル開発環境）は、データ変換を設定し、それらを矢印の形でデータストリームに接続する開発者向けの環境です。この場合、そのような一連の変換はグラフと呼ばれます。







機能コンポーネントの入力および出力接続はポートであり、変換内で計算されたフィールドを含みます。実行順に矢印の形でストリームによって接続されたいくつかのグラフは、プランと呼ばれます。



数百の機能コンポーネントがあり、それはたくさんあります。それらの多くは高度に専門化されています。 Ab Initioには、他のETLツールよりも幅広い従来の変換があります。たとえば、結合には複数の出力があります。データセットを接続した結果に加えて、キーを接続できなかった入力データセットのレコードの出力を取得できます。拒否、エラー、および変換操作のログを取得することもできます。これらは、テキストファイルと同じ列で読み取り、他の変換で処理







できます。たとえば、データレシーバーをテーブルの形式で具体化し、そこから同じ列でデータを読み取ることができます。



オリジナルの変容があります。たとえば、スキャン変換には、分析関数と同じ機能があります。データの作成、Excelの読み取り、正規化、グループ内での並べ替え、プログラムの実行、SQLの実行、DBとの結合など、わかりやすい名前の変換があります。グラフは、オペレーティングシステムまたはオペレーティングシステムへのパラメーターの転送を含むランタイムパラメーターを使用できます。 ...グラフに渡される既製のパラメーターセットを含むファイルは、パラメーターセット（psets）と呼ばれます。



予想通り、Ab Initio GDEにはEME（Enterprise Meta Environment）と呼ばれる独自のリポジトリがあります。開発者は、ローカルバージョンのコードを使用して、開発内容を中央リポジトリにチェックインすることができます。



実行中またはグラフの実行後に、変換を接続するストリームをクリックして、これらの変換間で渡されたデータを確認する







ことができます。ストリームをクリックして、追跡の詳細を確認することもできます。パラレルがロードされます：







グラフの実行をフェーズに分割し、最初に（フェーズ0で）最初のフェーズに続いて、2番目のフェーズに続いて、いくつかの変換を実行する必要があることをマークすることができます。



変換ごとに、いわゆるレイアウト（それが実行される場所）を選択できます。パラレルなしまたはパラレルスレッド内で、その数を設定できます。同時に、変換作業中にAb Initioによって作成された一時ファイルは、サーバーファイルシステムとHDFSの両方に配置できます。



各変換では、デフォルトのテンプレートに基づいて、シェルのようなPDL言語で独自のスクリプトを作成できます。



PDL言語を使用すると、変換の機能を拡張でき、特に、ランタイムパラメータに応じて動的に（実行時に）任意のコードフラグメントを生成できます。



また、Ab Initioは、シェルを介してOSと十分に統合されています。具体的には、Sberbankはlinux kshを使用します。変数をシェルと交換して、グラフパラメーターとして使用できます。シェルからAb Initioグラフの実行を呼び出して、Ab Initioを管理できます。



Ab Initio GDEに加えて、配信には他の多くの製品が含まれています。オペレーティングシステムと呼ばれているCo>操作システムがあります。コントロール>センターがあり、ダウンロードストリームをスケジュールおよび監視できます。Ab Initio GDEが許可するよりもプリミティブレベルで開発を行うための製品があります。

MDWフレームワークの説明とGreenPlumのカスタマイズに関する作業

ベンダーは、製品と一緒に、製品MDW（メタデータドリブンウェアハウス）を提供します。MDWは、データウェアハウスまたはデータコンテナーにデータを入力する一般的なタスクを支援するために設計されたグラフコンフィギュレーターです。



カスタム（プロジェクト固有の）メタデータパーサーとすぐに使用できるコードジェネレーターが含まれています。





入り口で、MDWはデータモデル、データベース接続をセットアップするための構成ファイル（Oracle、Teradata、またはHive）とその他の設定を受け取ります。たとえば、プロジェクト固有の部分はモデルをデータベースにデプロイします。製品のボックスで囲まれた部分は、モデルテーブルにデータをロードすると、グラフと構成ファイルを生成します。これにより、エンティティの更新に関する初期化および増分作業のいくつかのモードのグラフ（およびpset）が作成されます。



HiveおよびRDBMSの場合、異なる初期化および増分データ更新グラフが生成されます。



Hiveの場合、着信デルタデータは、更新前にテーブル内にあったデータにAb Initio Joinによって結合されます。 MDWのデータローダー（HiveとRDBMSの両方）は、デルタから新しいデータを挿入するだけでなく、主キーがデルタを受け取ったデータの有効期間を閉じます。さらに、データの変更されていない部分を書き換える必要があります。ただし、Hiveには削除または更新操作がないため、これを行う必要があります。







RDBMSには実際の更新機能があるため、RDBMSの場合、増分データ更新グラフはより最適に見えます。







受信したデルタは、データベースのステージングテーブルにロードされます。その後、デルタは更新前のテーブルにあったデータに接続されます。そして、これは、生成されたSQLクエリを通じてSQLによって行われます。次に、delete + insert SQLコマンドを使用して、デルタからの新しいデータがターゲットテーブルに挿入され、データの関連性の期間が、デルタが受信された主キーに従って閉じられます。

変更されていないデータを書き換える必要はありません。



したがって、Hiveには更新機能がないため、Hiveの場合、MDWはテーブル全体を書き換える必要があるという結論に達しました。そして、更新が発明されていないときのデータの完全な書き換えに勝るものはありません。逆に、RDBMSの場合、製品の作成者はSQLを使用したテーブルの接続と更新を委託する必要があると考えました。



Sberbankのプロジェクトでは、GreenPlumデータベースローダーの再利用可能な新しい実装を作成しました。これは、MDWがTeradata用に生成するバージョンに基づいて行われました。これに最もよく近づいたのはOracleではなくTeradataでした。MPPシステムでもあります。TeradataとGreenPlumの構文だけでなく、作業方法も同様であることが判明しました。



異なるRDBMS間のMDWの重要な違いの例は次のとおりです。GreenPlumでは、Teradataとは異なり、テーブルを作成するときに句を記述する必要があります

distributed by

Teradata書き込み

delete <table> all

、そしてGreenePlumで彼らは書きます

delete from <table>

Oracleは最適化のために書き込みます

delete from t where rowid in (< t  >)

、TeradataとGreenPlumは

delete from t where exists (select * from delta where delta.pk=t.pk)

また、Ab InitioをGreenPlumと連携させるには、Ab InitioクラスターのすべてのノードにGreenPlumクライアントをインストールする必要があったことにも注意してください。これは、クラスター内のすべてのノードから同時にGreenPlumに接続したためです。また、GreenPlumからの読み取りを並列にし、各並列Ab InitioスレッドがGreenPlumからデータの独自の部分を読み取るためには、Ab Initioが理解する構文をSQLクエリの「where」セクションに配置する必要がありました。

where ABLOCAL()

変換データベースから読み取るパラメーターを指定して、この構造の値を決定します

ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))»

これは次のようにコンパイルされます

mod(sk,10)=3

、つまり GreenPlumに各パーティションの明示的なフィルターを伝える必要があります。他のデータベース（Teradata、Oracle）の場合、Ab Initioはこの並列化を自動的に実行できます。

HiveとGreenPlumを使用する場合のAb Initioのパフォーマンス特性の比較

Sberbankで実験が行われ、HiveとGreenPlumとの関係でMDWによって生成されたグラフのパフォーマンスを比較しました。実験の一部として、Hiveの場合、Ab Initioと同じクラスターに5つのノードがあり、GreenPlumの場合、別のクラスターに4つのノードがありました。それら。Hiveには、GreenPlumよりもハードウェアの点で優れている点がいくつかあります。



HiveとGreenPlumでデータを更新する同じタスクを実行する2組のグラフを見ました。MDWコンフィギュレーターによって生成されたグラフが起動されました。

• 初期化ロード+ランダムに生成されたデータのHiveテーブルへの増分ロード
• ロードの初期化+ランダムに生成されたデータの同じGreenPlumテーブルへの増分ロード

どちらの場合（HiveとGreenPlum）は、同じAb Initioクラスター上で10の並列スレッドでダウンロードを開始しました。Ab Initioは、計算用の中間データをHDFSで保存しました（Ab Initioに関しては、HDFSを使用したMFSレイアウトが使用されました）。ランダムに生成されたデータの1行は、どちらの場合も200バイトを占めていました。



結果は次のようになります：



Hive：



GreenPlum:



HiveとGreenPlumの両方でロードの初期化の速度はデータ量に直線的に依存し、ハードウェアが優れているため、GreenPlumよりもHiveの方がいくらか高速です。



Hiveの増分読み込みも、ターゲットテーブルに以前に読み込まれたデータの量に直線的に依存し、その量が増えるにつれて遅くなります。これは、ターゲットテーブルを完全に上書きする必要があるためです。これは、大きなテーブルに小さな変更を適用することは、Hiveの良いユースケースではないことを意味します。



GreenPlumでの増分読み込みは、ターゲットテーブルで利用可能な以前に読み込まれたデータの量に弱く依存し、非常に高速です。これは、SQL結合と、削除操作を可能にするGreenPlumアーキテクチャのおかげで発生しました。



したがって、GreenPlumは削除+挿入メソッドを使用してデルタを注入しますが、Hiveには削除または更新操作がないため、増分更新中にデータ配列全体を完全に書き換える必要がありました。最も目立つのは、太字で強調表示されているセルの比較です。これは、リソースを大量に消費するダウンロードの操作で最も頻繁に発生するバリエーションに対応しているためです。このテストでは、GreenPlumがHiveに8回勝ったことがわかります。

ほぼリアルタイムでのGreenPlumによるAb Initio

この実験では、ランダムに生成されたデータのチャンクでGreenPlumテーブルをほぼリアルタイムで更新するAb Initioの機能をテストします。作業するテーブルGreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finvalについて考えます。



3つのAb Initioグラフを使用して作業します



。1）Create_test_data.mpグラフ-HDFSのデータを使用して、10の並列ストリームで6,000,000行のファイルを作成します。データはランダムで、その構造はテーブルに挿入するために編成されています











2）グラフmdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset-10の並列スレッドでテーブルへのデータ挿入を初期化するために生成されたMDWグラフ（グラフ（1）によって生成されたテストデータが使用されます）







3）グラフmdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset-グラフによって生成された新しい着信データ（デルタ）の一部を使用して、10の並列スレッドでテーブルを増分更新するために生成されたMDWグラフ（1）







NRTモードで次のスクリプトを実行します。

• 6,000,000のテストラインを生成する
• ロードを初期化して、6,000,000テスト行を空のテーブルに挿入します。
• 増分ダウンロードを5回繰り返します
  
  
  
  
  • 6,000,000のテストラインを生成する
  • テーブルに6,000,000テスト行の増分挿入を作成します（この場合、古いデータには有効期限valid_to_tsがスタンプされ、同じ主キーを持つより新しいデータが挿入されます）。

このようなシナリオは、特定のビジネスシステムの実際の運用モードをエミュレートします。新しいデータのかなりの部分がリアルタイムで表示され、すぐにGreenPlumに流れ込みます。



スクリプトのログを見てみましょう：2020-06-04 11:49:11にCreate_test_data.input.psetを開始します。2020-06-0411 : 49 :



37にCreate_test_data.input.psetを

終了し

ます。 2020年6月4日11時49分三十七秒で

2020年6月4日11時50分42秒でフィニッシュmdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset

2020年6月4日11時50分42秒でスタートCreate_test_data.input.pset

フィニッシュCreate_test_data.input.pset at 2020-06-04 11:51:06

Start mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset at 2020-06-04 11:51:06

Finish mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset at 2020-06-04 11:53:41

Start Create_test_data.input.pset at 2020-06-04 11:53:41

Finish Create_test_data.input.pset at 2020-06-04 11:54:04

Start mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset at 2020-06-04 11:54:04

Finish mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset at 2020-06-04 11:56:51

Start Create_test_data.input.pset at 2020-06-04 11:56:51

Finish Create_test_data.input.pset at 2020-06-04 11:57:14

Start mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset at 2020-06-04 11:57:14

Finish mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset at 2020-06-04 11:59:55

Create_test_data.input.psetを2020-06-04に開始11:59:55 Create_test_data.input.psetを2020-06-04に

終了12:00:23 mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.psetを2020-06-04に

開始12:00:23

終了mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset at 2020-06-04 12:03:23

Start_test_data.input.pset at 2020-06-04 12:03:23

Finish Create_test_data.input.pset at 2020-06-04 12:03:49 2020-06-04 12:03:49にmdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.psetを

開始する2020-06-04 12:03:49にmdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.psetを

終了する：46



画像は次のようになります。



6,000,000の増分ラインが3分で処理されることがわかります。これは非常に高速です。

ターゲットテーブルのデータは、次のように分散されることがわかりました。

select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;

挿入されたデータとグラフ起動の瞬間との対応を確認できます。

これは、非常に高い頻度でAb InitioのGreenPlumへのデータの増分読み込みを開始し、このデータをGreenPlumに挿入する高速を観察できることを意味します。もちろん、Ab Initioは、他のETLツールと同様に、起動時に「スイング」するのに時間がかかるため、1秒に1回は起動できません。

結論

現在、Ab InitioはSberbankで統合セマンティックデータレイヤー（ESS）を構築するために使用されています。このプロジェクトには、さまざまな銀行業務エンティティの状態の単一バージョンの構築が含まれます。情報はさまざまなソースから取得され、そのレプリカはHadoopで作成されます。ビジネスのニーズに基づいて、データモデルが作成され、データ変換が記述されます。 Ab InitioはECCに情報をアップロードします。読み込まれたデータはビジネス自体に関心があるだけでなく、データマートを構築するためのソースとしても機能します。同時に、この製品の機能により、さまざまなシステム（Hive、Greenplum、Teradata、Oracle）をレシーバーとして使用できるため、ビジネスに必要なさまざまな形式のデータを簡単に準備できます。



Ab Initioの機能は幅広く、たとえば、含まれているMDWフレームワークにより、技術的およびビジネスの履歴データをすぐに構築できます。開発者にとって、Ab Initioは「車輪を再発明しない」機会を提供しますが、実際にはデータを操作するときに必要なライブラリーである、利用可能な機能コンポーネントの多くを使用します。

著者は、SberbankプロフェッショナルコミュニティSberProfi DWH / BigDataのエキスパートです。プロフェッショナルコミュニティSberProfi DWH / BigDataは、Hadoopエコシステム、Teradata、Oracle DB、GreenPlum、BIツールQlik、SAP BO、Tableauなどの分野での能力開発を担当しています。