データウェアハウス管理のQAがどのように進化したか。パート2

前回の記事では、リポジトリでのQAプロセスの形成の最初に発生した問題と、それらを修正するための最初の手順について説明しました。この記事では、残りの問題にどのように対処したか、どのツールを使用したか、そしてどのような計画を立てているかを説明します。





じゃ、行こう!





, :





  • .





  • .





  • .





  • .





  • .





, , flow.





(vial, live test)

vial live — ETL-. , test- , vial. , vial , - test.





: .





: , .





回路間のテストステージの分散

:





  • ;





  • test - .





test?

-, test . , . , , , - , , ETL- . .





-, vial . , ( ) vial prod. test.





, test’ .





test flow ?





, :





  • ;





  • ;





  • .





, .





QA- / - . ( ).





, - - . test- , . .





, .





現在

, . . .





自動化のコンポーネント

, .





, , , , .





— -, , QA-, , , .





オートメーションポータルでのパッケージの表示

?





  • .





  • .





  • .





  • .





  • .





  • .





. , , . , .





— , .





, — , vial- - .





20:30, . , Jira «». , . .





QA ( , , ) .





スラックチャネルとその中のエラーメッセージの例
slack-

vial , . slack-.





自動チェックの結果、チャネルが緩む
slack-

, ! .





, :





  • ;





  • .





自動化ポータルでレビューを開始するためのメニュー

, . . .





, ETL- , ETL- , .





.





Meta-review

SAS Data Integration Studio. SAS- — . , SAS- , .





, , , . , GP, . .





Package-review

— VCS -, , , , .





Package-review -. , , , , , , . package-review -, , .





Diff-review

python-, diff-.





Log-review

.





, . python + pytest , :





  • .





  • , .





  • Allure.





: . , ETL- , . : .





?





  • Static — , ETL-.





  • BI — SAP BO .





  • — ETL- .





  • Work — / , .





.





, :





  • .





  • .





  • .





. ?





  • MG ( ), , .





  • vial, .





, ( DB- ), — - .





:





  • .





  • 80—90%.





  • .





, , BI , .





, python, SQL-, .





?





  • ddl(‘_’) — DDL- , .





  • profile(‘_’) — ( , . .).





  • dq_check(‘_’, ‘’) — , NULL , .





  • compare_(‘1’, ‘2’, ‘’) — , .





Compare() , , .





, (12 987 767 234 ) , order_id 9 458 234 .





compare()関数の結果の例
compare()

ETL- — , — .





compare() . : , ( ).





- Allure

Allure - , , , , . , vial, -.





, . , . : , . .





python, QA- , .





. , — .





QA-, . . , .





flow.





:





  • — vial .





  • — . , .





  • — vial/live, live — .





  • — .





  • ( , ) — , .





, , , — .





, — QA.





, .





未来は遠くに美しい

?





  • QA.





  • QA — QA SRE.





  • .





  • .





vial, . , .





, , SQL- ( ), ETL-, .





, . QA .





, , .





: . .





DWH , .





:





  • , : , / , , . .





  • :  , , . .





  • , .





, .





, QA , . , . .





, !








All Articles