パート1。過去。分岐点
DWH (Data Warehouse, , -, ) , . , , . .
Tinkoff.ru . , . , . , , QA.
, :
( Data Warehouse, DWH) — - , - .
( ) — (VCS), , .
. , .
, , .
flow :
;
ETL-;
QA-.
flow — 2.
, :
.
.
.
.
.
.
ETL- — (, ), (, , , . .) .
, ( 3):
;
.
:
SAS DIS ETL-.
SQL ( python) .
. , , .
( 4) QA-.
VCS QA.
. , : - , , .
, : , . ?
, . .
. - , , — , ETL-.
, :
, .
.
5 , . QA , , , . , , , ETL-.
, :
.
, , .
— , .
.
, , .
.
— .
, , , . . .
, SAS, SAS Data Integration Studio (SAS DIS). ( , ETL-, . .) SAS DIS SAS- . Greenplum SAS. , , , «» "DWH".
. SAS DIS . SAS DIS , (, , . .) . , , , , . .
, . , . .
: , , .
— .
, , - ( , . .) .
, QA- , . - , . . .
, — . .
- , : .
, .
. QA- :
NULL ;
DDL- ;
;
;
, , .
, ( , ETL-), , . ETL- . .
, :
;
;
.
:
;
;
.
, . ?
, , — , .
?
QA-. - , python- — !
, (dev/test/prod), :
SSH- ;
, .
, .
— .
:
— , . testing done. 22:00, .
— , , 23:00. .
— , . .
, .
, , . , , — vial.
Vial
, , , . ? : , ( ) . , .
, , vial-.
— .
Vial ( «») — , . , .
, 7: preXXXXX (pre — , XXXXX — Jira) .
(Source 8) ETL-. .
ETL- (Target 8) :
, , — today.
— yesterday.
?
, .
ETL- . :
ETL- .
ETL-, Target(yesterday) 9, ( ETL-, ).
ETL- , , — Target(today).
ETL- : ( ) ( ETL- ). , , , ETL- .
ETL- , .
. , , . , .
ETL- — 10. Target(yesterday)- .
ETL- .
, . , ETL- .
. Target(today)- .
, :
— ETL- . - , , ETL- .
, , .
, .
, : , , . , ( 11).
vial- 12.
vial?
-, . , , — ! , .
-, , QA .
, — , ! Live-- ?
, ETL- . , ETL- , , . , vial-, , , .
live.
Live
— , vial, ETL-. , , , ETL- , , — SQL- .
Live , QA-.
, . (test), , . (, ) .
vial, — live. , test .
?
Test
Test .
, : ETL- , , .
( ETL- ), . . , .
. python. , .
. . , .
.
, , . , .
- :
.
.
.
( , ).
— test.
: , . .
, !