ワークフローに自信を持つ方法、コンベヤーごとのコンベヤー
「データエンジニア」オンラインコースの開始前夜に、資料の翻訳を用意しました。
-, , . ? . , ? . , ? , .
DevOps, « - ». .
, Big Data Institute « : Big Data », , Monte Carlo, , , .
(Data Engineering) « data science» - , , , , . -, , : , - .
- - , Looker .
- - , , .
Slack : . , - .
, : . !
, , : - , , .
- (Data Observability).
#1. —
- , , (. . , , ... ). .
- ! - . , , , , . , .
, . , - Blinkist , 20 . , .
#2. DevOps
, , , , , . , : DevOps, , 20 .
, DevOps, , , . , - , , .
, : , , , .
(Freshness) , .
(Distribution) , .
(Volume ) .
(Schema) , .
(Lineage) , , .
#3. - ... 3 ,
. , , , .
-, , - , . , , - ( ).
-, . , , , , , - , , , , - .
, : . , -, , , , .
#4. - ,
, - . , . , . , . - , .
, - . , , , .
(lineage), . Lineage , , , , .
, , . , : ? ? ? ?
, . , , - , , , .
#5. , ,
. - - , , , , - . .
-. , API . , .
, , DevOps - . , , . .
- "Data Engineer"