こんにちは！
午前中に所有者に送信される製品メトリックに関する膨大な夜間レポートがあります。数年前、それらは通常のクロンで収集されましたが、これは非常に不安定な話であることが判明しました。Cronは、特定のニュアンスと規律を考慮する必要があります。レポートが収集されない場合は、スクリプトを再起動する必要があります。また、MySQLデータベースの1つが応答しなかった、ポーリングされたサービスが応答しなかった、Cronを実行しているサーバーが夜間に再起動した、または故障したなど、さまざまな理由で失敗する可能性があります。これらのレポートのほとんどは、通常これらすべてを考慮に入れていないアナリストによって作成されました。彼らはアナリストであり、これは彼らの仕事ではないからです。そこで私たちは、誰にとっても生活を楽にするオプションを探し始めました。
そして彼らはそれを見つけました。
Airflow Kubernetes. . , , Data Team, – , - .
– , , . – , , . , , , , . , , , , , – , .
. – . : , . , production-, , . , . , . .
, - : . python, Cron' . , . , , – . : , , , .
DataTeam . , .
: "", , .
- – . , , , – . , , , . , , . Cron . , .
Cron' . , , - . Cron' . , , . .
– , . , , . : , , - . - ( , ). , .
, ( ), . Kubernetes'. , CronJob. , Cron'. : , CronJob , . , , . , Cron , . CronJob "" ( : A cron job creates a job object about once per execution time of its schedule. ). "" , . . CronJob . .
, Kubernetes' . , CronJob , , . – , . , , , . , , , , - , , .
, . Airflow.
Airflow
(, ). Arflow , . – ( directed acyclic graph).
– , . , , . Airflow . , .
– . Cron CronJob . Cron' , , CronJob – Kubernetes'. , Airflow , Kubernetes', - . , . Airflow , , . .
, , Kubernetes'. Airflow , , : KubernetesPodOperator KubernetesExecutor. KubernetesPodOperator: docker- Kubernetes'.
kubernetes-client API Kubernetes', Airflow. configmap' , . KubernetesExecutor' : Airflow , , .
Airflow + KubernetesPodOperator + Kubernetes , , , Airflow Kubernetes, , - .
KubernetesPodOperator'
Kubernetes' Docker' Airflow. - SimpleHttpOperator' PythonOperator', http- , . , , - . – , -. , : , , , . Airflow. – - , , , , .
, .
: . . BI- Metabase, . ().
Airflow + KubernetesPodOperator + Kubernetes .
, " !"?
:
;
, ;
, ;
, .
, Airflow , / ;, , ;
5.
, "how to" Airflow , .