過去数年間、私はデータエンジニアリングを行ってきました。さまざまなレベルの複雑さのパイプラインを構築し、ビジネスに必要なデータを抽出して変換し、保存します。通常、従来のETLを構築します。
この場合、問題はどこからでも、すべてのステップで予想されます。データソースが横になっている、データが壊れている、ソースが宣戦布告せずにデータ形式またはアクセスを変更した、ストレージが鈍い、データが突然多かれ少なかれ、他の多くの楽しみ。
これらすべてを監視する方法を理解するために、私たちがこのような困難でマイニングしたデータを一般的に操作しているのは誰かを理解しましょう。
ビジネスとは、エンジニアリングが特に得意ではないが、取得したデータに基づいて重要な決定を下すすべての人々です。広告費用を増やすかどうか、更新を展開するためのオーディエンスサイズをすばやく増やす方法、さまざまなパートナーの仕組みなどです。 。
技術者は私たちのエンジニアは、我々は、ログに私たちの手を置くロジックを改良、何も緊急の必要がなく落ちていないことを確認することができます。
コード-チェーン内の次のパイプラインが起動され、変換が発生し、グラフが描画されます。
日付パイプラインは従来のバックエンドとわずかに異なる場合があります-パイプラインのいずれかがクラッシュした場合、これはすべてが悪いことを意味するわけではなく、すぐに実行する必要があります。データは一定期間関連性を維持し続ける可能性があります。ここでは、バックエンドも部分的に正常にクラッシュする可能性があると言いますが、このコンテキストでは、バックエンドとデータパイプラインを、複製を含む重複するマイクロサービスとデータベースのセットではなく、1つの論理エンティティと見なします。
ここではいくつかの例を示します。
パイプラインは10分ごとに機能し、人々は平均して1時間に1回レポートを確認します。いずれかのジョブの落下は重要ではなく、データソースが横になっている場合でも、それについてできることは何もありません。
, API ( Apple), , , . , , , , , - - , .
- - , : - , , .
, Airflow , , , .. , ...
:
Airflow ELK , , .
, , , , . , , .
, . , .. , , . , - (, ).
:
, .
, .
, , , .
, , , , , , . , , , Sensorpad.
?
: , , http- . , , .
, , , ( ):
10 ?
( , > 0, ) 15% ?
, 20 ?
?
?
, , , .
, - , , - Nomadlist, - :
- , , .
-, , -, , . , , , , , .
:
( , -);
, 25 ;
( 53 - );
:
;
;
;
, , , -, - .
?
, , .
- , :
df -h |grep vda1 | awk '{ print $5 }'| sed 's/.$//' | xargs -I '{}' curl -G "https://sensorpad.link/< ID>?value={}" > /dev/null 2>&1
, : ( , , , , )
, .
.
.
?
:
, 80% ;
cron-, cron- ;
chain-, , ;
, ( js) , , Curl :
- , .
: , " ", "- ", " ", , - .
, , - : .
, . , True, . , - , .
, .
, : " Warning, 5 , 10 ".
:
?
. - . - cron jobs, , ( , , ):
Cron job, Airflow DAG ;
20% ;
2 ;
1 (, );
2 ( );
20 ( 5, - ).
, , , .
- !
. sensorpad , , (, , ). : , , .
アカウント外の秘密のリンクを使用してこれらのページをファンブルする機能を追加することを考えています。そうすれば、そのようなページはどのステータスページよりも悪くは使用できません。
これがコンセプトです。何が欠けている？
Sensorpadは週末のプロジェクトで、メインの作業から自由な時間に、多額の投資をせずに、1人でも行うことができました。そのため、コミュニティの意見は私にとって非常に重要です。どのように気に入っていますか。何を追加し、何を改善し、開発を続けるかどうか。
彼をライブで突くと同時に、私の母がランディングページデザイナーのようになっていることを確認してください：https：//sensorpad.io