私はかつてスタートアップでデータエンジニアとして働いていました。彼は急速に成長し、ある時点で1つの大企業を購入することを決定しました。そこには100人以上の従業員がいました-それはほとんどすべてインドからでした。開発者が一気に解読できないエキゾチックなコードをいじくり回している間、インドの監視部門が私の注意を引きました。
ネットワークとサーバーを監視するには、さまざまなソフトウェアを使用できます。重要なことは、何かがうまくいかない場合、アラートが機能することを確認することです。通知が表示され、すべてを修正する時間があります。彼らはモニタリングについて独自の考えを持っていました。テーブル、椅子、壁に巨大なプラズマがあるいくつかの部屋を想像してみてください。ほぼ20人が中に座っています。各モニターには、マルチカラーのグラフィックが表示され、その横に電話番号が記載された紙が貼り付けられています。
この20人の仕事は、座ってチャートを見ることにあり、その横に貼り付けられたステッカーの上に突然線が表示された場合は、そこに書かれている電話番号に電話してアラームを鳴らします。ここで彼らは止まることなく座って見ていました。
会社の購入は安価でしたが、そのようなインフラストラクチャを維持するには法外な費用がかかりました。ヒンズー教徒は高価なVerticaを使用しました。そこでは、ハードウェアの支払いに加えて、ライセンスのためにバックルを外さなければなりませんでした。ClickHouseに移動してみることにしました。それは事実上Verticaの無料の類似物です。どちらの製品も同様の原理で動作します。つまり、シャーディングとデータ分割を備えた柱状DBMSです。
そして、それは別の冒険でした。
ClickHouseキラー機能-もちろん、お金を節約します
, . ClickHouse . ClickHouse, , (, PostgreSQL) .
ClickHouse , : DoubleDelta ! ClickHouse , MergeTree.
, , HDFS , ClickHouse 700 , . , «» SQL- - ClickHouse, , , .
— . , , ClickHouse «» . : TSBS , , — . — http- , Rest .
ClickHouse , , , , . , . — , , . .
, , , ?
, , , .
. -, , . , , , , . SDK . PHP JSON , MySQL. , — .
( ), . - Hadoop, HDFS . . : JSON-, Hive. .
Hive, , . JSON-. HDFS Hadoop - . . , , . ! , , — . . , , , Spark , . , , , , RDD .
, - - . HDFS , — .
, . , , , , Java, - . Scala, , !
ClickHouse. , C++. , , , . Scala, TCP, Native , .
— HDFS. Kafka, , Kafka ClickHouse. HDFS , : HDFS .
- ClickHouse. , , .
ClickHouse — ,
, ClickHouse production-ready , , , , DWH .
, , « » - Hive MySQL, ClickHouse – - , - JOIN - ..
, , , . , . , – , .
, . , , .
, UUID, :
```
SELECT * FROM db PREWHERE uuid != '00000000-0000-0000-0000-000000000000'
```
segfault.
. -! , GitHub, Issues, .
, ClickHouse
Hive , . Tabix. , ClickHouse . . Redash - ClickHouse.
Redshift. - ClickHouse Redshift (, , SQL ). — , Redshift, ClickHouse. , Redshift — 30 . ClickHouse Redash.
, ClickHouse Tableau 70 !
Tableau — . , ClickHouse . PostgreSQL. - , PostgreSQL . ClickHouse PostgreSQL Tableau! . PostgreSQL. .
. Tableau — , , SQL , . . 70 .
Tableau . , ClickHouse . . , Tableau - ClickHouse. !
Redash Tableau — . , ClickHouse — . , - , Tableau.
ClickHouse — . , . .
, , — . , , ClickHouse.
, - , . — Vertica Redshift .