今日、超並列処理クラスのデータベースは、ビッグデータを保存し、それに基づいてさまざまな分析問題を解決するための業界標準です。
mppデータベースのユースケースは多様です。企業BIの「主力」であると同時に、1つのDWHで数百のソースからのデータを一元化するためのツールであり、生産的な環境。
このクラスのテクノロジーは、最新のデータエンジニアのツールキットに必要な要素です。
デモレッスンでは、mppデータベースとは何か、現在市場に出回っているソリューションを詳細に分析し、今日最も革新的なmppシステムの1つであるClickHouseを使用する実際的な例についても掘り下げます。
デモレッスン「ClickHouseを例にしたMPPデータベースの紹介」にぜひご参加ください。
IT- . , , , . , , , , , .
. ( ) , ( ). , , , SQL-, , , — data science , ..
, , , , . , , 20 , . , .
…
, . , !
, - , . Gartner, 2019 66 , 24% — — . Pitchbook, 30 5 8 35 .
, 2015-2020 .
: , , , a16z, , , , . , a16z, : https://a16z.com/investments/.
. , Linkedin 2019 . NewVantage Partners 60% Fortune 1000 , 12% 2012 , McKinsey .
, ( ) - — , .
- , . , , . , .
, : () , () , .
:
Unified Architecture for Data Infrastructure
: (OLTP), SaaS- . , .
:
— , . . - , — .
, .
, AI/ML ?
: - ( ) , ( ).
. (data warehouse). -, SQL ( Python ). (data lake) . , , , . , Java/Scala, Python, R SQL.
, ( ). , , — , , , ACID-, SQL . .
: ? ? , - . , - , .
, , , - , SaaS . , . (, ETL-) .
, . ( ) .
, «» (blueprints) — , , , , .
. -, . , , , . AI ML .
1: -
- - - , , .
. , .
, , SQL ( Python) .
, , . , , data science, / .
2:
, , , Hadoop-
, .
, .
-, , AI/ML, , / , ( , ) (Java/Scala, Python, SQL).
, , , . , - , .
3: .
, , .
, , . , .
, - (. . ), .
, , , / . , , , , - .
. . , -, , , , . , .
, , , , , , , .
- "Data Engineer".
« MPP- ClickHouse».