あなたの立場がデータエンジニアである場合、あなたは不快な情報バイアスに遭遇したかもしれません。データサイエンスは積極的に取り上げられており、多くの有用な資料があります。そして、あなたは関連分野で働いています。そこでは多くの重要な質問も発生しますが、これらの質問についてはほとんど語られていません。
, , 9-12 SmartData. - : data scientists, - , .
- , , . , , , .
, 2017- « SmartData», 2018- SmartData. : « , , ». : !
, , . , , . , data science, :
, , , . , : « , , , - …»
, SmartData 2020? , , . , :
Streaming
- Flink
- Spark
- Kafka
, , noSQL, SMP/MPP- DWH:
- Hive, Impala, Presto, Vertica, ClickHouse, Cassandra
- Teradata, Redshift, GreenPlum, exadata
- MSSQL, PostgreSQL
- MongoDB, DynamoDB
- S3, ADLS, GCS, HDFS
DWH
- Ad-hoc reporting
- Hadoop
Data governance
- Data security
- Data quality
- Metadata catalog management
- Master data management
ETL
- Spark
- Hadoop MapReduce
- Sqoop
- Performance analysis and optimization
MLOps
- Airflow, NiFi, Luigi, Azkaban, Oozie etc
- MLflow
-
- - , data engineer
- CI/CD
SmartData
Call to action
? :
SmartData!