SmartData 2020：数据工程会议

如果您的职位是数据工程师，那么您可能会遇到令人反感的信息偏见。数据科学被积极报道，上面有许多有用的材料。您在一个相关领域工作，那里也出现了许多重要问题，但关于这些问题的说法却很少。

, , 9-12 SmartData. - : data scientists, - , .

- , , . , , , .

, 2017- « SmartData», 2018- SmartData. : « , , ». : !

, , . , , . , data science, :

, , , . , : « , , , - …»

, SmartData 2020? , , . , :

Streaming

• Flink
• Spark
• Kafka

, , noSQL, SMP/MPP- DWH:

• Hive, Impala, Presto, Vertica, ClickHouse, Cassandra
• Teradata, Redshift, GreenPlum, exadata
• MSSQL, PostgreSQL
• MongoDB, DynamoDB
• S3, ADLS, GCS, HDFS

DWH

• Ad-hoc reporting
• Hadoop

Data governance

• Data security
  
  
  • Data quality
  • Metadata catalog management
  • Master data management

ETL

• Spark
  
  
  • Hadoop MapReduce
  • Sqoop
  • Performance analysis and optimization

MLOps

• Airflow, NiFi, Luigi, Azkaban, Oozie etc
  
  
  • MLflow

• 
  
  
  • - , data engineer
  • CI/CD

^SmartData

, SmartData — . ?

• , , «-» « ». , , , . : , , .

  
  
  

• , , . .

  
  
  

• , -. . : , 3-4 . .

  
  
  

• , - , 3-4 : . , - «», ( - ). , «» , !

  
  
  

Call to action

? :

1. — . , , .
2. , — , .
3. IT, : «full pass», SmartData, 7 . .

SmartData!