装修网站设计平台深圳电商网站制作

数据采集：

        实时采集：

                Debezuim

                        Debezuim是构建在 Apach Kafka之上，并提供Kafka连接器来监视特定的数据库管理(采集多种数据库)

                Canal

                        canal 是阿里开发，用于实时采集Mysql 当中变化的数据

                maxwell,flinkX,flinkCDC

        离线采集：

                Sqoop

                DataX

                        致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP，MongDB等各种异构数据源之间稳定高效的数据同步功能

消息中间件

Kafka，Zookeeper