1.技术栈：Hadoop+Hive+Sqoop+Flume+Azkaban

• Flume采集Nginx web服务器上的日志，采集完成后存储到Hadoop的平台，最终存储到HDFS上，处理和分析采用Hive的方式，处理完之后利用Sqoop导出到Mysql中，最终利用一个JavaWeb的程序进行展现。
• 使用技术：
• 数据平台：Hadoop
• 数据处理分析：Hive
• 后端服务：SpringBoot + MyBatis
• 数据可视化：Vue+Echarts
• 数据迁移：Sqoop
• 日志采集：Flume
  Hadoop 为用户提供了一个分布式基础架构，核心一个是HDFS分布式文件存储平台，一个是MapReduce。
• HDFS文件系统原理

• Namenode 记录原信息的路径信息
• Datanodes 存数据的

MapReduce对数据进行处理：切片，以键值对的方式来存储

• 分割
• 建立新键值对
• 合并相同的值为一个列表

• Spark 实时计算引擎
• Flume 数据采集
• Sqoop 数据传输与MySql

课程主要精力放在项目流程搭建，工具的使用，业务逻辑分析上

项目部署

采用伪分布式的形式，一台机器模拟多台机器，

部署完成