当前位置： 首页 > news >正文

iis部署网站项目整站seo优化

news 2025/11/7 10:52:01
iis部署网站项目,整站seo优化,阴阳师网站建设,关于申请网站建设经费的报告用户行为日志分析（pythonhadoopmapreduceyarnhive） 搭建完全分布式高可用大数据集群（VMwareCentOSFinalShell） 搭建完全分布式高可用大数据集群（HadoopMapReduceYarn） 本机PyCharm远程连接虚拟机Python …

用户行为日志分析（python+hadoop+mapreduce+yarn+hive）

  • 搭建完全分布式高可用大数据集群（VMware+CentOS+FinalShell）

  • 搭建完全分布式高可用大数据集群（Hadoop+MapReduce+Yarn）

  • 本机PyCharm远程连接虚拟机Python

  • 搭建完全分布式高可用大数据集群（MySQL+Hive）

  • 本机DataGrip远程连接虚拟机MySQL/Hive

在阅读本文前，请确保已经阅读过以上5篇文章，成功搭建了Hadoop+MapReduce+Yarn+Python+Hive的大数据集群环境。

写在前面

本文主要介绍基于mapreduce+hive技术，自己编写python代码实现用户行为日志分析的详细步骤。

  • 电脑系统：Windows

  • 技术需求：Hadoop、MapReduce、Yarn、Python3.12.8、Hive

  • 使用软件：VMware、FinalShell、PyCharm、DataGrip

注：本文的所有操作均在虚拟机master中进行，不涉及另外两台虚拟机。（但是要开机）

启动Hadoop

  1. 使用finalshell连接并启动master、slave01、slave02三台虚拟机。

  2. 在虚拟机master的终端输入命令start-all.sh启动hadoop、mapreduce和yarn。

  3. 随后可以用命令jps查看是否成功启动集群。

00

启动历史服务器

  1. 在master的终端输入命令mr-jobhistory-daemon.sh start historyserver启动历史服务器。
  • 历史服务器可以在mapreduce出错时查看报错原因。
  • 如果不启动该历史服务器，则无法使用web页面（http://master:19888/jobhistory）查看mapreduce程序的运行状态。
  1. 输入jps查看历史服务器是否成功启动。

01

准备数据

  1. 创建文本数据

① 在虚拟机master的终端输入命令cd /data进入/data目录。

② 在虚拟机master的终端输入命令 vi logs.txt 创建并打开logs.txt文件，填入以下内容。

user1	2023-10-01 08:15:23	login
user2	2023-10-01 08:20:45	view_page
user1	2023-10-01 08:25:12	click_button
user3	2023-10-01 08:30:34	login
user2	2023-10-01 08:35:56	logout
user1	2023-10-01 08:40:11	view_page
user3	2023-10-01 08:45:22	click_button
user4	2023-10-01 08:50:33	login
user2	2023-10-01 08:55:44	view_page
user4	2023-10-01 09:00:55	logout

数据说明

  1. user_id: 用户唯一标识。
  2. log_time: 日志时间，格式为 YYYY-MM-DD HH:MM:SS。
  3. action: 用户执行的操作，例如 login、logout、view_page、click_button 等。

数据示例

  • user1 在 2023-10-01 08:15:23 登录。
  • user2 在 2023-10-01 08:20:45 浏览页面。
  • user1 在 2023-10-01 08:25:12 点击按钮。
  • user3 在 2023-10-01 08:30:34 登录。
  • user2 在 2023-10-01 08:35:56 登出。
  • user1 在 2023-10-01 08:40:11 再次浏览页面。
  • user3 在 2023-10-01 08:45:22 点击按钮。
  • user4 在 2023-10-01 08:50:33 登录。
  • user2 在 2023-10-01 08:55:44 再次浏览页面。
  • user4 在 2023-10-01 09:00:55 登出。

02

03

  1. 创建目录

① 在终端输入以下命令，可以在HDFS中创建/userlogs/input目录，用于存放文件logs.txt。

hdfs dfs -mkdir -p /userlogs/input

② 在终端输入以下命令验证是否创建/userlogs/input目录。

hdfs dfs -ls /

04

  1. 上传文件

① 在终端执行以下命令将文件logs.txt上传到HDFS的/userlogs/input目录。

hdfs dfs -put /data/logs.txt /userlogs/input

② 在终端输入以下命令验证是否成功将文件logs.txt上传到HDFS的/userlogs/input目录。

hdfs dfs -ls /userlogs/input

③ 可以使用以下命令查看上传的logs.txt文件的内容。

hdfs dfs -cat /userlogs/input/logs.txt

05

④ 也可以通过HDFS的Web UI（http://master:9870）查看文件logs.txt是否上传成功。

06

编写Python脚本

打开PyCharm专业版，远程连接虚拟机master，先创建一个文件夹userlogs，后在该文件夹中分别创建map.py和reduce.py两个脚本。

1. 编写mapper脚本map.py

在map.py脚本中填入以下代码。

import sysfor line in sys.stdin:# 假设输入的每一行是Hive表中的一行数据user_id, log_time, action = line.strip().split('\t')# 输出 user_id 和 actionprint(f"{user_id}\t{action}")

这段代码是一个典型的 MapReduce Mapper 脚本，用 Python 编写，用于处理从 Hive 表或 HDFS 文件中读取的日志数据。，以下是对代码的详细分析。

  1. 读取输入数据：

    • 通过 sys.stdin 逐行读取输入数据。输入数据通常来自 Hadoop Streaming 的输入文件（如 Hive 表导出文件或 HDFS 文件）。
    • 每行数据的格式为 user_id\tlog_time\taction，例如：user1\t2023-10-01 08:15:23\tlogin。

  2. 数据解析：

    • 使用 line.strip().split('\t') 对每行数据进行解析：
      • strip()：去除行首尾的空白字符（如换行符）。
      • split('\t')：以制表符（\t）为分隔符，将行数据拆分为 user_id、log_time 和 action 三个字段。

  3. 输出结果：

    • 使用 print(f"{user_id}\t{action}") 输出 user_id 和 action，中间用制表符分隔。
    • 输出格式为 user_id\taction，例如：user1\tlogin。

总的来说，这段代码是一个简单但功能明确的 Mapper 脚本，适用于从结构化日志数据中提取关键字段并生成中间结果。通过优化异常处理和性能，可以使其更加健壮和高效。

2. 编写reducer脚本reduce.py

在reduce.py脚本中填入以下代码。

import sys
from collections import defaultdictaction_count = defaultdict(int)for line in sys.stdin:user_id, action = line.strip().split('\t')action_count[(user_id, action)] += 1for (user_id, action), count in action_count.items():print(f"{user_id}\t{action}\t{count}")

这段代码是一个典型的 MapReduce Reducer 脚本，用 Python 编写，用于对 Mapper 输出的中间结果进行聚合统计，以下是对代码的详细分析。

  1. 读取输入数据：

    • 通过 sys.stdin 逐行读取 Mapper 输出的中间结果，每行数据的格式为 user_id\taction，例如：user1\tlogin。

  2. 数据统计：

    • 使用 defaultdict(int) 创建一个字典 action_count，用于统计每个 (user_id, action) 组合的出现次数。
    • 对每行数据解析后，将 (user_id, action) 作为键，累加其计数：action_count[(user_id, action)] += 1。

  3. 输出结果：

    • 遍历 action_count 字典，输出每个 (user_id, action) 组合及其出现次数，格式为 user_id\taction\tcount，例如：user1\tlogin\t3。

这段代码是一个简单但功能明确的 Reducer 脚本，适用于对 Mapper 输出的中间结果进行聚合统计。通过优化异常处理和性能，可以使其更加健壮和高效。

运行MapReduce程序

  1. 查看mapreduce程序

进入虚拟机master的/opt/hadoop/share/hadoop/tools/lib目录，在该目录下执行ls命令，查看hadoop提供的mapreduce程序。

07

其中，hadoop-streaming-3.3.6.jar是执行mapreduce的程序。

  1. 执行mapreduce程序

① 在终端输入命令cd /opt/python/code/userlogs进入存放map.py和reduce.py脚本的目录。

08

② 执行以下命令，统计logs.txt文件中的用户行为。

hadoop jar /opt/hadoop/share/hadoop/tools/lib/hadoop-streaming-3.3.6.jar -file map.py -file reduce.py -input /userlogs/input/logs.txt -output /userlogs/output -mapper "python map.py" -reducer "python reduce.py"

注意： 在每次执行这个命令前，请确保/userlogs/output的output文件夹不在HDFS中，如果在，请删除。

③ 出现以下信息说明程序执行成功。

09

查看程序运行状态和结果

  1. MapReduce程序运行过程中，可以使用浏览器访问Web UI（http://master:8088）查看历史服务器。

10

  1. MapReduce程序运行结束后，可以在HDFS的Web UI（http://master:9870）查看用户行为日志的统计的结果。

11

  1. 当然，也可以在master的终端输入以下命令查看程序运行结果。
hdfs dfs -cat /userlogs/output/part-00000

12

注意： 如果在运行mapreduce程序时出现错误，可以使用浏览器访问Web UI（http://master:19888/jobhistory）查看历史服务器的logs文件。

13

将结果存入Hive

在虚拟机中启动Hive，打开DataGrip，远程连接虚拟机的hive。

① 启动hiveserver2服务：hive --service hiveserver2（第一个master终端）

② 启动beeline连接：beeline -u jdbc:hive2://master:10000 -n root（第三个master终端）

③ 使用DataGrip远程连接Hive

  1. 打开DataGrip的Query Console，输入以下代码，创建一个名为userlogs的Hive表。
CREATE TABLE userlogs (uid STRING,action STRING,count INT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t';

这段 SQL 语句用于在 Hive 中创建一个表 userlogs，让我们逐部分分析这段 SQL语句。

  • CREATE TABLE userlogs (...)

    • CREATE TABLE userlogs : 这部分表示创建一个名为 userlogs 的表。

    • (...) : 括号内定义了表的列名和数据类型。这里定义了 3 列。

  • 列定义

    • uid STRING : 第一列是 uid，数据类型是 STRING。这里假设存储的是用户标识符（如 user1、user2 等）。STRING 类型可以存储任意文本数据。

    • action STRING : 第二列是 action，数据类型也是 STRING。它表示用户的操作类型（如 view_page、click_button、Login 等）。

    • count INT : 第三列是 count，数据类型是 INT，表示操作的计数或频率（如 1、2 等）。

  • ROW FORMAT DELIMITED

    • 这部分表示数据的存储格式是 定界符分隔的 。在 Hive 中，ROW FORMAT DELIMITED 表示数据以某种字符（比如制表符、逗号等）分隔。

  • FIELDS TERMINATED BY '\t'

    • FIELDS TERMINATED BY '\t' : 这部分指定了字段之间使用制表符（\t）作为分隔符，也就是每列的值通过制表符分隔。这样，Hive 就知道如何解析存储在文件中的数据。

总的来说，这段 SQL 语句的功能是创建一个 userlogs 表，表中有三列：uid（用户标识符）、action（用户执行的操作）、count（操作次数）。每行数据的字段由制表符 \t 分隔，且表采用 定界符分隔 的存储格式。

这个表结构适用于存储类似于以下数据的记录：

user1	view_page	1
user1	click_button	1
user1	Login	1
user2	logout	1
user2	view_page	2
...

14

15

注意：该userlogs表默认创建在default数据库中。

  1. 在beeline命令行入以下命令，将mapreduce的输出加载到Hive的userlogs表中。
LOAD DATA INPATH '/userlogs/output/part-00000' INTO TABLE userlogs;

16

  1. 在DataGrip中查看uselogs数据表中的数据。

17

  1. 在beeline使用SELECT * FROM userlogs LIMIT 10;命令查看数据信息。

18

到此，成功将mapreduce的执行结果存入了hive的default数据库的userlogs数据表中。

注意事项

  • 执行LOAD DATA INPATH '/userlogs/output/part-00000' INTO TABLE userlogs;命令后，在HDFS中的part-00000文件将被移动至Hive中。

19

  • 启动HiveServer2服务后，可以访问Web UI（http://master:10002/）查看Hive信息。

20

写在后面

本文仅供学习使用，原创文章，请勿转载，谢谢配合。

http://www.yayakq.cn/news/877948/

相关文章：

  • 天津市建设工程定额管理站网站南通外贸网站建设
  • 苏州建网站需要什么企业域名价格
  • c 创建一个网站怎么做阿里云服务器配置
  • 学校网站制作html配件查询网站制作
  • 网站后台添加新闻邢台建设网站公司
  • 怎么样做公司网站广州市建设集团网站
  • 找到做网站的公司三五互联网站建设怎么样
  • 检测 网站优化自己做网站怎么赚钱
  • 大数据做网站流量分析县直门户网站建设管理
  • 想建设网站路由器做php网站吗
  • 网站添加icp备案号信息服务平台网站
  • 成都网站建设方法数码网站开发下单功能
  • 宣传片制作网站400电话 网站建设
  • 社交网站怎么制作库尔勒西部建设网站
  • 外贸个人网站国内比较好的wordpress主题
  • 大连网站建设吗2022年互联网创业项目
  • 秦皇岛做网站哪家好找做cad彩拼的网站
  • 寿光网站优化网络公司做的网站
  • 专业格泰建站网站备案是域名还是空间
  • 网站域名怎么缴费专业做网站设计公司价格
  • 环球网站建设如何制作网页效果图
  • 怎么用二维动画做网站首页步骤网站建设公司的电话
  • 黄南网站建设wordpress 主题详情
  • 更换网站标题一加网站开发
  • 温州做网站建设企业查询员工社保缴费记录
  • 手机网站设计宽度网络销售 市场推广
  • 自己用电脑做虚拟机怎么建网站wordpress 和 shopify
  • 那种导航网站网页代码模板
  • 怎么样从头开始做网站wordpress iis 伪静态
  • 丰都网站建设报价乐清案例上传网站