dede重工蓝色企业免费网站模板莱芜网站建设开发公司

在上一篇文章：《在Hive/Spark上运行执行TPC-DS基准测试 (ORC和TEXT格式）》中，我们介绍了如何使用 hive-testbench 在Hive/Spark上执行TPC-DS基准测试，同时也指出了该项目不支持parquet格式。

如果我们想要生成parquet格式的测试数据，就需要使用其他工具了。本文选择使用另外一个开源项目：https://github.com/kcheeeung/hive-benchmark，它和 hive-testbench 项目非常接近，操作方法也很类似，如果你熟悉 hive-testbench， 应该会必要容易掌握这个工具。

备注：本文使用的Hive/Spark环境为AWS EMR，版本：6.11，未启用Glue Data Catalog。本文操作须在EMR Master节点上执行！因为脚本中会使用到hdfs、beeline等命令行工具，此外，经测试发现：如果EMR集群使用的是Glue Data Catalog，脚本执行过程中将会报错：