当前位置: 首页 > news >正文

怎样办网站做宣传wordpress手动升级插件

怎样办网站做宣传,wordpress手动升级插件,做企业网站建设挣钱吗,北京网站建设公司司需求描述 通过读取目录下的类似文件的datapath路径的文件名及文件内容,需要将读取的每一个文件的文件名日期解析出来,并作为读取当前文件内容递归读取当前文件一个df列,列名为“时间”;后面就是读一个文件,解析一下时间…

需求描述

        通过读取目录下的类似文件的datapath路径的文件名及文件内容,需要将读取的每一个文件的文件名日期解析出来,并作为读取当前文件内容递归读取当前文件一个df列,列名为“时间”;后面就是读一个文件,解析一下时间,将时间添加到所读文件的dataframe中,相当于给每一个读的文件内容添加了当前读取文件解析出来的时间列,以此递归循环。读取每一个文件后都要加上一列此文件解析出来的时间,形式如下

  Reading file: hdfs://master.test.com:8020/data/测试文件/_L_20231025095119.txtReading file: hdfs://master.test.com:8020/data/测试文件/_L_20231026095119.txtReading file: hdfs://master.test.com:8020/data/测试文件/_L_20231027095119.txt


内容形式如下

  文件名:L_20231025095119.txt文件内容:id,imsi,lon,lat......文件名:L_20231026095119.txt文件内容:id,imsi,lon,lat......文件名:L_20231027095119.txt文件内容:id,imsi,lon,lat......我要的文件内容输出形式为id,imsi,lon,lat,20231025095119...id,imsi,lon,lat,20231026095119...id,imsi,lon,lat,20231027095119......

代码片段:

...
...
//打印读取目录下的文件名
println("文件datapath路径")
if (dataPath.isEmpty) {println("No files to read.")
} else {for (path <- dataPath) {println(s"Reading file: $path")}
}
// 解析时间字段
// 提取文件名中的时间部分,格式为:"_L_20231111095119.txt" 中的 "20231111095119"
// 由于文件名是按目录读取的,因此要变成字符串形式并以逗号隔开
val filePath = dataPath.mkString(",")
val fileName = filePath.split("/").last.stripSuffix(".csv")
val timeStr = fileName.split("_").last
val year = timeStr.substring(0, 4)
val month = timeStr.substring(4, 6)
val day = timeStr.substring(6, 8)
val hour = timeStr.substring(8, 10)
val minute = timeStr.substring(10, 12)
val second = timeStr.substring(12, 14)
val time = s"$year-$month-$day $hour:$minute:$second"
println(time)
// 输出时间类似:2023-03-01 09:51:19
...
...
val rddAll = if(dataPath.isEmpty){sc.emptyRDD[(LongWritable,Text)]
} else {sc.newAPIHadoopRDD(jobConf,classOf[CombineTextInputFormat],classOf[LongWritable],classOf[Text])}val firstLine = {if(rddAll.take(1).length == 0){null} else {val firstLineTemp = rddAll.first()._2getAfterSplitArray(delimiter,new String(firstLineTemp.getBytes,0,firstLineTemp.getLength,encoding))}
}
...
...
val outDF = sqlc.createDataFrame(outRDD,schema)
//2修改
val outDF1 = outDF.withColumn("时间", lit(time))
outDF1.show()

http://www.yayakq.cn/news/104322/

相关文章:

  • 运城做网站价格做传销网站
  • 营销型网站建设指导原则网络营销专业的就业方向
  • 新网站的建设方案网站建设的方法有
  • 微网站分销免费永久个人域名注册
  • 邢台网站建设信息淄博周村专业网站建设公司
  • 网站开发设计技术山东省住房和城乡建设厅网站
  • 网站建设的英文北京市建设工程信息网如何登录
  • 广州知名网站建设网页设计服务为什么用花生壳做的网站老刷新
  • 衡阳网站建设开发价格甘肃省城乡建设厅网站首页
  • 上海网站建设排行wordpress 手机页面
  • 做白酒网站建一个网站要多久
  • 门户网站开发费怎做账怎么创建自己的网址
  • 国内建设网站的公司wordpress wp editor
  • 要加强网站内容建设永康网站建设优化建站
  • 网站工程和网络工程有什么区别wordpress静态cdn
  • 网站标题的写法专用车网站建设
  • 郑州网站推广培训wordpress媒体库自定义
  • 推荐一个做照片书的网站永久域名免费注册网站
  • 网站开发提供图片加载速度python基础教程电子书百度网盘
  • 浙江网站建设平台潜力的网站设计制作
  • cms网站建设的优缺点陕西省建设执业资格注册管理中心网站
  • 网站怎么做电脑系统下载软件wordpress 内容页调用
  • 长寿做网站绥化建设网站
  • 青岛做网站公司哪家好珠宝网络营销方式
  • wordpress站点wordpress设置静态之后文章打不开
  • 智能模板网站建设方案网站建设哪家服务好
  • 网站建设文章官网app安装下载官网
  • 梁山县网站建设小游戏 打开
  • 大连微网站建设wordpress站内搜索次数
  • 网站定位策划wordpress 图片上传路径