当前位置: 首页 > news >正文

搜索引擎在哪里获取网站网站后期的维护和更新

搜索引擎在哪里获取网站,网站后期的维护和更新,制作企业网站首页,图片展示类网站需求描述: 我现在有一个dataframe,名为dfin,样例数据如下 a1_id_lxha2_PHtime比亚迪_汉1232023-11-15 12:12:23比亚迪_汉1252023-11-15 13:14:51比亚迪_汉1232023-11-15 12:13:23比亚迪_汉1262023-11-16 14:12:34比亚迪_秦2312023-11-15 14:12:28比亚迪_秦2342023…

需求描述:

我现在有一个dataframe,名为dfin,样例数据如下

a1_id_lxha2_PHtime
比亚迪_汉1232023-11-15 12:12:23
比亚迪_汉1252023-11-15 13:14:51
比亚迪_汉1232023-11-15 12:13:23
比亚迪_汉1262023-11-16 14:12:34
比亚迪_秦2312023-11-15 14:12:28
比亚迪_秦2342023-11-16 16:12:51
比亚迪_秦2312023-11-15 12:13:51
比亚迪_秦2312023-11-15 12:14:51

        现在我每天接入实时数据,保存在库里,时间为最近时间的两天数据,比如今天是20号,数据库里存的数据就是19号,20号的数据,现在我要进行跑批任务,将数据库里的19号的数据离线跑批进行部分逻辑处理后,增加的存入

代码

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._
import java.text.SimpleDateFormat
import java.util.Dateval spark = SparkSession.builder.appName("DateSubtraction").getOrCreate()import spark.implicits._
//测试data,实际生产中我们接前序dataframe
//20231121_lxh
//https://blog.csdn.net/qq_52128187?type=blog
val data = Seq(("比亚迪_汉", 123, "2023-11-15 12:12:23"),("比亚迪_汉", 125, "2023-11-15 13:14:51"),("比亚迪_汉", 123, "2023-11-15 12:13:23"),("比亚迪_汉", 126, "2023-11-16 14:12:34"),("比亚迪_秦", 231, "2023-11-15 14:12:28"),("比亚迪_秦", 234, "2023-11-16 16:12:51"),("比亚迪_秦", 231, "2023-11-15 12:13:51"),("比亚迪_秦", 231, "2023-11-15 12:14:51")
)
//以此为例
val df = data.toDF("a1", "a2", "time")val dateFormat = new SimpleDateFormat("yyyy-MM-dd")
val currentDate = dateFormat.format(new Date())val dfinWithNewColumn = df.withColumn("date_subtracted", date_sub(to_date($"time"), 1))dfinWithNewColumn.show()
//后面在处理的话直接转为创建临时表或者再进行后续操作即可
//https://blog.csdn.net/qq_52128187?type=blog

输出结果

a1a2timedate_subtracted
比亚迪_汉1232023-11-15 12:12:232023-11-14 12:12:23
比亚迪_汉1252023-11-15 13:14:512023-11-14 13:14:51
比亚迪_汉1232023-11-15 12:13:232023-11-14 12:13:23
比亚迪_汉1262023-11-16 14:12:342023-11-15 14:12:34
比亚迪_秦2312023-11-15 14:12:282023-11-14 14:12:28
比亚迪_秦2342023-11-16 16:12:512023-11-15 16:12:51
比亚迪_秦2312023-11-15 12:13:512023-11-14 12:13:51
比亚迪_秦2312023-11-15 12:14:512023-11-14 12:14:5
http://www.yayakq.cn/news/867011/

相关文章:

  • 建设网站有什么好处响应式企业网站设计与实现
  • 免费做外贸的网站建设自助建站系统php
  • 怎么做付款链接网站百度 wordpress插件
  • 简述网站规划的一般步骤金融公司 网站开发
  • 域名注册好了怎么弄网站想找个专业做网站公司
  • html查询网站制作小程序商城开发华网天下优秀
  • 做电商有哪些网站有哪些内容百度广告电话号码
  • 郑州网站建设技术托管微商城网站开发
  • 深圳网站开发费用湖南网站推广电话
  • 网站备案信息修改成都高新区制作网站
  • 旧电脑怎么做网站收费下载资源 wordpress插件
  • 网站建设在哪里办公上海比较好的服装外贸公司
  • 空调公司网站建设简约网站模板
  • 中国室内设计联盟官方网站入口wordpress支付平台
  • 8网站建设做网站wordpress开发小程序
  • 网站建设与建设wordpress 调用discuz
  • 跨境电商工具类产品的网站海尔集团网站 建设目的
  • 网站开发多少钱农民学校网站如何建设方案
  • 美食网站建设实施方案做cpa用什么网站
  • 环艺毕业设计代做网站公司网页制作选择软件
  • 新手学做网站pdf教务处网站建设方案
  • 郑州市建设安全管理协会网站医院网站建设方案ppt
  • 精品课程网站设计亚马逊跨境电商怎么做
  • wordpress 图片网站做照片相册最好的网站
  • google网站登录入口吾爱上云小程序制作
  • 天津品牌网站建设公司哪家好东莞24小时推广首页
  • 怎么制作一个网站首页做线上交互的网站
  • 网站建设团队架构苏州市建设局老网站
  • 天津建设局网站免费软件下载网站入口正能量
  • 沈阳医疗网站制作erp系统教学