当前位置: 首页 > news >正文

喜欢做网站的行业上海最出名的编程培训

喜欢做网站的行业,上海最出名的编程培训,wordpress页眉页脚插件,在网上做企业网站怎么做粗略的实验 最后 最近在压测一批接口的时候,我发现接口处理速度比我们预期的要慢。这让我感到有点奇怪,因为我们之前已经对这些接口进行了优化。但是,当我们进行排查时,发现问题出在数据库批量保存这块。 我们的项目使用了 myb…
  • 粗略的实验

  • 最后

 

最近在压测一批接口的时候,我发现接口处理速度比我们预期的要慢。这让我感到有点奇怪,因为我们之前已经对这些接口进行了优化。但是,当我们进行排查时,发现问题出在数据库批量保存这块。

我们的项目使用了 mybatis-plus 这个工具,而批量保存我们是直接使用的 mybatis-plus 提供的 saveBatch 方法。在仔细研究了这个方法后,我发现它并没有对批量插入进行优化,而是直接循环插入数据。

我点进去看了下源码,感觉有点不太对劲:

我继续追踪了下,从这个代码来看,确实是 for 循环一条一条执行了 sqlSession.insert,下面的 consumer 执行的就是上面的 sqlSession.insert: 

然后累计一定数量后,一批 flush。

从这点来看,这个 saveBach 的性能肯定比直接一条一条 insert 快。

我直接进行一个粗略的实验,简单创建了一张表来对比一波!

粗略的实验

1000条数据,一条一条插入

 

可以看到,执行一批 1000 条数的批量保存,耗费的时间是 121011 毫秒。

1000条数据用 mybatis-plus 自带的 saveBatch 插入

 

耗费的时间是 59927 毫秒,比一条一条插入快了一倍,从这点来看,效率还是可以的。

然后常见的还有一种利用拼接 sql 方式来实现批量插入,我们也来对比试试看性能如何。

1000条数据用手动拼接 sql 方式插入

搞个手动拼接:

 来跑跑下性能如何:

耗时只有 2275 毫秒,性能比 mybatis-plus 自带的 saveBatch 好了 26 倍!

这时,我又突然回想起以前直接用 JDBC 批量保存的接口,那都到这份上了,顺带也跑跑看!

1000条数据用 JDBC executeBatch 插入

 

耗时是 55663 毫秒,所以 JDBC executeBatch 的性能跟 mybatis-plus 的 saveBatch 一样(底层一样)。

综上所述,拼接 sql 的方式实现批量保存效率最佳。

但是我又不太甘心,总感觉应该有什么别的法子,然后我就继续跟着 mybatis-plus 的源码 debug 了一下,跟到了 mysql 的驱动,突然发现有个 if 里面的条件有点显眼:

 

 

就是这个叫 rewriteBatchedStatements 的玩意,从名字来看是要重写批操作的 Statement,前面batchHasPlainStatements 已经是 false,取反肯定是 true,所以只要这参数是 true 就会进行一波操作。

我看了下默认是 false。

同时我也上网查了下 rewriteBatchedStatements 参数,好家伙,好像有用!我直接将 jdbcurl 加上了这个参数: 

 

然后继续跑了下 mybatis-plus 自带的 saveBatch,果然性能大大提高,跟拼接 SQL 差不多! 

顺带我也跑了下 JDBC 的 executeBatch ,果然也提高了。 

然后我继续 debug ,来探探 rewriteBatchedStatements 究竟是怎么 rewrite 的!

如果这个参数是 true,则会执行下面的方法且直接返回:

看下 executeBatchedInserts 究竟干了什么: 

看到上面我圈出来的代码没,好像已经有点感觉了,继续往下 debug。

果然!sql 语句被 rewrite了:

对插入而言,所谓的 rewrite 其实就是将一批插入拼接成 insert into xxx values (a),(b),(c)...这样一条语句的形式然后执行,这样一来跟拼接 sql 的效果是一样的。

那为什么默认不给这个参数设置为 true 呢?

原来是这样的:

  1. 如果批量语句中的某些语句失败,则默认重写会导致所有语句都失败。

  2. 批量语句的某些语句参数不一样,则默认重写会使得查询缓存未命中。

看起来影响不大,所以我给我的项目设置上了这个参数!

 

最后

稍微总结下我粗略的对比(虽然粗略,但实验结果符合原理层面的理解),如果你想更准确地实验,可以使用JMH,并且测试更多组数(如 5000,10000等)的情况。

 

在处理 JDBC 的批量操作时,有两个性能方面的关键点。首先,需要注意将 rewriteBatchedStatements 设置为 true,以提高性能。其次,如果你倾向于手动拼接 SQL 语句,你需要注意一次拼接的数量并进行分批处理。此外,你也可以通过优化 SQL 查询语句的方式来提高性能。例如,使用索引、避免使用 select * 等操作,可以减少查询所需的时间和资源。还可以使用连接池来缓存数据库连接,减少每次建立连接的时间和成本。总之,通过细致地调整和优化你的数据库操作,你可以显著提高应用程序的性能和稳定性。 

 

 

http://www.yayakq.cn/news/767876/

相关文章:

  • 史先生 网站建设百度企业邮箱注册申请
  • ps做网站框架搭建全网推广网站
  • 深圳app网站wordpress 相关插件
  • 医院网站建设报价wordpress背景板
  • 加入网站帮忙做网站全屋定制十大品牌排行榜
  • 绿色郑州网站中国新闻社是什么级别
  • 文库网站开发教程网站二级目录 修改路径
  • 网站前台如何刷新西安网站建设sd2w
  • 网站敏感字淘宝上 网站建设
  • php婚庆网站源码电商小程序多少钱
  • 网站建设基本步骤顺序wordpress首页导航设置
  • 网络检修seo内链优化
  • wordpress做微商城搜索引擎优化seo培训
  • 如何做seo整站优化wordpress后台登录路径
  • 虚拟邮箱注册网站wordpress google提交
  • 龙华学校网站建设推广自己的产品
  • 西安建站之家网络科技有限公司注册网站引流
  • 网站百度百科中国建设银行个人网上登录入口
  • 南宁市网站维护与推广公司沂水做网站
  • 做网站价格报价费用多少钱网站给部分文字做遮挡代码
  • 学校网站建设的风险分析企业邮箱网易登录入口
  • app怎么推广郑州seo怎么做
  • 东莞企业网站设计专业服务北京冬奥会网页设计
  • 展示型网站有哪些内容百度指数人群画像
  • 扬州市住房建设局网站做一个app需要多少费用
  • 清廉医院建设网站免费看国际短视频软件
  • 网站建设选哪个公司海外商城网站建设
  • 餐饮设计网站吉林公司做网站
  • 建设网站费怎么入账数码网站名
  • 哈尔滨模板建站定制网站后端开发工程师