我的编程空间,编程开发者的网络收藏夹
学习永远不晚

提高MySQL深分页查询效率的三种方案

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

提高MySQL深分页查询效率的三种方案

开发经常遇到分页查询的需求,但是当翻页过多的时候,就会产生深分页,导致查询效率急剧下降。有没有什么办法,能解决深分页的问题呢?本文总结了三种优化方案,查询效率直接提升10倍,一起学习一下。

开发经常遇到分页查询的需求,但是当翻页过多的时候,就会产生深分页,导致查询效率急剧下降。

有没有什么办法,能解决深分页的问题呢?

本文总结了三种优化方案,查询效率直接提升10倍,一起学习一下。

1. 准备数据

先创建一张用户表,只在create_time字段上加索引:

CREATE TABLE `user` (
  `id` int NOT NULL AUTO_INCREMENT COMMENT '主键',
  `name` varchar(255) DEFAULT NULL COMMENT '姓名',
  `create_time` timestamp NULL DEFAULT NULL COMMENT '创建时间',
  PRIMARY KEY (`id`),
  KEY `idx_create_time` (`create_time`)
) ENGINE=InnoDB COMMENT='用户表';

然后往用户表中插入100万条测试数据,这里可以使用存储过程:

drop PROCEDURE IF EXISTS insertData;
DELIMITER $$
create procedure insertData()
begin
 declare i int default 1;
   while i <= 100000 do
         INSERT into user (name,create_time) VALUES (CONCAT("name",i), now());
         set i = i + 1; 
   end while; 
end $$

call insertData() $$

2. 验证深分页问题

每页10条,当我们查询第一页的时候,速度很快:

select * from user 
where create_time>'2022-07-03' 
limit 0,10;

提高MySQL深分页查询效率的三种方案

在不到0.01秒内直接返回了,所以没显示出执行时间。

当我们翻到第10000页的时候,查询效率急剧下降:

select * from user 
where create_time>'2022-07-03' 
limit 100000,10;

提高MySQL深分页查询效率的三种方案

执行时间变成了0.16秒,性能至少下降了几十倍。

耗时主要花在哪里了?

  • 需要扫描前10条数据,数据量较大,比较耗时
  • create_time是非聚簇索引,需要先查询出主键ID,再回表查询,通过主键ID查询出所有字段

画一下回表查询流程:

1. 先通过create_time查询出主键ID

提高MySQL深分页查询效率的三种方案

2. 再通过主键ID查询出表中所有字段

提高MySQL深分页查询效率的三种方案

别问为什么B+树的结构是这样的?问就是规定。

可以看一下前两篇文章。

然后我们就针对这两个耗时原因进行优化。

3. 优化查询

3.1 使用子查询

先用子查询查出符合条件的主键,再用主键ID做条件查出所有字段。

select * from user 
where id in (
  select id from user 
  where create_time>'2022-07-03' 
  limit 100000,10
);

不过这样查询会报错,说是子查询中不支持使用limit。

提高MySQL深分页查询效率的三种方案

我们加一层子查询嵌套,就可以了:

select * from user 
where id in (
 select id from (
    select id from user 
    where create_time>'2022-07-03' 
    limit 100000,10
 ) as t
);

提高MySQL深分页查询效率的三种方案

执行时间缩短到0.05秒,减少了0.12秒,相当于查询性能提升了3倍。

为什么先用子查询查出符合条件的主键ID,就能缩短查询时间呢?

我们用explain查看一下执行计划就明白了:

explain select * from user 
where id in (
 select id from (
    select id from user 
    where create_time>'2022-07-03' 
    limit 100000,10
 ) as t
);

提高MySQL深分页查询效率的三种方案

可以看到Extra列显示子查询中用到Using index,表示用到了覆盖索引,所以子查询无需回表查询,加快了查询效率。

3.2 使用inner join关联查询

把子查询的结果当成一张临时表,然后和原表进行关联查询。

select * from user 
inner join (
   select id from user 
    where create_time>'2022-07-03' 
    limit 100000,10
) as t on user.id=t.id;

提高MySQL深分页查询效率的三种方案

查询性能跟使用子查询一样。

3.3 使用分页游标(推荐)

实现方式就是:当我们查询第二页的时候,把第一页的查询结果放到第二页的查询条件中。

例如:首先查询第一页

select * from user 
where create_time>'2022-07-03' 
limit 10;

然后查询第二页,把第一页的查询结果放到第二页查询条件中:

select * from user 
where create_time>'2022-07-03' and id>10 
limit 10;

这样相当于每次都是查询第一页,也就不存在深分页的问题了,推荐使用。

提高MySQL深分页查询效率的三种方案

执行耗时是0秒,查询性能直接提升了几十倍。

这样的查询方式虽然好用,但是又带来一个问题,就是跳转到指定页数,只能一页页向下翻。

所以这种查询只适合特定场景,比如资讯类APP的首页。

互联网APP一般采用瀑布流的形式,比如百度首页、头条首页,都是一直向下滑动翻页,并没有跳转到制定页数的需求。

不信的话,可以看一下,这是头条的瀑布流:

提高MySQL深分页查询效率的三种方案

传参中带了上一页的查询结果。

提高MySQL深分页查询效率的三种方案

响应数据中,返回了下一页查询条件。

所以这种查询方式的应用场景还是挺广的,赶快用起来吧。

知识点总结:

提高MySQL深分页查询效率的三种方案

到此这篇关于解决mysql深分页低效率问题的文章就介绍到这了。希望对大家的学习有所帮助,也希望大家多多支持我们。

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

提高MySQL深分页查询效率的三种方案

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

提高MySQL深分页查询效率的三种方案

开发经常遇到分页查询的需求,但是当翻页过多的时候,就会产生深分页,导致查询效率急剧下降。有没有什么办法,能解决深分页的问题呢?本文总结了三种优化方案,查询效率直接提升10倍,一起学习一下。开发经常遇到分页查询的需求,但是当翻页过多的时候,
2022-07-04

MySQL大数据表处理的三种方案,查询效率嘎嘎高

场景 当我们业务数据库表中的数据越来越多,如果你也和我遇到了以下类似场景,那让我们一起来解决这个问题 数据的插入,查询时长较长后续业务需求的扩展 在表中新增字段 影响较大表中的数据并不是所有的都为有效数据 需求只查询时间区间内的 评估表数据
2023-08-30

提高SQL查询效率的21种方法

对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where n
提高SQL查询效率的21种方法
2021-04-03

如何利用索引提升PHP与MySQL的分页查询效率?

简介:在使用PHP与MySQL进行分页查询时,为了提高查询效率,可以利用数据库索引来加速查询操作。本文将介绍如何正确创建索引以及如何在PHP代码中进行分页查询。一、什么是索引索引是数据库中一种特殊的数据结构,它可以帮助数据库系统快速定位到存
2023-10-21

如何通过索引提升PHP与MySQL的地理位置查询和分页查询的效率?

在开发Web应用程序时,经常会遇到需要进行地理位置查询和分页查询的需求。由于数据量的增加和查询复杂性的提升,这些查询操作可能会变得越来越慢。为了提升查询效率,我们可以使用索引来优化查询,特别是对于PHP与MySQL的地理位置查询和分页查询。
2023-10-21

如何通过索引提升PHP与MySQL的分页查询和数据导出的效率?

索引是一种数据结构,用于加快数据库的查询操作速度。在PHP与MySQL的分页查询和数据导出中,通过创建适当的索引,可以有效地提高查询和导出的效率。本文将介绍如何使用索引来优化PHP与MySQL的分页查询和数据导出。一、创建索引数据库中的表可
2023-10-21

编程热搜

目录