我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Mybatis游标查询大量数据的方法是什么

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Mybatis游标查询大量数据的方法是什么

这篇文章主要讲解了“Mybatis游标查询大量数据的方法是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Mybatis游标查询大量数据的方法是什么”吧!

Mybatis游标查询大量数据

对大量数据进行处理时,为防止内存泄漏情况发生,所以采用mybatis plus游标方式进行数据查询处理,当查询百万级的数据的时候,使用游标可以节省内存的消耗,不需要一次性取出所有数据,可以进行逐条处理或逐条取出部分批量处理

mapper层

  • 使用Cursor类型进行数据接收

  • @Options,fetchSize设置为Integer最小值

  • @Select,写查询sql

@Options(resultSetType = ResultSetType.FORWARD_ONLY, fetchSize = Integer.MIN_VALUE)@Select("select domain from illegal_domain where icpstatus != #{icpstatus}")Cursor<IllegalDomain> getDayJobDomain(@Param("icpstatus") Integer icpstatus);

service层 

Cursor<IllegalDomain> domainList = illegalDomainMapper.getDayJobDomain(1);

数据处理

forEach方式

domainList.forEach(illegalDomain -> {    //处理逻辑,根据业务需求自行完成    Future<IcpStatusVo> future = checkIcpThreadPool.submit(new IcpCheckThread(illegalDomain.getDomain(), configMap));    results.add(future);});

迭代器 

Iterator<IllegalDomain> iter = domainList.iterator();while (iter.hasNext()) {    <!--// Fetch next 10 employees-->    <!--for(int i = 0; i<10 && iter.hasNext(); i++) {-->    <!--    smallChunk.add(iter.next());-->    <!--}-->        //处理逻辑,根据业务需求自行完成    Future<IcpStatusVo> future = checkIcpThreadPool.submit(new IcpCheckThread(illegalDomain.getDomain(), configMap));    results.add(future);}

资源释放

使用完毕后,在finally块释放资源,否则游标不关闭也可能会导致内存溢出问题

try{    //your code    } catch (Exception e) {    log.error(e);} finally {    if(null != domainList){        try {            domainList.close();        } catch (IOException e) {            e.printStackTrace();        }    }}

Mybatis游标使用总结

当查询百万级的数据的时候,查询出所有数据并放入内存中时会发生OOM(OutOfMemoryException),使用游标可以节省内存的消耗,不需要一次性取出所有数据,可以进行逐条处理或逐条取出部分批量处理,在此场景下就可以使用游标的概念来解决这个问题。

什么是游标

游标(Cursor)是处理数据的一种方法,为了查看或者处理结果集中的数据,游标提供了在结果集中一次一行或者多行前进或向后浏览数据的能力。

Demo:

// 第一种@Options(resultSetType = ResultSetType.FORWARD_ONLY)@Select("SELECT * FROM department WHERE status = 0")List<DepartmentEntity> queryDepartmentAll(); // 第二种 在Mybatis-3.4.0版本中,不支持@select注解,在3.4.1版本中已经修复:@Options(resultSetType = ResultSetType.FORWARD_ONLY)@Select("SELECT * FROM department WHERE status = 0")Cursor<Employee> cursorQueryDepartmentAll();
@Servicepublic class DepartmentServiceImpl implements DepartmentService {     private static final Logger LOG = LoggerFactory.getLogger(DepartmentServiceImpl.class);     @Autowired    private DepartmentDao departmentDao;     @Autowired    private SqlSessionTemplate sqlSessionTemplate;     public List<DepartmentDTO> getDepartmentList(DepartmentSearchParam param) {        Cursor<Object> cursor = null;        SqlSession sqlSession = null;        try {            sqlSession = sqlSessionTemplate.getSqlSessionFactory().openSession();            cursor = sqlSession.selectCursor(DepartmentDao.class.getName() + ".queryDepartmentAll");            cursor.forEach(e -> {                // 处理逻辑            });           // 也可以使用迭代器:Iterator<Object> iterator = cursor.iterator();        } catch (Exception e) {            e.printStackTrace();        } finally {            if (null != cursor) {                try {                    cursor.close();                } catch (Exception e) {                    LOG.error(e.getMessage(), e);                }            }            if (null != sqlSession) {                try {                    sqlSession.close();                } catch (Exception e) {                    LOG.error(e.getMessage(), e);                }            }        }    }}
  • ResultSet.TYPE_FORWORD_ONLY 结果集的游标只能向下滚动。

  • ResultSet.TYPE_SCROLL_INSENSITIVE 结果集的游标可以上下移动,当数据库变化时,当前结果集不变。

  • ResultSet.TYPE_SCROLL_SENSITIVE 返回可滚动的结果集,当数据库变化时,当前结果集同步改变。 

注意:游标是可以前后移动的。如果resultSetType = TYPE_SCROLL_INSENSITIVE ,就是设置游标就可以前后移动。

Mybatis为了保证可以前后移动,Mybatis会把之前查询的数据一直保存在内存中。

所以并不能根本解决OOM,所以我们这里需要设置为@Options(resultSetType = ResultSetType.FORWARD_ONLY)(其实默认就是ResultSetType.FORWARD_ONLY)

感谢各位的阅读,以上就是“Mybatis游标查询大量数据的方法是什么”的内容了,经过本文的学习后,相信大家对Mybatis游标查询大量数据的方法是什么这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是编程网,小编将为大家推送更多相关知识点的文章,欢迎关注!

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

Mybatis游标查询大量数据的方法是什么

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

Mybatis游标查询大量数据的方法是什么

这篇文章主要讲解了“Mybatis游标查询大量数据的方法是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Mybatis游标查询大量数据的方法是什么”吧!Mybatis游标查询大量数据对大
2023-06-29

Mybatis集成MySQL使用游标查询处理大批量数据方式

MyBatis集成MySQL游标查询,通过将结果集保留在数据库中,减少网络开销,延迟结果集处理和处理大数据集。优点包括减少网络消耗、分批处理和轻量化资源消耗。缺点包括潜在锁定、资源占用和复杂性。使用步骤涉及建立、打开、获取和关闭游标。MyBatis集成需要创建游标、配置连接和使用SqlSession创建游标。示例代码演示了如何使用游标查询。注意事项强调及时关闭游标、性能优化和使用批处理模式。
Mybatis集成MySQL使用游标查询处理大批量数据方式
2024-04-02

oracle大数据量查询优化的方法是什么

有几种方法可以优化Oracle中大数据量查询的性能:1. 创建合适的索引:根据查询条件和频繁使用的列,创建适当的索引可以大大提高查询性能。使用联合索引可以进一步优化查询性能。2. 使用查询提示:通过使用查询提示(Query Hints),可
2023-09-26

oracle大数据量查询优化的方法是什么

优化Oracle大数据量查询本文介绍了各种优化方法,以提高Oracle中大数据量查询的性能。这些方法包括创建索引、分区、物化视图,优化表连接,查询优化,以及硬件和配置优化。此外,文中还提供了其他技巧,如使用统计信息、并行查询、查询缓存和单行函数,以进一步提升查询性能。通过综合应用这些优化技术,可以显着提升Oracle数据库中大数据量查询的效率。
oracle大数据量查询优化的方法是什么
2024-04-08

mongodb查询数据量的方法是什么

要查询 MongoDB 数据集中的文档数量,可以使用 db.collection.count() 方法。具体步骤如下:打开 MongoDB shell。切换到要查询的数据库,例如 use mydatabase。运行以下命令来查询数据集中
mongodb查询数据量的方法是什么
2024-04-09

mybatis多个参数查询的方法是什么

在MyBatis中,可以使用@Param注解或者Map对象来传递多个参数进行查询。下面分别介绍这两种方法:使用@Param注解:@Select("SELECT * FROM table_name WHERE column1 = #{para
mybatis多个参数查询的方法是什么
2024-03-12

mongodb亿级数据量查询的方法是什么

为了有效地处理亿级数据量的查询,可以采取以下方法:1. 索引优化:创建适当的索引可以大大提高查询性能。在设计数据模式时,根据查询需求创建合适的索引可以避免全表扫描,提高查询效率。2. 分片技术:将数据分散存储在多个物理节点上,以达到横向扩展
2023-09-06

mysql查询数据的方法是什么

要查询数据,可以使用以下语法:SELECT column1, column2, ...FROM table_nameWHERE condition;其中:column1, column2, ... 是要查询的列名table_name
mysql查询数据的方法是什么
2024-04-09

MyBatis中分页查询的方法是什么

MyBatis中的分页查询可以通过使用RowBounds对象或者使用Mapper接口中的@SelectProvider注解来实现。具体步骤如下:使用RowBounds对象:int offset = 0; // 起始行int limit =
MyBatis中分页查询的方法是什么
2024-04-08

PHP海量数据存储和查询的方法是什么

PHP海量数据存储和查询方法PHP提供多种机制来高效存储和查询海量数据。存储方法包括关系型数据库(RDBMS)、非关系型数据库(NoSQL)、对象存储和搜索引擎。查询方法包括SQL查询、ORM、NoSQL驱动程序和聚合查询。其他考虑因素包括数据大小、性能要求、数据类型和预算。最佳实践包括选择合适的存储方法、优化查询、利用缓存和监控性能。通过选择合适的存储和查询方法并遵循最佳实践,PHP开发人员可以有效管理海量数据,为Web应用程序和数据分析提供强大的基础。
PHP海量数据存储和查询的方法是什么
2024-04-14

PHP海量数据存储和查询的方法是什么

在PHP中,海量数据存储和查询可以通过以下方法实现:1. 使用数据库:PHP支持多种数据库,如MySQL、PostgreSQL等。可以将海量数据存储在数据库中,并使用SQL查询语言进行查询和检索。2. 使用缓存:将海量数据存储在缓存中,如R
2023-08-29

hadoop数据库查询数据的方法是什么

Hadoop数据库查询数据的方法通常是通过Hive进行数据查询。Hive是一个数据仓库系统,它可以将结构化的数据文件映射成一张数据库表,并提供类似SQL的查询语言来查询数据。用户可以使用类似于SQL的语句在Hive中查询数据,然后Hive会
hadoop数据库查询数据的方法是什么
2024-03-04

mybatis动态字段查询的方法是什么

MyBatis提供了动态字段查询的方法,可以根据不同的条件动态选择需要查询的字段。以下是MyBatis中实现动态字段查询的方法:1. 使用``标签实现动态字段查询:```xmlSELECTidname*FROM user```在上述示例中,
2023-09-29

sqlserver数据库查询的方法是什么

在SQL Server数据库中,通常使用SQL语句来查询数据。以下是一些常用的查询语句:查询单个字段:SELECT column_name FROM table_name;查询多个字段:SELECT column1, column2 F
sqlserver数据库查询的方法是什么
2024-04-09

MyBatis分页查询优化的方法是什么

MyBatis分页查询的优化方法主要包括以下几点:使用分页插件:MyBatis提供了一些分页插件,如MyBatis-PageHelper、MyBatis-Paginator等,可以帮助简化分页查询的操作,提高查询效率。优化SQL查询语句:在
MyBatis分页查询优化的方法是什么
2024-03-04

mybatis-plus返回查询总记录数的方法是什么

这篇“mybatis-plus返回查询总记录数的方法是什么”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“mybatis-pl
2023-06-26

pgsql去重查询数据的方法是什么

要在PostgreSQL中进行去重查询数据,可以使用DISTINCT关键字。例如,以下是一个查询,该查询返回一个去除重复行的结果集:SELECT DISTINCT column1, column2FROM table_name;上面的查
pgsql去重查询数据的方法是什么
2024-04-27

MySQL数据查询优化的方法是什么

MySQL数据查询优化的方法主要包括以下几种:使用合适的索引:在表的字段上创建索引可以大大提高查询的性能。确保在经常用于查询的字段上创建索引,并避免创建过多的索引。避免使用通配符查询:尽量避免在查询条件中使用通配符(如”%”),因为它们会
MySQL数据查询优化的方法是什么
2024-04-09

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录