我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Oracle表连接操作——Hash Join(哈希连接)下

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Oracle表连接操作——Hash Join(哈希连接)下

 

Hash Join是Oracle CBO时代经常出现的一种连接方式,对海量数据处理时经常出现在执行计划里。本篇的上篇(http://space.itpub.net/17203031/viewspace-697442 介绍了Hash Join的一些外部特征和操作算法流程,下面我们一起看下一些影响到Hash Join的重要参数和内部指标。

 

3Hash Join相关参数

 

Hash JoinCBO优化器才能生成的执行计划操作,如果是选择了RBO就不能生成包括Hash Join的执行计划。此外,与Hash Join相关的Oracle参数还包括下面几个:

 

ü        Hash_Join_Enable

 

该参数是控制CBO启用Hash Join的开关。如果设置为True,则表示CBO可以使用Hash Join连接方式,否则就不可以使用。在目前的版本中,该参数已经演化为一个隐含参数,名称为“_hash_join_enable”。

 

 

SQL> col name for a20;

SQL> col value for a10;

SQL> col DESCRIB for a30;

SQL> SELECT x.ksppinm NAME, y.ksppstvl VALUE, x.ksppdesc describ

  2  FROM SYS.x$ksppi x, SYS.x$ksppcv y

  3  WHERE x.inst_id = USERENV ('Instance')

  4  AND y.inst_id = USERENV ('Instance')

  5  AND x.indx = y.indx

  6  AND x.ksppinm LIKE '%hash_join_enable%';

 

NAME                 VALUE      DESCRIB

-------------------- ---------- ------------------------------

_hash_join_enabled   TRUE       enable/disable hash join

 

 

该参数的隐式化,也就说明了CBO已经成熟到一定程度,Oracle官方不希望我们禁用掉这种Hash Join连接方式。当然,我们可以从systemsession两层均可以暂时的禁用掉hash Join

 

//此时_hash_join_enable=true

SQL> explain plan for select * from segs, tabs where segs.segment_name=tabs.table_name;

Explained

 

SQL> select * from table(dbms_xplan.display);

 

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

Plan hash value: 2106473715

---------------------------------------------------------------------------

| Id  | Operation          | Name | Rows  | Bytes | Cost (%CPU)| Time     |

---------------------------------------------------------------------------

|   0 | SELECT STATEMENT   |      |   990 |   354K|    25   (4)| 00:00:01 |

|*  1 |  HASH JOIN         |      |   990 |   354K|    25   (4)| 00:00:01 |

|   2 |   TABLE ACCESS FULL| TABS |   968 |   229K|    11   (0)| 00:00:01 |

|   3 |   TABLE ACCESS FULL| SEGS |  2267 |   274K|    13   (0)| 00:00:01 |

---------------------------------------------------------------------------

Predicate Information (identified by operation id):

---------------------------------------------------

   1 - access("SEGS"."SEGMENT_NAME"="TABS"."TABLE_NAME")

15 rows selected

//session层面禁用hash_join连接

SQL> alter session set "_hash_join_enabled"=false;

Session altered

 

NAME                 VALUE      DESCRIB

-------------------- ---------- ------------------------------

_hash_join_enabled   FALSE      enable/disable hash join

 

//相同的SQL,此时参数环境已经变化;

SQL> explain plan for select * from segs, tabs where segs.segment_name=tabs.table_name;

Explained

 

SQL> select * from table(dbms_xplan.display);

 

PLAN_TABLE_OUTPUT

---------------------------------------------------------------------------------------------------

Plan hash value: 3475644097

 

------------------------------------------------------------------------------------

| Id  | Operation           | Name | Rows  | Bytes |TempSpc| Cost (%CPU)| Time     |

------------------------------------------------------------------------------------

|   0 | SELECT STATEMENT    |      |   990 |   354K|       |   144   (2)| 00:00:02 |

|   1 |  MERGE JOIN         |      |   990 |   354K|       |   144   (2)| 00:00:02 |

|   2 |   SORT JOIN         |      |   968 |   229K|   712K|    65   (2)| 00:00:01 |

|   3 |    TABLE ACCESS FULL| TABS |   968 |   229K|       |    11   (0)| 00:00:01 |

|*  4 |   SORT JOIN         |      |  2267 |   274K|   824K|    79   (2)| 00:00:01 |

|   5 |    TABLE ACCESS FULL| SEGS |  2267 |   274K|       |    13   (0)| 00:00:01 |

------------------------------------------------------------------------------------

Predicate Information (identified by operation id):

---------------------------------------------------

   4 - access("SEGS"."SEGMENT_NAME"="TABS"."TABLE_NAME")

       filter("SEGS"."SEGMENT_NAME"="TABS"."TABLE_NAME")

已选择18行。

 

可见,当我们session级别禁用了hash Join连接之后,CBO不能进行Hash Join路径选择。于是选择了Merge Join路径,显然无论是执行时间还是CPU成本,Merge Join略逊一筹。

 

ü        Hash_Area_Size

 

Hash Join操作是依赖独立的私有空间,我们称之为Hash_AreaHash AreaJoin过程中的作用就是将连接小表尽可能的缓存在Hash Area中,供进行Hash匹配和Bucket内部精确匹配。Hash Area是贮存在PGA中,属于会话session独立的一块空间。如果Hash Area较小,不足以存放小表全部数据,就会引起Temp表空间的使用,进而影响Hash Join性能。

 

SQL> show parameter hash

 

NAME                                 TYPE        VALUE

------------------------------------ ----------- ------------------------------

hash_area_size                       integer     131072

 

 

因为每一个会话都会开启一个Hash Area进行Hash 操作,所以通常Hash Area的大小不会设置很大。与Hash Area类似的空间是Sort Area,用于进行SQL语句中的Order by操作,也是一个依赖分配的参数项目。通常,Hash Area被分配大小为Sort Area的两倍。

 

 

SQL> show parameter sort_area

 

NAME                                 TYPE        VALUE

------------------------------------ ----------- ------------------------------

sort_area_retained_size              integer     0

sort_area_size                       integer     65536

 

 

进入Oracle 9i之后,特别是10g出现,Oracle共享内存和独占内存分配策略呈现自动化和自适应化的趋势,而且这种技术也逐渐成熟。DBA只需要确定Oracle数据库总的内存使用大小(memory_target),就会根据算法、负载不断调整实现自适应的内存分区调整。

 

作为PGA分配,Oracle推出的自动调控参数是pga_aggregate_target,表示所有会话的PGA总分配大小。如果不启用PGA自动分配,该参数值就是设置为0

 

SQL> show parameter pga

 

NAME                                 TYPE        VALUE

------------------------------------ ----------- ------------------------------

pga_aggregate_target                 big integer 0

 

 

 

ü        Hash_multiblock_io_count

 

该参数表示在进行Hash Join连接操作的时候,一次可以读取的块个数。在最新的版本中,该参数已经变成了一个隐含参数。

 

SQL> SELECT x.ksppinm NAME, y.ksppstvl VALUE, x.ksppdesc describ

  2  FROM SYS.x$ksppi x, SYS.x$ksppcv y

  3  WHERE x.inst_id = USERENV ('Instance')

  4  AND y.inst_id = USERENV ('Instance')

  5  AND x.indx = y.indx

  6  AND x.ksppinm LIKE '%hash_multiblock%';

 

NAME                           VALUE      DESCRIB

------------------------------ ---------- ------------------------------

_hash_multiblock_io_count      0          number of blocks hash join wil

                                          l read/write at once

 

 

这个参数可以追溯到Oracle 8i时代,当时设置的默认值为1。在以后的版本中,通常设置为0。这个参数对IO影响重大,不同的硬件环境、系统负载下效果不同。所以,当设置为0的时候,Oracle是会每次自动计算该值。

 

作为我们来讲,最好不要进行该参数的设置。

 

4、连接三模式

 

Hash Join比较Merge Sort Join一个比较优势的地方,就是对PGA空间的有限使用上。但是,使用PGA毕竟是一种风险操作。因为Hash AreaSort Area一样,在小表不能完全装入系统时,会调用Temp表空间的硬盘空间。这样,就会引起一些问题。

 

下面关于三种模式的阐述,借鉴八神前辈的《Oracle Hash Join》(http://www.alidba.net/index.php/archives/440)。特此表示感谢。

 

针对不同的状态,Oracle分别有不同的模式对应。

 

Optimal模式

 

这是我们进行Hash Join的最理想情况。驱动表(小表)生成的Hash数据集合可以完全存放在Hash Area的时候,我们称之为Optimal模式。

 

ü        首先找到驱动表,获取到驱动表。存放在Hash_Area中;

ü        Hash Area中,对驱动表进行Hash操作,形成Hash Bulket,形成对应的分区信息。针对多个Bulket,同时形成一个Bitmap列表,做到BulketBitmap位的联系;

ü        在各个Bulket中,分布着不同的数据行。如果连接列分布比较均匀,Bulket中数据也就比较均匀。如果Bulket中包括数据,对应该BulketBitmap位上为1,否则为0

ü        找被驱动表的每一列,将连接列值进行Hash处理。匹配Bitmap位,如果Bitmap0,表示该列值没有存在,直接抛弃。否则进入Bulket进行精确匹配;

 

 

Onepass模式

 

如果我们设置的PGA空间小,或者连接的小表体积就已经很大了,那么就会利用到临时表空间。具体处理,就是进行两次的Hash处理,在Bulket层面的上面建立Partition分区。

 

当进行Hash操作的时候,出现的情形是一部分的Partition在内存中,另一部分Partition被存放在Temp表空间上。

 

在进行连接匹配的时候,如果能够在Bitmap中确定到Partition在内存中,那么直接在内存中进行检索和精确匹配过程。否则从Temp表空间中将对应的Partition调取到内存中,进行匹配操作。

 

 

Multipass模式

 

这是一种很极端的情况,如果Hash Area小到一个Partition都装不下。当进行Hash操作后,只有半个Partition能装入到Hash Area

 

这种情况下,如果一个Partition匹配没有做到,还不能够放弃操作,要将剩下一半的Partition获取到进行Hash Join匹配。也就是一个Partition要经过两次的Bitmap匹配过程。

 

 

5、结论

 

Hash Join是一种效率很高,CBO时代很常见的连接方式。但是,相对于其他古典算法,Hash Join的综合效率很高,特别在海量数据时代。

 

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

Oracle表连接操作——Hash Join(哈希连接)下

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

Oracle表连接操作——Hash Join(哈希连接)下

Hash Join是Oracle CBO时代经常出现的一种连接方式,对海量数据处理时经常出现在执行计划里。本篇的上篇(http://space.itpub.net/17203031/viewspace-697442) 介绍了Hash Jo
2023-06-06

Oracle表连接操作——Hash Join(哈希连接)上

在Oracle中,确定连接操作类型是执行计划生成的重要方面。各种连接操作类型代表着不同的连接操作算法,不同的连接操作类型也适应于不同的数据量和数据分布情况。 无论是Nest Loop Join(嵌套循环),还是Merge Sort Jo
2023-06-06

Linux下连接Oracle数据库并进行一系列操作

Linux下操作Oracle数据库 操作Oracle要确保服务器上已经安装了Oracle数据库 1.连接到有Oracle数据库的服务器 ssh 172.16.100.201 (服务器IP)如图 2.根据提示,输入服务器root密码,输入无
2023-08-24

ODBC Oracle连接中的批量操作优化

在使用ODBC连接Oracle数据库时,可以考虑进行批量操作优化来提高性能和效率。以下是一些优化方法:使用批量操作:使用批量操作可以减少与数据库的通信次数,提高性能。可以考虑使用Oracle的内置批量操作功能或者通过ODBC驱动程序支持的批
ODBC Oracle连接中的批量操作优化
2024-07-15

Oracle数据库如何实现连接Java并操作

今天就跟大家聊聊有关Oracle数据库如何实现连接Java并操作,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。建立连接public class DbConn { private s
2023-05-31

如何在MySQL中进行跨表查询和连接操作

在MySQL中进行跨表查询和连接操作通常使用JOIN语句来实现。以下是一些常用的跨表查询和连接操作方式:内连接(INNER JOIN):返回两个表中有匹配关系的记录。SELECT * FROM table1INNER JOIN table
如何在MySQL中进行跨表查询和连接操作
2024-04-09

利用Python连接Oracle数据库的基本操作指南

这里我们采用的是使用Oracle数据库进行相关操作在连接数据库之间,应下载相应的工具包cx_Oracle,在你安装的python文件夹中找到script,在路径栏点击输入cmd回车进入命令行输入pip install cx_Oracle
2022-06-13

如何在不同操作系统上配置ODBC Oracle连接

在不同操作系统上配置ODBC Oracle连接的步骤略有不同,以下是在Windows和Linux操作系统上配置ODBC Oracle连接的一般步骤:在Windows操作系统上配置ODBC Oracle连接:打开“控制面板”并进入“管理工具
如何在不同操作系统上配置ODBC Oracle连接
2024-07-15

MySQL查询进阶操作从函数到表连接的使用

这篇文章主要介绍了MySQL查询进阶从函数到表连接的使用,包括mysql函数的使用,MySQL的分组分页及查询关键字的执行顺序,本文通过实例代码给大家介绍的非常详细,需要的朋友可以参考下
2022-11-13

VS2022连接数据库MySQL并进行基本的表的操作指南

vs2022中连接mysql1.连接MYSQL2.添加MySQL的引用环境配置测试代码在vs里面运行sql语句启动vs2022,在菜单栏里面选择视图,打开服务器资源管理器右键数据连接,点击添加连接然后发现有MySQL选项,进入里
2023-05-12

Oracle数据库连接并访问Microsoft SQL Server数据库操作步骤

目录说明: 操作步骤:总结说明: 1.实际开发中,oracle数据库与SQLServer数据库之间可能需要相互进行访问,方便业务数据抽取,编写视图及表等操作。2.SQLServer访问Oracle数据库配置相对较为简
Oracle数据库连接并访问Microsoft SQL Server数据库操作步骤
2024-08-23

DBeaver连接本地MySQL并创建数据库/表的基础操作教程

本文详细讲解了使用DBeaver连接本地MySQL数据库以及创建数据库和表的基本操作。具体步骤如下:连接MySQL启动DBeaver创建连接,选择MySQL驱动填写连接信息,测试并保存连接创建数据库右键单击数据库导航器选择“新建”>“数据库”输入数据库名称,选择字符集和排序创建表右键单击数据库选择“新建”>“表”输入表名,添加列设置主键,单击“确定”创建表本文还提供了Java代码示例,演示如何连接MySQL数据库、创建数据库和表。
DBeaver连接本地MySQL并创建数据库/表的基础操作教程
2024-04-02

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录