我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Hbase 中 hbase-site.xml 参数含义

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Hbase 中 hbase-site.xml 参数含义

hbase.client.scanner.caching

定义在扫描器中调用next方法时取回的行数。数值越大,在扫描时客户端需要对RegionServer发出的远程调用次数越少。数值越大,客户端消耗内存越大。


hbase.balancer.period

region均衡器在HBase Master中周期性运行。该属性定义了均衡器运行的时间间隔,默认5分钟,单位毫秒。


hbase.client.write.buffer

客户端HTable实例写缓存,单位Byte。越大RPC调用越少,同时占用更多内存。


hbase.hregion.majorcompaction

大合并周期性合并。毫秒为单位,默认是一天。(通常建议不开启)


hbase.hregion.max

底层存储文件HStoreFile的最大值。region大小由这个参数定义。如果列族的存储文件超过这个值,region会被拆分。


hbase.hregion.memstore.flush.size

MemStore的最大值,单位是Byte。当MemStore超过这个值时,会被刷写到磁盘。一个周期性运行的线程检查MemStore的大小,线程运行频率可以由hbase.server.thread.wakefrequency定义

hbase.server.thread.wakefrequency


hbase.hregion.memstore.mslab.enabled

MemStore-Local Allocation Buffer是HBase的一个特性,用来在出现密集写时防止堆碎片化。开启它一般会环节由于堆太大引起的垃圾回收暂停太长的问题,默认是true。


hbase.hstore.blockingStoreFiles

如果region里某个列族存储文件数目超过这个值,写会阻塞掉,知道合并完成或者阻塞超时。超时是时间使用hbase.hstore.blockingWaitTime设置,单位毫秒。

hbase.hstore.blockingWaitTime


hbase.hstore.compaction.max

配置在单个小合并中进行合并的最多文件数。默认是7。


hbase.hstore.compactionThreshold

在某个列族的存储文件数达到这个值时,HBase在那个region上执行合并。给这个参数设置的值越大,导致执行合并频率越低,但花费时间也越长。


hbase.mapreduce.hfileoutputformat.blocksize

HFile数据块大小在每张表的每个列族层级进行设置,该参数决定HFile建立索引的粒度。数据块越小,随机读取性能越好,同时数据块索引占用的空间越大,消耗内存越多。在MapReduce作业中使用HFileOutputFormat直接把数据写到HFile时,必须用该属性定义数据块大小。


hbase.master.info.port

定义用户访问端口

http://master:port,默认是60010


hbase.master.port

是Master进程监听端口,默认值是60000.


hbase.regionserver.port

RegionServer的监听端口


hbase.regionserver.global.memstore.lowerLimithbase.regionserver.global.memstore.upperLimit

upperLimit定义在一个RegionServer上MemStore总共可以使用的堆百分比。遇到upperLimit的时候,MemStore被刷写道硬盘,知道遇到lowerLimit时停止。


hbase.regionserver.handler.count

在RegionServer和Master进程上可以启动RPC监听数量


hbase.regionserver.optionallogflushinterval

不论HLog文件中有多少edits, Hlog多久必须刷写一次文件系统。这个就是强制刷写的时间间隔,单位毫秒。默认是1000ms。


hbase.regionserver.regionSplitLimit

一个系统拥有的region数量的最大值,默认是MAX_INT(2147483647)


hbase.tmp.dir

本地HBase使用临时目录


hfile.block.cache.size

数据块缓存可以使用的堆最大量。数据块缓存算法是LRU。


zookeeper.session.timeout

HBase守护进程和客户端都是Zookeeper客户端。该参数是他们和Zookeeper之间会话超时时间,单位毫秒。


zookeeper.znode.parent

在ZooKeeper中HBase和znode根目录,默认值是/hbase。所有HBase的ZooKeeper文件都被配置为使用该目录作为父目录。


免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

Hbase 中 hbase-site.xml 参数含义

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

Hbase常用参数是什么

这篇文章给大家分享的是有关Hbase常用参数是什么的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。参数列表:hbase.client.write.buffer 写入是BUFFER大小,默认2M,一
2023-06-03

PyInstaller中有哪些参数和含义

本篇文章给大家分享的是有关PyInstaller中有哪些参数和含义,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。通用参数参数名描述说明-h显示帮助无-v显示版本号无–distp
2023-06-06

Linux环境中HBase数据清洗

在Linux环境中进行HBase数据清洗,通常涉及一系列步骤来确保数据的准确性、完整性和性能。以下是一些建议的步骤:环境准备:确保Linux系统上已安装HBase。安装必要的Python库,如happybase(用于与HBase交互)和p
Linux环境中HBase数据清洗
2024-10-20

hbase怎么修改表中数据

要修改HBase表中的数据,可以使用以下方法之一:使用put命令:使用put命令将新的值插入或更新到指定的行和列族中。语法如下:put 'table_name', 'row_key', 'column_family:column_qual
hbase怎么修改表中数据
2023-10-28

linux中open参数的含义是什么

本篇内容介绍了“linux中open参数的含义是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!open函数是linux 文件I/O读取的
2023-06-27

pytorch中backward的参数含义是什么

本文小编为大家详细介绍“pytorch中backward的参数含义是什么”,内容详细,步骤清晰,细节处理妥当,希望这篇“pytorch中backward的参数含义是什么”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧
2023-07-05

HBase中怎么分布存储数据

HBase是一个分布式的、面向列的NoSQL数据库,它可以存储大量的结构化数据。HBase中的数据是分布式存储的,主要通过以下几个步骤来实现数据的分布存储:行键设计:HBase中的数据是按照行键来存储和检索的,行键是数据的主键,根据行键的设
HBase中怎么分布存储数据
2024-04-09

Linux中变量参数$的含义是什么

本篇文章为大家展示了Linux中变量参数$的含义是什么,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。Linux变量参数$的含义   我们先写一个简单的脚本,执行以后再解释各个变量的意义 # touc
2023-06-13

Log4j ConversionPattern参数的格式含义

Log4j的ConversionPattern参数用于定义日志输出格式的模式。它由一个或多个转换符和可选的修饰符组成。常用的ConversionPattern参数格式含义如下:- %d:输出日志的日期时间,默认格式为ISO8601格式(例如
2023-09-28

HBase中怎么备份和恢复数据

在HBase中备份和恢复数据通常有两种方法:使用HBase自带的工具备份和恢复数据:备份数据:可以使用HBase的命令行工具或API来备份数据。通过执行类似于hbase backup create的命令或通过API调用,可以将数据备份到指定
HBase中怎么备份和恢复数据
2024-03-11

hbase怎么查看表中所有数据

要查看HBase表中的所有数据,可以使用HBase Shell命令行工具或者HBase REST API。使用HBase Shell命令行工具:打开终端并连接到HBase Shell。使用scan命令来查看表中的所有数据。例如,要查看名
hbase怎么查看表中所有数据
2024-03-05

hbase中怎么查询表数据大小

在HBase中查询表数据大小可以通过HBase shell中的count命令来实现。具体操作步骤如下:打开HBase shell并连接到HBase数据库。使用count命令查询表的数据行数,例如:count 'table_name'根据数据
hbase中怎么查询表数据大小
2024-03-02

编程热搜

目录