我的编程空间,编程开发者的网络收藏夹
学习永远不晚

HBase写入异常RejectedExecutionException

短信预约 信息系统项目管理师 报名、考试、查分时间动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

HBase写入异常RejectedExecutionException

HBase写入异常RejectedExecutionException

HBase在大数据量并发写入时,写一段时间后HBase监控界面出现告警,写入程序日志里频繁出现异常java.util.concurrent.RejectedExecutionException

HBase在大数据量并发写入时,写一段时间后HBase监控界面出现告警,写入程序日志里频繁出现异常java.util.concurrent.RejectedExecutionException:

从异常堆栈信息可以看出是flush请求时被拒绝引起的,核对一下flush的代码。

我们单位办公电脑在内网里,不便粘贴代码和异常信息,这里手动写几行代码大体说明情况。

 1 Configuration conf = HBaseConfiguration.create();
 2 Connection connection = ConnectionFactory.createConnection(conf);
 3 Table table = null;
 4 try (Admin admin = connection.getAdmin()) {
 5   TableName tableName = TableName.valueOf("test:table");
 6   table = connection.getTable(tableName);
 7   table.put(puts);//List puts
 8   admin.flush(tableName);
 9 } finally {
10   if (table != null) {
11     table.close();
12   }
13 }

代码是每接受到一批List puts先进行写入然后立马flush。在大数据量的情况下导致flush请求太过频繁。HBase服务端一般是配置1-2个线程来处理flush请求,所以处理不完请求。

这里的flush太频繁是不合理的,把flush机制修改为了写入一定数据量或超过一定时间没有后才触发,问题就解决了。

这里顺便学习一下HBase触发flush的条件。引用前辈的链接吧,已经总结的很不错了。https://www.iteblog.com/archives/2497.html

 

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

HBase写入异常RejectedExecutionException

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

HBase写入异常RejectedExecutionException

HBase在大数据量并发写入时,写一段时间后HBase监控界面出现告警,写入程序日志里频繁出现异常java.util.concurrent.RejectedExecutionException HBase在大数据量并发写入时,写一段时间后HBas
HBase写入异常RejectedExecutionException
2022-01-25

HBase BucketAllocatorException 异常剖析

近日,观察到HBase集群出现如下WARN日志:2020-04-18 16:17:03,081 WARN [regionserver/xxx-BucketCacheWriter-1] bucket.BucketCache:Failed allocation
HBase BucketAllocatorException 异常剖析
2020-01-21

Linux上HBase的实时数据写入优化

在Linux上优化HBase的实时数据写入性能,可以从以下几个方面进行:调整HBase配置参数:hbase.regionserver.hlog.max.filesize:控制HLog文件的最大大小,较大的值可以减少HLog的旋转频率,但会增
Linux上HBase的实时数据写入优化
2024-10-20

Python 编写自己的异常

所有的异常都是在Python或者它的标准库中提前定义好的。根据自己的目的可以使用任意的异常类型,同时也可以自己定义异常类型,用来处理程序中可能会出现的特殊情况。        一个异常是一个类,即类Exception的一个子类。#编写异常U
2023-01-31

深入解析java.lang.ClassNotFoundException异常

1. 引言 在Java开发中,我们经常会遇到各种异常。其中,java.lang.ClassNotFoundException异常是一种常见的异常。本文将深入解析这个异常的定义、作用、产生原因以及常见场景。 1.1 介绍ClassNotFou
2023-08-30

java自定义异常类怎么写

要自定义一个异常类,你可以按照以下步骤进行操作:创建一个新的Java类,命名为你想要的异常类名,并继承自Exception类或其子类。例如:public class MyCustomException extends Exception {
java自定义异常类怎么写
2024-02-29

职位画像中phoenix链接HBase异常之版本不匹配

Phoenix简介Phoenix是一个基于HBase的开源SQL引擎,可以使用标准的JDBC API代替HBase客户端API来创建表,插入数据,查询你的HBase数据,它是完全使用Java编写,作为HBase内嵌的JDBC驱动使用。Phoenix查询引擎会将
职位画像中phoenix链接HBase异常之版本不匹配
2018-09-15

hdfs/hbase 程序利用Kerberos认证超过ticket_lifetime期限后异常

问题描述业务需要一个长期运行的程序,将上传的文件存放至HDFS,程序启动后,刚开始一切正常,执行一段时间(一般是一天,有的现场是三天),就会出现认证错误,用的JDK是1.8,hadoop-client,对应的版本是2.5.1,为什么强调这个版本号,因为错误的根
hdfs/hbase 程序利用Kerberos认证超过ticket_lifetime期限后异常
2016-11-12

以写代学:python 错误、异常、断言

1.错误(1)语法错误     语法错误指示软件的结构上有错误,导致不能被解释器解释或编译器无法编译。这些错误必须在程序执行前纠正。(2)逻辑错误     逻辑错误可能是由于不完整或是不合法的输入所致。还可能是逻辑无法生成,计算,或是输出结
2023-01-31

深入浅析Kotlin中的异常

这期内容当中小编将会给大家带来有关深入浅析Kotlin中的异常,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。Kotlin 基础教程之异常概述在Kotlin-null的处理里提到的NPE,它就是一个异常。而
2023-05-31

Oracle中如何编写异常处理代码

在Oracle中,异常处理代码通常使用PL/SQL语言来编写。以下是一个示例:DECLAREv_num1 NUMBER := 10;v_num2 NUMBER := 0;v_result NUMBER;BEGINv_result := v
Oracle中如何编写异常处理代码
2024-04-09

编程热搜

目录