我的编程空间,编程开发者的网络收藏夹
学习永远不晚

kafka 消费者相关参数

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

kafka 消费者相关参数

1.enable.auto.commit

ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG = "enable.auto.commit";

是否自动提交,默认是true,通常为了保证消费的数据不异常,设置成false。设置false时,配合max.poll.interval.ms参数,根据自身消费者处理消息的能力,进行设值,消费消息后手动提交。

2.max.poll.interval.ms

ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG = "max.poll.interval.ms";

使用消费者组管理时调用poll()之间的最大延迟。这为消费者在获取更多记录之前可以空闲的时间设置了一个上限。如果在超时之前没有调用poll(),则认为消费者失败,组将重新平衡,以便将分区重新分配给另一个成员。根据自身消费消息的能力设值,默认值30*1000ms。

3.max.poll.records

ConsumerConfig.MAX_POLL_RECORDS_CONFIG = "max.poll.records";

在一次调用poll()中返回的最大记录数,默认值为500。根据自身业务消费消息能力设值,不要超过max.poll.interval.ms时间内最大处理消息个数。

4.auto.commit.interval.ms

ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG = "auto.commit.interval.ms";

如果enable.auto.commit设置为true,消费者偏移量自动提交到Kafka的频率(单位为毫秒),默认值5000ms。

5.session.timeout.ms

ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG = "session.timeout.ms";

当使用Kafka的组管理功能时,用来检测消费者故障的超时。使用者定期向代理发送心跳以指示其活动状态。如果在此会话超时到期之前代理没有接收到心跳,则代理将从组中删除此消费者并启动重新平衡。该值必须在group.min.session.timeout.ms和group.max.session.timeout.ms在代理配置中配置的允许范围内。默认值10*1000ms(单位为毫秒)。

6.heartbeat.interval.ms

ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG = "heartbeat.interval.ms";

使用Kafka的组管理工具时,从心跳到消费者协调器之间的预期时间。心跳用于确保消费者会话保持活跃,并在新消费者加入或离开组时促进重新平衡。该值必须小于session.timeout。但通常不应设置为高于该值的1/3。它可以被调整得更低,以控制正常再平衡的预期时间。默认值3*1000ms(单位为毫秒)。

7.auto.offset.reset

ConsumerConfig.AUTO_OFFSET_RESET_CONFIG = "auto.offset.reset";

参数为"latest"表示从分区末尾开始消费消息,参数为"earliest"表示从起始处开始消费消息。默认值是latest。

8.max.partition.fetch.bytes

ConsumerConfig.MAX_PARTITION_FETCH_BYTES_CONFIG = "max.partition.fetch.bytes";

从每个分区里返回给Consumer的最大数据量,默认值为1048576(B),即1MB。此参数要配合broker的max.message.size设置,如果设置的比max.message.size小,那么消费者就可能无法正常读取到消息,比如broker能够读取到了2M的数据,但是消费者最大只能接受1M,就会有问题。

9.fetch.min.bytes

ConsumerConfig.FETCH_MIN_BYTES_CONFIG = "fetch.min.bytes";

服务器为获取请求应返回的最小数据量。如果可用数据不足,则请求将等待足够多的数据积累后再响应请求。默认设置为1字节意味着只要有一个字节的数据可用,或者读取请求就会超时等待数据到达。将该值设置为大于1的值将导致服务器等待更大量的数据积累,这可以以一些额外的延迟为代价提高服务器吞吐量。默认值为1(B)。

10.fetch.max.bytes

ConsumerConfig.FETCH_MAX_BYTES_CONFIG = "fetch.max.bytes";

服务器应为获取请求返回的最大数据量,这不是绝对的最大值,如果获取的第一个非空分区中的第一条消息大于此值,则仍将返回该消息以确保使用者能够取得进展。broker接受的最大消息大小是通过message.max.bytes(broker配置)或max.message.bytes(topic配置)定义的。请注意,消费者并行执行多个fetches。默认值为52428800(B),也就是50MB。

11.fetch.max.wait.ms

ConsumerConfig.FETCH_MAX_WAIT_MS_CONFIG = "fetch.max.wait.ms";

如果没有足够的数据来立即满足fetch.min.bytes给出的要求,服务器在响应获取请求之前阻塞的最大时间。默认值:500ms(毫秒)。

12.request.timeout.ms

ConsumerConfig.REQUEST_TIMEOUT_MS_CONFIG = "request.timeout.ms";

配置控制客户端等待请求响应的最大时间。如果在超时之前没有收到响应,客户端将在必要时重新发送请求,或者在重试次数用尽时失败请求。默认值为30*1000(毫秒)。

注意:以上参数是kafka1.0.2版本。

来源地址:https://blog.csdn.net/dong__CSDN/article/details/129857319

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

kafka 消费者相关参数

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

kafka-3python生产者和消费者

程序分为productor.py是发送消息端,consumer为消费消息端,启动的时候先启动product再启动consumer,毕竟只有发了消息,消费端才有消息可以消费,productor.py#!/usr/bin/env python2
2023-01-31

kafka消费者kafka-console-consumer接收不到数据的解决

这篇文章主要介绍了kafka消费者kafka-console-consumer接收不到数据的问题及解决方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
2023-03-07

kafka消费者kafka-console-consumer接收不到数据如何解决

这篇“kafka消费者kafka-console-consumer接收不到数据如何解决”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看
2023-07-05

Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者

1、查看kafka队列中topic信息 1.1、查看所有topic ./kafka-topics.sh --zookeeper 10.128.106.52:2181 --list 1.2、查看kafka中指定topic的详情 ./kafk
2023-08-21

使用 kafka-go 在 Kafka 中计划创建消费者

编程并不是一个机械性的工作,而是需要有思考,有创新的工作,语法是固定的,但解决问题的思路则是依靠人的思维,这就需要我们坚持学习和更新自己的知识。今天编程网就整理分享《使用 kafka-go 在 Kafka 中计划创建消费者》,文章讲解的知识
使用 kafka-go 在 Kafka 中计划创建消费者
2024-04-05

kafka运维consumer-groups.sh消费者组管理

这篇文章主要为大家介绍了kafka运维consumer-groups.sh消费者组管理,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
2022-11-16

kafka查看消费数据

在老版本中,使用kafka-run-class.sh 脚本进行查看。但是对于最新版本,kafka-run-class.sh 已经不能使用,必须使用另外一个脚本才行,它就是kafka-consumer-groups.sh普通版查看所有组要想查
2023-01-31

Kafka中生产者和消费者指的是什么

在Kafka中,生产者和消费者是指Kafka消息系统中参与消息传递的两种角色。生产者是指负责向Kafka集群中的主题(topic)发布消息的客户端应用程序。生产者将消息发送到指定的主题,并且可以选择指定消息的键(key),以及消息所属的分
Kafka中生产者和消费者指的是什么
2024-03-14

flink 使用sql实现kafka生产者和消费者

1.maven依赖 UTF-8 1.8 1.8 1.11.2 1.1.7 1.7.25 org.a

	flink 使用sql实现kafka生产者和消费者
2015-10-30

使用 sarama 监控 Kafka 生产者和消费者的性能数据

从现在开始,我们要努力学习啦!今天我给大家带来《使用 sarama 监控 Kafka 生产者和消费者的性能数据》,感兴趣的朋友请继续看下去吧!下文中的内容我们主要会涉及到等等知识点,如果在阅读本文过程中有遇到不清楚的地方,欢迎留言呀!我们一
使用 sarama 监控 Kafka 生产者和消费者的性能数据
2024-04-04

如何解析Kafka 1.0.0 多消费者示例

如何解析Kafka 1.0.0 多消费者示例,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。package kafka.demo;import java.util.HashMap
2023-06-02

Kafka的消费者如何管理消息的偏移量

Kafka的消费者可以通过两种方式来管理消息的偏移量:手动管理和自动管理。手动管理:消费者可以通过调用commitSync或commitAsync方法来手动提交消息的偏移量。在手动管理模式下,消费者可以灵活地决定何时提交偏移量,以及提交的偏
Kafka的消费者如何管理消息的偏移量
2024-03-11

Python脚本消费kafka数据

kafka简介(摘自百度百科)一、简介:详见:https://blog.csdn.net/Beyond_F4/article/details/80310507二、安装详见博客:https://blog.csdn.net/beyond_f4/
2023-01-31

kafka消费不到数据问题

出问题现象 最近项目使用到了kafka,别的系统作为生产者,我们系统作为消费者,但是经常出现消费者消费一段时间就不消费了,根本就触发不了kafkaListener的拉取动作。换一个消费者组,从最新的位置消费又可以消费的到,但是消费一段时间就
2023-08-16

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录