我的编程空间,编程开发者的网络收藏夹
学习永远不晚

MQ不丢消息究竟是怎么实现的

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

MQ不丢消息究竟是怎么实现的

本篇文章为大家展示了MQ不丢消息究竟是怎么实现的,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。


通过消息队列(MsgQueue,MQ)发送任务和消息,万一MQ重启了怎么办?能否保证MQ不丢消息?
今天就聊聊MQ的消息必达性架构与流程。
不丢消息,MQ架构设计的核心方向是什么?
MQ要想消息必达,架构上有两个核心设计点:
(1)消息落地;
(2)消息超时、重传、确认;

为了实现上述两个核心点,MQ架构如何?
MQ不丢消息究竟是怎么实现的
上图是一个MQ的核心架构图,可以分为三大块:
(1)发送方 -> 左侧粉色部分;
(2)MQ核心集群 -> 中间蓝色部分;
(3)接收方 -> 右侧屎黄色部分;

粉色发送方又由两部分构成:
(1)业务调用方;
(2)MQ-client-sender;
其中后者向前者提供了两个核心API

(1)SendMsg(bytes[] msg);

(2)SendCallback();

蓝色MQ核心集群又分为四个部分:

(1)MQ-server

(2)zk;

(3)db;

(4)管理后台web;


黄色接收方也由两部分构成:
(1)业务接收方;
(2)MQ-client-receiver;
其中后者向前者提供了两个核心API

(1)RecvCallback(bytes[] msg);

(2)SendAck();

MQ是一个系统间解耦的利器,它能够很好的解除发布订阅者之间的耦合,它将上下游的消息投递解耦成两个部分,如架构图中的1箭头和2箭头:

MQ不丢消息究竟是怎么实现的
箭头1:发送方将消息投递给MQ,上半场;
箭头2:MQ将消息投递给接收方,下半场;

MQ消息可靠投递核心流程如何?
MQ既然将消息投递拆成了上下半场,为了保证消息的可靠投递,上下半场都必须保证消息必达。
MQ不丢消息究竟是怎么实现的
MQ消息投递上半场,MQ-client-sender到MQ-server流程见上图1-3:
(1)MQ-client将消息发送给MQ-server;
画外音:此时业务方调用API:SendMsg。
(2)MQ-server将消息落地,落地后即为发送成功;
(3)MQ-server将应答发送给MQ-client;
画外音:此时回调业务API:SendCallback。

MQ不丢消息究竟是怎么实现的
MQ消息投递下半场,MQ-server到MQ-client-receiver流程见上图4-6:
(4)MQ-server将消息发送给MQ-client;
画外音:此时回调业务API:RecvCallback。
(5)MQ-client回复应答给MQ-server;
画外音:此时业务方主动调用API:SendAck。
(6)MQ-server收到ack,将之前已经落地的消息删除,完成消息的可靠投递;

如果消息丢了怎么办?
MQ消息投递的上下半场,都可以出现消息丢失,为了保证消息可达性,MQ需要进行超时和重传。

上半场如何实施超时与重传?
MQ不丢消息究竟是怎么实现的
MQ上半场的1或者2或者3如果丢失或者超时,MQ-client-sender内的timer会重发消息,直到期望收到3,如果重传N次后还未收到,则SendCallback回调发送失败,需要注意的是,这个过程中MQ-server可能会收到同一条消息的多次重发。

下半场如何实施超时与重传?
MQ不丢消息究竟是怎么实现的
MQ下半场的4或者5或者6如果丢失或者超时,MQ-server内的timer会重发消息,直到收到5并且成功执行6,这个过程可能会重发很多次消息。
画外音:一般采用指数退避的策略,先隔x秒重发,2x秒重发,4x秒重发,以此类推。
需要注意的是,这个过程中MQ-client-receiver也可能会收到同一条消息的多次重发。
MQ是系统之间的解耦利器,MQ为了保证消息必达,架构设计方向为:
(1)消息收到先落地;
(2)消息超时、重传、确认保证消息必达;

上述内容就是MQ不丢消息究竟是怎么实现的,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注编程网行业资讯频道。

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

MQ不丢消息究竟是怎么实现的

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

MQ不丢消息究竟是怎么实现的

本篇文章为大家展示了MQ不丢消息究竟是怎么实现的,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。通过消息队列(MsgQueue,MQ)发送任务和消息,万一MQ重启了怎么办?能否保证MQ不丢消息?今天就
2023-06-03

mq保证消息不丢失的方法是什么

MQ(消息队列)保证消息不丢失的方法主要有以下几种:1. 持久化机制:在发送消息时,将消息持久化到磁盘上,即使在消息队列崩溃或重启后,消息仍然可靠地保存在磁盘上。可以通过设置消息的持久化标志来实现。2. 消息确认机制:在消息消费者接收到消息
2023-10-12

kafka消息不丢失是如何实现的

Kafka通过以下几个方面来确保消息不丢失:持久化存储:Kafka使用持久化日志文件来存储消息,即将消息写入到硬盘上的文件中。这样即使发生硬件故障,消息仍然可以从磁盘中恢复。复制机制:Kafka使用复制机制来提供高可用性和故障容忍性。每个主
2023-10-20

深入探究 RocketMQ 事务机制的实现流程,为什么它能做到发送消息零丢失?

本文来自狸猫技术窝专栏《从零开始带你成为消息中间件实战高手》,是作者原子弹大侠开放的试读1、解决消息丢失的第一个问题:订单系统推送消息领丢失既然我们已经明确了消息在基于MQ传输的过程中可能丢失的几个地方,那么我们接着就得一步一步考虑如何去解
2023-06-03

php实现消息推送的原理是什么

这篇文章主要讲解了“php实现消息推送的原理是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“php实现消息推送的原理是什么”吧!一、PHP实现消息推送的基础在介绍PHP实现消息推送的原理
2023-07-06

Redis消息队列实现的方法是什么

Redis消息队列通常通过使用Redis的List数据结构来实现。消息生产者可以将消息推送到List中,而消息消费者可以从List中获取消息进行处理。通过使用Redis的原子操作来实现消息的生产和消费,可以确保消息队列的高效性和可靠性。一些
Redis消息队列实现的方法是什么
2024-04-22

怎么用Python语言的grpc实现消息传送

这篇“怎么用Python语言的grpc实现消息传送”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“怎么用Python语言的gr
2023-07-05

Redis中的消息队列序列化怎么实现

在Redis中实现消息队列序列化可以使用各种不同的方法,其中一种常见的方法是使用JSON序列化。可以将消息数据转换为JSON格式存储在Redis中,并在需要时将其反序列化为原始数据格式。以下是一个简单的示例代码,演示如何在Python中使
Redis中的消息队列序列化怎么实现
2024-04-29

PHP消息队列实现及运用的方法是什么

这篇文章主要讲解了“PHP消息队列实现及运用的方法是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“PHP消息队列实现及运用的方法是什么”吧!消息队列的概念、原理、实现方式概念队列结构的一
2023-07-04

.NET对接极光消息推送的实现方法是什么

今天就跟大家聊聊有关.NET对接极光消息推送的实现方法是什么,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。什么是APP消息推送?  很多手机APP会不定时的给用户推送消息,例如一些新
2023-06-26

java中的消息队列怎么利用多线程实现

java中的消息队列怎么利用多线程实现?相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。1、定义一个队列缓存池: //static修饰的成员变量和成员方法独立于该类的任何对象。也就
2023-05-31

C#怎么使用udp实现消息的接收和发送

本篇内容主要讲解“C#怎么使用udp实现消息的接收和发送”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“C#怎么使用udp实现消息的接收和发送”吧!使用udp实现消息的接收和发送代码比较简单,但是
2023-07-05

Kafka怎么实现消息的持久性和高可靠性

Kafka实现消息的持久性和高可靠性主要通过以下几个方面:分区复制:Kafka采用分区复制的机制来实现数据的持久性和高可靠性。每个主题被分成多个分区,每个分区可以有多个副本,副本分布在不同的Broker上。当生产者发送消息到Kafka集群时
Kafka怎么实现消息的持久性和高可靠性
2024-03-14

怎么用redis发布订阅方式实现简易的消息系统

这篇文章主要讲解了“怎么用redis发布订阅方式实现简易的消息系统”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“怎么用redis发布订阅方式实现简易的消息系统”吧!I. 基本使用1. 配置我
2023-06-19

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录