我的编程空间,编程开发者的网络收藏夹
学习永远不晚

elasticsearch集群zendiscovery的Ping机制是什么

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

elasticsearch集群zendiscovery的Ping机制是什么

这篇文章主要介绍“elasticsearch集群zendiscovery的Ping机制是什么”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“elasticsearch集群zendiscovery的Ping机制是什么”文章能帮助大家解决问题。

     zenDiscovery实现机制

    ping是集群发现的基本手段,通过在网络上广播或者指定ping某些节点获取集群信息,从而可以找到集群的master加入集群。zenDiscovery实现了两种ping机制:广播与单播。本篇将详细分析一些这MulticastZenPing机制的实现为后面的集群发现和master选举做好铺垫。

    广播的过程

    首先看一下广播(MulticastZenPing),广播的原理很简单,节点启动后向网络发送广播信息,任何收到的节点只要集群名字相同都应该对此广播信息作出回应。这样该节点就获取了集群的相关信息。它定义了一个action:"internal:discovery/zen/multicast"和广播的信息头:INTERNAL_HEADER 。之前说过NettyTransport是cluster通信的基础,但是广播却没有使它。它使用了java的MulticastSocket。这里简单的介绍一下MulticastSocket的使用。它是一个UDP 机制的socket,用来进行多个数据包的广播。它可以帮到一个ip形成一个group,任何MulticastSocket都可以join进来,组内的socket发送的信息会被订阅了改组的所有机器接收到。elasticsearch对其进行了封装形成了MulticastChannel,有兴趣可以参考相关源码。 

    首先看一下MulticastZenPing的几个辅助内部类:

    elasticsearch集群zendiscovery的Ping机制是什么

    它总共定义了4个内部类,这些内部类和它一起完成广播功能。FinalizingPingCollection是一pingresponse的容器,所有的响应都用它来存储。MulticastPingResponseRequestHandler它是response处理类,类似于之前所说的nettytransportHandler,它虽然使用的不是netty,但是它也定义了一个messageReceived的方法,当收到请求时直接返回一个response。

    MulticastPingResponse就不用细说了,它就是一个响应类。最后要着重说一下Receiver类,因为广播并不是使用NettyTransport,因此对于消息处理逻辑都在Receiver中。在初始化MulticastZenPing时会将receiver注册进去。

    protected void doStart() throws ElasticsearchException {        try {            ....            multicastChannel = MulticastChannel.getChannel(nodeName(), shared,                    new MulticastChannel.Config(port, group, bufferSize, ttl, networkService.resolvePublishHostAddress(address)),                    new Receiver());//将receiver注册到channel中        } catch (Throwable t) {          ....        }    }

    Receiver类基础了Listener,实现了3个方法,消息经过onMessage方法区分,如果是内部ping则使用handleNodePingRequest方法处理,否则使用handleExternalPingRequest处理,区分方法很简单,就是读取信息都看它是否符合所定义的INTERNAL_HEADER 信息头。

    nodeping处理代码

    private void handleNodePingRequest(int id, DiscoveryNode requestingNodeX, ClusterName requestClusterName) {           ....            final DiscoveryNodes discoveryNodes = contextProvider.nodes();            final DiscoveryNode requestingNode = requestingNodeX;            if (requestingNode.id().equals(discoveryNodes.localNodeId())) {                // 自身发出的ping,忽略                return;            }        //只接受本集群ping            if (!requestClusterName.equals(clusterName)) {            ...return;            }            // 两个client间不需要ping            if (!discoveryNodes.localNode().shouldConnectTo(requestingNode)) {return;            }        //新建一个response            final MulticastPingResponse multicastPingResponse = new MulticastPingResponse();            multicastPingResponse.id = id;            multicastPingResponse.pingResponse = new PingResponse(discoveryNodes.localNode(), discoveryNodes.masterNode(), clusterName, contextProvider.nodeHasJoinedClusterOnce());        //无法连接的情况            if (!transportService.nodeConnected(requestingNode)) {                // do the connect and send on a thread pool                threadPool.generic().execute(new Runnable() {                    @Override                    public void run() {                        // connect to the node if possible                        try {                            transportService.connectToNode(requestingNode);                            transportService.sendRequest(requestingNode, ACTION_NAME, multicastPingResponse, new EmptyTransportResponseHandler(ThreadPool.Names.SAME) {                                @Override                                public void handleException(TransportException exp) {                                    logger.warn("failed to receive confirmation on sent ping response to [{}]", exp, requestingNode);                                }                            });                        } catch (Exception e) {                            if (lifecycle.started()) {                                logger.warn("failed to connect to requesting node {}", e, requestingNode);                            }                        }                    }                });            } else {                transportService.sendRequest(requestingNode, ACTION_NAME, multicastPingResponse, new EmptyTransportResponseHandler(ThreadPool.Names.SAME) {                    @Override                    public void handleException(TransportException exp) {                        if (lifecycle.started()) {                            logger.warn("failed to receive confirmation on sent ping response to [{}]", exp, requestingNode);                        }                    }                });            }        }    }

    另外的一个方法是处理外部ping信息,处理过程是返回cluster的信息(这种外部ping的具体作用没有研究不是太清楚)。以上是响应MulticastZenPing的过程,收到其它节点的响应信息后它会把本节点及集群的master节点相关信息返回给广播节点。这样广播节点就获知了集群的相关信息。在MulticastZenPing类中还有一个类 MulticastPingResponseRequestHandler,它的作用是广播节点对其它节点对广播信息响应的回应,广播节点的第二次发送信息的过程。它跟其它TransportRequestHandler一样它有messageReceived方法,在启动时注册到transportserver中,只处理一类action:"internal:discovery/zen/multicast"。

    ping请求的发送策略

    代码如下:

    public void ping(final PingListener listener, final TimeValue timeout) {       ....    //产生一个id        final int id = pingIdGenerator.incrementAndGet();        try {            receivedResponses.put(id, new PingCollection());            sendPingRequest(id);//第一次发送ping请求            // 等待时间的1/2后再次发送一个请求            threadPool.schedule(TimeValue.timeValueMillis(timeout.millis() / 2), ThreadPool.Names.GENERIC, new AbstractRunnable() {                @Override                public void onFailure(Throwable t) {                    logger.warn("[{}] failed to send second ping request", t, id);                    finalizePingCycle(id, listener);                }                @Override                public void doRun() {                    sendPingRequest(id);            //再过1/2时间再次发送一个请求                    threadPool.schedule(TimeValue.timeValueMillis(timeout.millis() / 2), ThreadPool.Names.GENERIC, new AbstractRunnable() {                        @Override                        public void onFailure(Throwable t) {                            logger.warn("[{}] failed to send third ping request", t, id);                            finalizePingCycle(id, listener);                        }                        @Override                        public void doRun() {                            // make one last ping, but finalize as soon as all nodes have responded or a timeout has past                            PingCollection collection = receivedResponses.get(id);                            FinalizingPingCollection finalizingPingCollection = new FinalizingPingCollection(id, collection, collection.size(), listener);                            receivedResponses.put(id, finalizingPingCollection);                            logger.trace("[{}] sending last pings", id);                            sendPingRequest(id);                //最后一次发送请求,超时的1/4后                            threadPool.schedule(TimeValue.timeValueMillis(timeout.millis() / 4), ThreadPool.Names.GENERIC, new AbstractRunnable() {                                @Override                                public void onFailure(Throwable t) {                                    logger.warn("[{}] failed to finalize ping", t, id);                                }                                @Override                                protected void doRun() throws Exception {                                    finalizePingCycle(id, listener);                                }                            });                        }                    });                }            });        } catch (Exception e) {            logger.warn("failed to ping", e);            finalizePingCycle(id, listener);        }    }

    发送过程主要是调用sendPingRequest(id)方法,在该方法中会将id,信息头,版本,本地节点信息一起写入到BytesStreamOutput中然后将其进行广播,这个广播信息会被其它机器上的Receiver接收并处理,并且响应该ping请求。另外一个需要关注的是以上加说明的部分,它通过链时的定期发送请求,在等待时间内可能会发出4次请求,这种发送方式会造成大量的ping请求重复,幸好ping的资源消耗小,但是好处是可以尽可能保证在timeout这个时间段内集群的新增节点都能收到这个ping信息。在单播中也采用了该策略。

    关于“elasticsearch集群zendiscovery的Ping机制是什么”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识,可以关注编程网行业资讯频道,小编每天都会为大家更新不同的知识点。

    免责声明:

    ① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

    ② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

    elasticsearch集群zendiscovery的Ping机制是什么

    下载Word文档到电脑,方便收藏和打印~

    下载Word文档

    猜你喜欢

    elasticsearch集群zendiscovery的Ping机制是什么

    这篇文章主要介绍“elasticsearch集群zendiscovery的Ping机制是什么”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“elasticsearch集群zendiscovery的Pi
    2023-06-30

    mongodb集群数据机制是什么

    MongoDB集群数据机制是指在分布式环境下,MongoDB如何管理和复制数据以确保高可用性和容错性。MongoDB通过复制集(replica set)来实现数据复制和故障恢复。一个复制集由多个MongoDB实例组成,其中一个为主节点(pr
    2023-09-06

    Elasticsearch集群是怎么搭建的

    Elasticsearch集群是怎么搭建的,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。一:资源集群: gh-cluster节点1:gh-cluster-node-01
    2023-06-04

    redis集群选举机制是什么

    Redis集群的选举机制是基于Raft算法的一种实现。在Redis集群中,每个节点都有可能成为领导者(leader),而其他节点则成为追随者(follower)。选举机制的目的是为了确保集群中只有一个领导者,以确保数据的一致性和可用性。在
    redis集群选举机制是什么
    2024-04-09

    elasticsearch集群cluster主要功能是什么

    这篇文章主要介绍“elasticsearch集群cluster主要功能是什么”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“elasticsearch集群cluster主要功能是什么”文章能帮助大家解
    2023-06-30

    Elasticsearch节点、集群、分片及副本是什么

    这篇文章主要讲解了“Elasticsearch节点、集群、分片及副本是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Elasticsearch节点、集群、分片及副本是什么”吧!Elast
    2023-06-28

    elasticsearch的master选举机制是什么

    Elasticsearch的主节点选举机制是通过Zen Discovery和Unicast Discovery两个插件来实现的。Zen Discovery插件是Elasticsearch的默认插件,它使用一种基于选举的机制来选举主节点。当
    2023-10-23

    redis集群宕机条件是什么

    Redis集群宕机的条件可能有以下几种:1. 主节点宕机:当Redis集群的主节点宕机时,该主节点上的数据将不可用,客户端无法访问该节点上的数据。2. 多个从节点同时宕机:如果Redis集群的多个从节点同时宕机,主节点的数据备份将无法进行,
    2023-08-23

    Hive中跨集群复制的概念是什么

    Hive中跨集群复制指的是将一个Hive元数据(包括表结构、分区、数据位置等)从一个Hive集群复制到另一个Hive集群的过程。这种复制过程可以帮助用户在不同的Hive集群之间共享元数据,避免重复创建表和维护元数据的工作。跨集群复制可以通
    Hive中跨集群复制的概念是什么
    2024-03-14

    SpringBoot集成ElasticSearch的代码是什么

    这篇“SpringBoot集成ElasticSearch的代码是什么”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“Sprin
    2023-06-29

    Linux集群的原理是什么

    Linux集群的原理是什么,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。Linux集群原理Linux集群系统包括集群节点和集群管理器两部分。集群节点有时简称为节点、服务器或
    2023-06-13

    hadoop集群的作用是什么

    Hadoop集群是一个开源的分布式计算框架,用于存储和处理大规模数据集。其作用主要包括以下几个方面:存储大规模数据:Hadoop集群可以存储大规模的数据,将数据分散存储在不同的节点上,实现数据的分布式存储。处理大规模数据:Hadoop集群提
    hadoop集群的作用是什么
    2024-04-09

    MongoDB的副本集同步机制是什么

    MongoDB的副本集同步机制是通过Oplog(操作日志)来实现的。在MongoDB的副本集中,每个节点都保存着一个Oplog,用来记录所有的写操作。当主节点执行写操作时,会先将这个写操作记录到自己的Oplog中,然后再将这个操作同步到副本
    MongoDB的副本集同步机制是什么
    2024-05-07

    编程热搜

    • Python 学习之路 - Python
      一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
      Python 学习之路 - Python
    • chatgpt的中文全称是什么
      chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
      chatgpt的中文全称是什么
    • C/C++中extern函数使用详解
    • C/C++可变参数的使用
      可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
      C/C++可变参数的使用
    • css样式文件该放在哪里
    • php中数组下标必须是连续的吗
    • Python 3 教程
      Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
      Python 3 教程
    • Python pip包管理
      一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
      Python pip包管理
    • ubuntu如何重新编译内核
    • 改善Java代码之慎用java动态编译

    目录