hadoop机制有哪些

本篇内容介绍了“hadoop机制有哪些”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

简述 checkpoint机制

这里主要是用到了SN的作用，通过SN复制了原NN中的日志文件和SN中原有的镜像文件相结合，通过这样的原理，SN等同于是NN的一个副本，当NN服务器遇到故障重启时，可以通过SN来恢复数据。

如何单独重启 Namenode

  dfs-sh.start

简述HDFS读数据原理 

客户端将请求发给NN,然后NN同意读数据，然后NN通过客户端的请求信息从它里面的元数据去找数据的位置（存储要读取的数据的block块在那三个DN里），然后把这些信息返回给客户端，客户端再通过这些信息去DN中拿数据。

如何启动zookeeper集群，如何确定zookeeper集群启动成功，如何停止zookeeper集群

ZkCli.sh,zkCli.sh status,zkCli.sh stop

简述HDFS的HA高可用集群原理 

最少需要两台NN服务器，当其中一台NN服务器遇到故障，hadoop由于自带了一个False检测文件，它会间隔一小段时间就会向另一台服务器发送心跳告诉另一台服务器，它监管的这台在用的服务器有没有问题，监测正在运行服务器是不是坏掉了，当它检测到服务器坏掉之后，它会告诉它连接的另一台在standby的服务器，然后standby的服务器就会启动。

关于standby的服务器如何和正在运行的服务器的数据保持一致:

两台服务器之间有一个数据文件监管系统，由zookeeper集群管理它，通过zookeeper保证它的数据一致性并且对它进行上下文调度管理，它用来保存runing服务器的变化的日志文件，然后发送到standby服务器上，standby服务器会根据这些日志文件以及本身的元数据形成一个与running服务器保持一致的服务器。

关于脑裂：有时候可能因为网络原因，false检查工具还是发送了需求让standby启动，这样就同时存在了两台NN服务器，这时候数据就会混乱。

脑裂的处理办法:1. kill -9  2.使用shell脚本

“hadoop机制有哪些”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注编程网网站，小编将为大家输出更多高质量的实用文章！