我的编程空间,编程开发者的网络收藏夹
学习永远不晚

hadoop搭建的前期准备

短信预约 信息系统项目管理师 报名、考试、查分时间动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

hadoop搭建的前期准备

    这个hadoop的搭建是以比赛前的练习为目的的,所以我直接以root用户来搭建hadoop,主要也是方便我自己以后复习用的

  需要的软件:vmware15.5,xshell6,xftp6,jdk  Linux:centos7.4

1,创建主机 

    在虚拟机中用centos镜像创建3台主机,用于模拟之后的实验。具体的创建方式就不说了

2,设置静态IP   

vi /etc/sysconf ig/network-scripts/ifcfg-ens33

修改ifcfg-ens33文件的内容,把“dhcp"修改成”static“,并添加ip地址,掩码和网关。

BOOTPROTO = static
IPADDR = 192.168.1.10
NETMASK = 255.255.255.0
GEYWAY = 192.168.1.1
DNS1 = 8.8.8.8

但是有一个问题,配置静态ip后我的DNS失效了,以前也遇见过解决了,现在又忘了。

3,主机名修改

  Centos7.4修改主机名有两种方法,都有重启后才生效

方法一
hostnamectl set-hostname master hostnamectl set-hostname slave1 hostnamectl set-hostname slave2
init 0
方法二
vi /etc/hostname
  master
init 0

4,主机映射

vi /etc/hosts
#(每台主机都要添加)
172.16.1.2    master
172.16.1.3    slave1
172.16.1.4    slave2

5,关闭防护墙

关闭iptables

systemctl enable iptables        #让iptables开机不自启
systemctl stop iptables  

关闭selinux

service selinux stop
vim /etc/sysconfig/selinux
SELINUX=enforcing 改为 SELINUX=disabled

关闭firewalld

service firewalld stop
setenforce 0

6,配置免密码登入

ssh-keygen            #生成密钥
都按回车健,默认无密码。
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

  每台主要都要操作一遍,先生成密钥

7,安装JDK

 先在官网上下载jdk,文件:jdk-8u144-linux-x64.tar.gz 要注册oracle。然后使用XFTP上传文件到root目录下。

先配置环境变量

vi /etc/profile
  export JAVA_HOME=/usr/local/class="lazy" data-src/jdk
  export PATH=$PATH:JAVA_HOME/bin
source /etc/profile                         #使环境变量生效

然后解压文件,重命名文件名(个人习惯)

tar zxf /root/jdk-jdk-8u144-linux-x64.tar.gz -C /usr/local/class="lazy" data-src/
cd /usr/local/class="lazy" data-src 
mv jdk1.8.0_144 jdk

最后就是验证jdk是否有用

java -version

    8,时间同步

  伪分布式的hadoop不用

  利用Xshell的同时键入到所有的会话的功能发送命令

date               #查看当前的时间     
data -s "20191122 13:28:00"  #yyyymmdd hh:mm:ss

 

  最后:这个是我自己一直在用的方法,可能以后会有更好的

 

 

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

hadoop搭建的前期准备

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

hadoop搭建的前期准备

这个hadoop的搭建是以比赛前的练习为目的的,所以我直接以root用户来搭建hadoop,主要也是方便我自己以后复习用的  需要的软件:vmware15.5,xshell6,xftp6,jdk  Linux:centos7.41,创建主机     在虚拟机中
2018-10-28

IOS逆向前期环境准备笔记

ios系统由于效验问题,只能升级不能降级,需要特别注意, 刷系统可以在爱思上搞定; 越狱推荐使用u盘镜像及本地启动盘制作: 注意,要进去bios,关闭安全启动,不然直接失败: Checkra1n镜像:https://share.weiyu
2023-08-16

C#浏览器开发前期要准备什么

本篇内容介绍了“C#浏览器开发前期要准备什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!C#浏览器的打造一、简介大家都知道,目前比较流行的
2023-06-17

如何搭建Hadoop的环境

本篇内容主要讲解“如何搭建Hadoop的环境”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“如何搭建Hadoop的环境”吧!说明:这里我们以本地模式和伪分布模式伪列,为大家介绍如何搭建Hadoop
2023-06-02

docker搭建hadoop的方法是什么

要在Docker上搭建Hadoop,需要按照以下步骤进行操作:安装Docker:确保你的机器上已经安装了Docker。你可以访问官方网站(https://www.docker.com/get-started)根据你的操作系统下载和安装Doc
2023-10-27

linux搭建hadoop的步骤是什么

搭建Hadoop集群的步骤如下:1. 安装Linux操作系统:选择一种Linux发行版,如CentOS、Ubuntu等,并进行安装。2. 配置Java环境:Hadoop是基于Java开发的,所以需要先安装和配置Java环境。可以通过下载JD
2023-10-11

在CentOS中搭建Hadoop的详细步骤

搭建说明:第一次搭建 Hadoop 的小伙伴,请严格按照文章中的软件环境和步骤搭建,不一样的版本都可能会导致问题。 软件环境: 虚拟机:VMware Pro14 linux:CentOS-6.4(下载地址,下载DVD版本即可) JDK:Op
2022-06-04

Hadoop集群搭建的步骤是什么

搭建Hadoop集群的步骤如下:1. 准备环境:确保所有节点都安装了Java,并且网络可访问。2. 下载Hadoop:从Apache官网下载最新版本的Hadoop,并解压到每个节点。3. 配置Hadoop:在每个节点上编辑Hadoop的配置
2023-09-06

搭建hadoop集群的方式有哪些

搭建Hadoop集群的方式有以下几种:1. 手动搭建:手动在每个节点上安装和配置Hadoop组件,包括HDFS、YARN和MapReduce。需要手动创建配置文件,配置网络和权限等。适用于小规模集群,对系统和网络有较深的理解。2. Apac
2023-10-08

Hadoop高可用搭建的示例分析

这篇文章给大家分享的是有关Hadoop高可用搭建的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。Hadoop高可用搭建超详细实验环境1.安装jdk2.修改hostname3.修改hosts映射,并配置ss
2023-06-27

准备开店前的关键步骤

1.确定产品和市场在开设亚马逊店铺之前,首先需要确定你要销售的产品和目标市场。进行市场调研,了解产品的需求和竞争情况,选择一个有潜力的市场。2.注册亚马逊卖家账户访问亚马逊卖家中心网站,注册一个卖家账户。提供所需的信息,包括商业名称、联系信息和银行账户等。3.准备产品清单和库存创建一个产品清单,包括产品名称、描述、价格和库存数量等信息。确保你有足够的库存以满足订单需求。4.准备产品图片和描述拍摄高质量的产...
2023-10-27

怎么搭建一个简单的Hadoop集群

搭建一个简单的Hadoop集群可以分为以下几个步骤:准备环境:确保每台服务器上安装了Java环境,并且关闭防火墙和SELinux。下载Hadoop:从官方网站上下载最新版本的Hadoop,并解压到每台服务器的相同位置,例如/usr/loca
怎么搭建一个简单的Hadoop集群
2024-03-11

docker搭建hadoop集群的步骤是什么

安装Docker:首先安装Docker,确保系统上已经安装了Docker。创建Docker镜像:创建一个包含Hadoop的Docker镜像。可以根据官方的Dockerfile文件或者自己编写Dockerfile来创建镜像。启动Hadoop容
docker搭建hadoop集群的步骤是什么
2024-04-09

工作流引擎开发前的准备

对于有些对工作流好奇或者想自己开发个工作流引擎的朋友,今天我们来谈下开发一个工作流引擎需要做些什么,干事前咱得先知道要干些啥,所以得明白一个工作流引擎大体都需要包含哪些模块;那么首先,咱得提供一个流程建模的地方,不说做可视化流程建模
2023-06-02

编程热搜

目录