hadoop搭建、mysql、hive部署

【注】：

dfs.replication默认是3，此处我们只需要伪分布式，所以设置为1即可；

dfs.permissions 设置为false代表所有用户都可以在hdfs上操作文件，这只是为了以后利用eclipse的hadoop插件上传下载文件方便

6. 配置mapred-site.xml

此文件原本不存在，只有一个模板文件mapred-site.xml.template

将其复制一份并改名为mapred-site.xml（注意路径为hadoop2.7.3/etc/hadoop）

vim /software /Hadoop-2.7.3/etc/hadoop/mapred-site.xml

在****标签添加：

​

​

​ mapreduce.framework.name

​ yarn

​

7. 配置yarn-site.xml

vim /software /Hadoop-2.7.3/etc/hadoop/yarn-site.xml

在****标签添加：

​

​ yarn.resourcemanager.hostname

​ hadoop

​

​

​

​ yarn.nodemanager.aux-services

​ mapreduce_shuffle

​

7 启动hadoop

此时hadoop已经成功安装配置，在首次启动之前，需要对namenode进行格式化（类似于新买的硬盘需要格式化一样，因为hdfs本身就是一个文件系统）

命令： hdfs namenode -format

以下3个部分一致即格式化成功

启动hadoop的hdfs：

命令：start-dfs.sh

输入jps，只要出现以下进程即启动成功：

启动mapreduce：（需要先启动hdfs）：

命令：start-yarn.sh

利用jps命令查看进程：

除了jps命令，还可以通过web界面来查看（建议使用google浏览器，同时注意关闭防火墙）

hdfs web界面：

ip地址:50070

mapreduce web界面：

ip地址:8088

以上就是hadoop环境搭建教程，下面如果退出请先stop-all.sh 关闭进程。

二、 Mysql安装，调试

1 安装包下载

切换到/software目录（基于本次教程）cd /software

执行下面命令：

wget https://cdn.mysql.com/archives/mysql-5.7/mysql-community-client-5.7.35-1.el7.x86_64.rpm

wget https://cdn.mysql.com/archives/mysql-5.7/mysql-community-common-5.7.35-1.el7.x86_64.rpm

wget https://cdn.mysql.com/archives/mysql-5.7/mysql-community-libs-5.7.35-1.el7.x86_64.rpm

wget https://cdn.mysql.com/archives/mysql-5.7/mysql-community-libs-compat-5.7.35-1.el7.x86_64.rpm

wget https://cdn.mysql.com/archives/mysql-5.7/mysql-community-server-5.7.35-1.el7.x86_64.rpm

下载安装包（直接复制所有命令，输入即可，部分时候可能因为网络问题，多次尝试）

2．2 安装mysql

执行该命令需要联网，注意虚拟机网络连接

yum install -y mysql-community-*-5.7.35-1.el7.x86_64.rpm 

3 修改密码

开始mysql服务器并初始化密码

命令：systemctl start mysqld # 开启MySQL服务器

cat /var/log/mysqld.log | grep password # 查看默认初始生成的密码

以root用户登陆Mysql

命令：mysql -u root -p

设置密码等级并修改密码

set global validate_password_length=4;

set global validate_password_policy=0; # 设置密码等级

ALTER USER ‘root’@‘localhost’ IDENTIFIED WITH mysql_native_password BY ‘您的密码’; # 修改默认密码，注意替换后面的密码

4 创建用户并赋予权限

CREATE USER ‘test’@‘%’ IDENTIFIED BY ‘123456’； #创建“test”用户，设置为允许远程登录

grant all on . to ‘test’@‘%’; #赋予此用户所有数据库的所有权限（增删改查）

5 连接navicat软件

报错分析：防火墙未关闭

查看防火墙状态：systemctl status firewalld

关闭防火墙：systemctl stop firewalld

永久禁用：systemclt disable firewalld

三、 hive安装，数据筛选

1 解压数据包，配置环境变量

tar -xzvf hive-1.1.0-cdh5.4.5.tar.gz -C /opt/ #解压文件mv hive-1.1.0-cdh5.4.5.tar.gz hive #修改名称 vi /etc/profile #修改环境变量

将hive的bin目录，添加到环境变量PATH中，保存退出。

export HIVE_HOME=/opt/hive  export PATH=$HIVE_HOME/bin:$PATH 

执行source命令，使Hive环境变量生效。

source /etc/profile 

2 由于hive 需要将元数据，存储到MySQL中。所以需要拷贝/opt/software目录下的 mysql-connector-java-5.1.26-bin.jar 到 hive 的 lib 目录下。

3 下面配置Hive，切换到/opt/hive/conf目录下，创建hive的配置文件hive-site.xml。

cd /software/hive/conf

touch hive-site.xml

使用 vi 打开 hive-site.xml 文件。

vi hive-site.xml

将下列配置添加到 hive-site.xml 中。

              javax.jdo.option.ConnectionURL  jdbc:mysql://hadoop:3306/hive?createDatabaseIfNotExist=true&useSSL=false                     javax.jdo.option.ConnectionDriverName       com.mysql.jdbc.Driver                              javax.jdo.option.ConnectionUserName                root                              javax.jdo.option.ConnectionPassword       123456         

由于Hive的元数据会存储在Mysql数据库中，所以需要在Hive的配置文件中，指定mysql的相关信息。
javax.jdo.option.ConnectionURL：数据库链接字符串。
此处的主机名，需要设置为自身系统的主机名。这里的主机名为：hadoop
javax.jdo.option.ConnectionDriverName：连接数据库的驱动包。
javax.jdo.option.ConnectionUserName：数据库用户名。
javax.jdo.option.ConnectionPassword：连接数据库的密码。
此处的数据库的用户名及密码，需要设置为自身系统的数据库用户名及密码。

4 另外，还需要告诉Hive，Hadoop的环境配置。所以我们需要修改 hive-env.sh 文件。
首先我们将 hive-env.sh.template 重命名为 hive-env.sh。

mv /opt/hive/conf/hive-env.sh.template  /opt/hive/conf/hive-env.sh 

使用 vi 打开hive-env.sh文件。

vi hive-env.sh 

追加 Hadoop的路径，以及 Hive配置文件的路径到文件中。

# Set HADOOP_HOME to point to a specific hadoop install directory # HADOOP_HOME=${bin}/../../hadoop HADOOP_HOME=/opt/hadoop  # Hive Configuration Directory can be controlled by: # export HIVE_CONF_DIR= export HIVE_CONF_DIR=/opt/hive/conf 

5 下一步是配置MySQL，用于存储Hive的元数据。

schematool -initSchema -dbType mysql

如果出现1045错误或者视频里最后的错误，多半删除数据库再创建就行

首先，需要保证 MySQL 已经启动。执行以下命令，查看MySQL的运行状态。

service mysqld status 

若没有启动，执行启动命令。

service mysqld start 或者systemctl restart mysqld

6 开启MySQL数据库。

mysql -u root -p 

输入密码进入数据库
创建名为 hive 的数据库，编码格式为 latin1，用于存储元数据。

mysql> create database hive CHARACTER SET latin1; 

查看数据库 hive是否创建成功。

mysql> show databases; 

输入exit 退出 MySQL

mysql> exit; 

7 执行测试。由于Hive对数据的处理，依赖MapReduce计算模型，所以需要保证Hadoop相关进程已经启动。( /opt/hadoop/sbin/start-all.sh )

启动Hadoop后，在终端命令行界面，直接输入hive便可启动Hive命令行模式。

输入HQL语句查询数据库，测试Hive是否可以正常使用。

hive> show databases; 

最后全部搭建成功，是左栏的hive库里有如下数据表才可，否则在mysql安装成功和hive失败的情况下，下面左栏是没有数据的。

来源地址：https://blog.csdn.net/weixin_61587867/article/details/131104901