hbase与hive是怎么实现数据同步的

这期内容当中小编将会给大家带来有关hbase与hive是怎么实现数据同步的，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。

一、impala与hive的数据同步

首先，我们在hive命令行执行showdatabases;可以看到有以下几个数据库：

然后，我们在impala同样执行showdatabases;可以看到：

目前的数据库都是一样的。

下面，我们在hive里面执行create databaseqyk_test;创建一个数据库，如下：

然后，我们使用qyk_test这个数据库创建一张表，执行create table user_info(idbigint, account string, name string, age int) row format delimitedfields terminated by ‘\t';如下：

此时，我们已经在hive这边创建好了，然后直接在impala这边执行showdatabases;可以看到：

连qyk_test这个数据库都没有。

接下来，我们在impala执行INVALIDATEMETADATA;然后再查询可以看到：

数据库和表都会同步过来。

好了，笔者来做个总结：

如果在hive里面做了新增、删除数据库、表或者数据等更新操作，需要执行在impala里面执行INVALIDATEMETADATA;命令才能将hive的数据同步impala；

如果直接在impala里面新增、删除数据库、表或者数据，会自动同步到hive，无需执行任何命令。

二、hive与hbase的数据同步

首先，我们在hbase中创建一张表create ‘user_sysc', {NAME =>‘info'}，然后，我们在hive中执行

CREATEEXTERNALTABLEuser_sysc(keyint,valuestring)ROWFORMATSERDE 'org.apache.hadoop.hive.hbase.HBaseSerDe'STORED BY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITHSERDEPROPERTIES( 'serialization.format'='\t','hbase.columns.mapping'=':key,info:value','field.delim'='\t')TBLPROPERTIES ('hbase.table.name'='user_sysc')