KettleKettle整合Hive

KettleKettle整合Hive

文章目录

• 启动hive服务
• • 初始化数据
  • kettle与Hive整合
  • • Test11 [hive- –excel]
    • Test12 [excel-hive]
    • Test13 SQL脚本（Hive）

启动hive服务

#启动 hiveserver2
[root@node01 ~]#hive --service hiveserver2  &
#启动 metastore
[root@node01 ~]#hive --service metastore   &
# 开启10000端口
[root@node01 ~]# netstat -nap | grep 100000

初始化数据

1、连接hive

2、创建并切换数据库

#创建数据库
create database test;
#切换数据库
use test;

3、创建表

create table a(a int,b int
)
row format delimited fields terminated by ',' stored as TEXTFILE;
#查看表
show tables;

4、创建数据文件

vim a.txt
1,11
2,22
3,33

5、 从文件加载数据到表

hive>load data local inpath '/root/a.txt' into table a;

6、查询表

• 另一种方式创建表

#创建表
create table a (a int,b int);
#可以直接插入数据：
hive>insert into a values(1,11),(2,22),(3,33);

kettle与Hive整合

1、从虚拟机下载Hadoop的jar包

sz /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.0.jar

2、把jar包放置在\data-integration\lib目录下

3、重启kettle，重新加载生效

Test11 [hive- –excel]

Test12 [excel-hive]

配置 Excel输入组件


配置表输出组件


验证

Test13 SQL脚本（Hive）

KettleKettle整合Hive

文章目录

• 启动hive服务
• • 初始化数据
  • kettle与Hive整合
  • • Test11 [hive- –excel]
    • Test12 [excel-hive]
    • Test13 SQL脚本（Hive）

启动hive服务

#启动 hiveserver2
[root@node01 ~]#hive --service hiveserver2  &
#启动 metastore
[root@node01 ~]#hive --service metastore   &
# 开启10000端口
[root@node01 ~]# netstat -nap | grep 100000

初始化数据

1、连接hive

2、创建并切换数据库

#创建数据库
create database test;
#切换数据库
use test;

3、创建表

create table a(a int,b int
)
row format delimited fields terminated by ',' stored as TEXTFILE;
#查看表
show tables;

4、创建数据文件

vim a.txt
1,11
2,22
3,33

5、 从文件加载数据到表

hive>load data local inpath '/root/a.txt' into table a;

6、查询表

• 另一种方式创建表

#创建表
create table a (a int,b int);
#可以直接插入数据：
hive>insert into a values(1,11),(2,22),(3,33);

kettle与Hive整合

1、从虚拟机下载Hadoop的jar包

sz /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.0.jar

2、把jar包放置在\data-integration\lib目录下

3、重启kettle，重新加载生效

Test11 [hive- –excel]

Test12 [excel-hive]

配置 Excel输入组件


配置表输出组件


验证

Test13 SQL脚本（Hive）