HiveHive创建数据库与创建数据库表
文章目录
- 创建数据库
- 创建数据库操作(增)
- 删除数据库(删)
- 修改数据库(改)
- 查看数据库详细信息(查)
- 数据库的切换:
- 创建数据库表操作
- 内部表与外部表的区别
- hive数据表基本操作(增删改查)
- Hive的数据类型
创建数据库
创建数据库操作(增)
创建数据库
# create database [if not exists] myhive; [表示可选可不选]
hive (default)> create database myhive;
hive (default)> show databases; #查看数据库
hive (default)> use myhive; #进入数据库
hive (myhive)>
- 说明:hive的表存放位置模式是由hive-site.xml当中的一个属性指定的
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
创建数据库并指定hdfs存储位置(自定义hive数据库的路径)
create database myhive2 location '/myhive2';
注意:hive的数据库、表、分区在HDFS的表现形式是文件夹
数据库的默认路径:/user/hive/warehouse
删除数据库(删)
删除一个空数据库,如果数据库下面有数据表,那么就会报错
(数据库内没有表可以删除,有表不能删除)
drop database myhive2;
强制删除数据库,包含数据库下面的表一起删除(危险动作)
drop database myhive cascade; # 不要执行(危险动作)
修改数据库(改)
可以使用alter database 命令来修改数据库的一些属性。但是数据库的元数据信息是不可更改的,包括数据库的名称以及数据库所在的位置(注:数据库不允许修改)
- 例如:修改数据库的创建日期
alter database myhive2 set dbproperties('createtime'='20880611');
查看数据库详细信息(查)
查看数据库基本信息
desc database myhive;
查看数据库更多详细信息
desc database extended myhive;
数据库的切换:
hive (default)> use myhive; #(数据库名)
hive (myhive)> show tables; #(查看数据表)
创建数据库表操作
创建数据库表语法
#CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
CREATE TABLE table_name #[可选可不选]
说明:
-
1、CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 IF NOT EXISTS 选项来忽略这个异常。
-
2、EXTERNAL关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATION),Hive 创建内部表时,会将数据移动到数据仓库指向的路径;
-
3、LIKE 允许用户复制现有的表结构,但是不复制数据。
-
4、ROW FORMAT DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char] [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char] | SERDE serde_name [WITH SERDEPROPERTIES(property_name=property_value, property_name=property_value, …)]
用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED,将会使用自带的 SerDe。在建表的时候,用户还需要为表指定列,用户在指定表的列的同时也会指定自定义的 SerDe,Hive通过 SerDe 确定表的具体的列的数据。 -
5、STORED AS
SEQUENCEFILE|TEXTFILE|RCFILE
如果文件数据是纯文本,可以使用 STORED AS TEXTFILE。如果数据需要压缩,使用 STORED AS SEQUENCEFILE。 -
6、CLUSTERED BY
对于每一个表(table)或者分区, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。
把表(或者分区)组织成桶(Bucket)有两个理由:
(1)获得更高的查询处理效率。桶为表加上了额外的结构,Hive 在处理有些查询时能利用这个结构。具体而言,连接两个在(包含连接列的)相同列上划分了桶的表,可以使用 Map 端连接 (Map-side join)高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以,可以大大较少JOIN的数据量。
(2)使取样(sampling)更高效。在处理大规模数据集时,在开发和修改查询的阶段,如果能在数据集的一小部分数据上试运行查询,会带来很多方便。
若创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。
- 创建基本数据表(默认内部表)
create table tableName(字段名称 字段类型,字段名称 字段类型)
或者
create table tableName(字段名称 字段类型,字段名称 字段类型) ROW FORMAT DELIMITED IELDS TERMINATED BY char #(char分隔符)
指定数据中字段与字段的分隔符 ‘\t’ 或 ',' 或 '|' 或其他
- 创建外部数据表:
create EXTERNAL table tableName(字段名称 字段类型,字段名称 字段类型)
建外部表需要指定数据的存储路径。通过LOCATION进行指定。
内部表与外部表的区别
在删除内部表时:内部表删除将表的元数据和数据同时删除。
在删除外部表时:外部表的元数据被删除,数据本身不删除。
hive数据表基本操作(增删改查)
use myhive; #切换数据库
create table stu(id int,name string); #创建数据表
insert into stu values (1,"zhangsan"); #插入数据
select * from stu; # 查询所有数据删除表
drop table tablename;
修改表
alter tablename ***
查看数据表
show tables;
查看表结构
desc tablename;
查看数据表
创建表并指定字段之间的分隔符
create table if not exists stu2(id int ,name string) row format delimited fields terminated by '\t' stored as textfile location '/user/stu2';
#插入数据
insert into stu2 values (1,"zhangsan");
insert into stu2 values (2,"lisi");
insert into stu2 values (3,"wangwu");
根据查询结果创建表
create table stu as select * from stu2;
根据已经存在的表结构创建表
create table stu like stu2;
查询表的类型
desc formatted stu2;
修改表
alter tablename ***
删除表
drop table tablename;
Hive的数据类型
基本数据类型
INT
BIGINT
FLOAT
DOUBLE
DEICIMAL
STRING
VARCHAR
CHAR
BINARY
TIMESTAMP
DATE
INTERVAL
ARRAY
复杂数据类型
MAP
STRUCT
UNION
Hive建表时需要的字段类型
+Types
分类 | 类型 | 描述 | 字面量示例 |
---|---|---|---|
INT | 4个字节的带符号整数 | 1 | |
BIGINT | 8字节带符号整数 | 1L | |
FLOAT | 4字节单精度浮点数1.0 | ||
DOUBLE | 8字节双精度浮点数 | 1.0 | |
DEICIMAL | 任意精度的带符号小数 | 1.0 | |
STRING | 字符串,变长 | “a”,’b’ | |
VARCHAR | 变长字符串 | “a”,’b’ | |
CHAR | 固定长度字符串 | “a”,’b’ | |
BINARY | 字节数组 | 无法表示 | |
TIMESTAMP | 时间戳,毫秒值精度 | 122327493795 | |
DATE | 日期 | ‘2016-03-29’ | |
INTERVAL | 时间频率间隔 | ||
复杂类型 | ARRAY | 有序的的同类型的集合 | array(1,2) |
MAP | key-value,key必须为原始类型,value可以任意类型 | map(‘a’,1,’b’,2) | |
STRUCT | 字段集合,类型可以不同 | struct(‘1’,1,1.0),named_stract(‘col1’,’1’,’col2’,1,’clo3’,1.0) | |
UNION | 在有限取值范围内的一个值 | create_union(1,’a’,63) |
HiveHive创建数据库与创建数据库表
文章目录
- 创建数据库
- 创建数据库操作(增)
- 删除数据库(删)
- 修改数据库(改)
- 查看数据库详细信息(查)
- 数据库的切换:
- 创建数据库表操作
- 内部表与外部表的区别
- hive数据表基本操作(增删改查)
- Hive的数据类型
创建数据库
创建数据库操作(增)
创建数据库
# create database [if not exists] myhive; [表示可选可不选]
hive (default)> create database myhive;
hive (default)> show databases; #查看数据库
hive (default)> use myhive; #进入数据库
hive (myhive)>
- 说明:hive的表存放位置模式是由hive-site.xml当中的一个属性指定的
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
创建数据库并指定hdfs存储位置(自定义hive数据库的路径)
create database myhive2 location '/myhive2';
注意:hive的数据库、表、分区在HDFS的表现形式是文件夹
数据库的默认路径:/user/hive/warehouse
删除数据库(删)
删除一个空数据库,如果数据库下面有数据表,那么就会报错
(数据库内没有表可以删除,有表不能删除)
drop database myhive2;
强制删除数据库,包含数据库下面的表一起删除(危险动作)
drop database myhive cascade; # 不要执行(危险动作)
修改数据库(改)
可以使用alter database 命令来修改数据库的一些属性。但是数据库的元数据信息是不可更改的,包括数据库的名称以及数据库所在的位置(注:数据库不允许修改)
- 例如:修改数据库的创建日期
alter database myhive2 set dbproperties('createtime'='20880611');
查看数据库详细信息(查)
查看数据库基本信息
desc database myhive;
查看数据库更多详细信息
desc database extended myhive;
数据库的切换:
hive (default)> use myhive; #(数据库名)
hive (myhive)> show tables; #(查看数据表)
创建数据库表操作
创建数据库表语法
#CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
CREATE TABLE table_name #[可选可不选]
说明:
-
1、CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 IF NOT EXISTS 选项来忽略这个异常。
-
2、EXTERNAL关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATION),Hive 创建内部表时,会将数据移动到数据仓库指向的路径;
-
3、LIKE 允许用户复制现有的表结构,但是不复制数据。
-
4、ROW FORMAT DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char] [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char] | SERDE serde_name [WITH SERDEPROPERTIES(property_name=property_value, property_name=property_value, …)]
用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED,将会使用自带的 SerDe。在建表的时候,用户还需要为表指定列,用户在指定表的列的同时也会指定自定义的 SerDe,Hive通过 SerDe 确定表的具体的列的数据。 -
5、STORED AS
SEQUENCEFILE|TEXTFILE|RCFILE
如果文件数据是纯文本,可以使用 STORED AS TEXTFILE。如果数据需要压缩,使用 STORED AS SEQUENCEFILE。 -
6、CLUSTERED BY
对于每一个表(table)或者分区, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。
把表(或者分区)组织成桶(Bucket)有两个理由:
(1)获得更高的查询处理效率。桶为表加上了额外的结构,Hive 在处理有些查询时能利用这个结构。具体而言,连接两个在(包含连接列的)相同列上划分了桶的表,可以使用 Map 端连接 (Map-side join)高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以,可以大大较少JOIN的数据量。
(2)使取样(sampling)更高效。在处理大规模数据集时,在开发和修改查询的阶段,如果能在数据集的一小部分数据上试运行查询,会带来很多方便。
若创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。
- 创建基本数据表(默认内部表)
create table tableName(字段名称 字段类型,字段名称 字段类型)
或者
create table tableName(字段名称 字段类型,字段名称 字段类型) ROW FORMAT DELIMITED IELDS TERMINATED BY char #(char分隔符)
指定数据中字段与字段的分隔符 ‘\t’ 或 ',' 或 '|' 或其他
- 创建外部数据表:
create EXTERNAL table tableName(字段名称 字段类型,字段名称 字段类型)
建外部表需要指定数据的存储路径。通过LOCATION进行指定。
内部表与外部表的区别
在删除内部表时:内部表删除将表的元数据和数据同时删除。
在删除外部表时:外部表的元数据被删除,数据本身不删除。
hive数据表基本操作(增删改查)
use myhive; #切换数据库
create table stu(id int,name string); #创建数据表
insert into stu values (1,"zhangsan"); #插入数据
select * from stu; # 查询所有数据删除表
drop table tablename;
修改表
alter tablename ***
查看数据表
show tables;
查看表结构
desc tablename;
查看数据表
创建表并指定字段之间的分隔符
create table if not exists stu2(id int ,name string) row format delimited fields terminated by '\t' stored as textfile location '/user/stu2';
#插入数据
insert into stu2 values (1,"zhangsan");
insert into stu2 values (2,"lisi");
insert into stu2 values (3,"wangwu");
根据查询结果创建表
create table stu as select * from stu2;
根据已经存在的表结构创建表
create table stu like stu2;
查询表的类型
desc formatted stu2;
修改表
alter tablename ***
删除表
drop table tablename;
Hive的数据类型
基本数据类型
INT
BIGINT
FLOAT
DOUBLE
DEICIMAL
STRING
VARCHAR
CHAR
BINARY
TIMESTAMP
DATE
INTERVAL
ARRAY
复杂数据类型
MAP
STRUCT
UNION
Hive建表时需要的字段类型
+Types
分类 | 类型 | 描述 | 字面量示例 |
---|---|---|---|
INT | 4个字节的带符号整数 | 1 | |
BIGINT | 8字节带符号整数 | 1L | |
FLOAT | 4字节单精度浮点数1.0 | ||
DOUBLE | 8字节双精度浮点数 | 1.0 | |
DEICIMAL | 任意精度的带符号小数 | 1.0 | |
STRING | 字符串,变长 | “a”,’b’ | |
VARCHAR | 变长字符串 | “a”,’b’ | |
CHAR | 固定长度字符串 | “a”,’b’ | |
BINARY | 字节数组 | 无法表示 | |
TIMESTAMP | 时间戳,毫秒值精度 | 122327493795 | |
DATE | 日期 | ‘2016-03-29’ | |
INTERVAL | 时间频率间隔 | ||
复杂类型 | ARRAY | 有序的的同类型的集合 | array(1,2) |
MAP | key-value,key必须为原始类型,value可以任意类型 | map(‘a’,1,’b’,2) | |
STRUCT | 字段集合,类型可以不同 | struct(‘1’,1,1.0),named_stract(‘col1’,’1’,’col2’,1,’clo3’,1.0) | |
UNION | 在有限取值范围内的一个值 | create_union(1,’a’,63) |
发布评论