HiveHive创建数据库与创建数据库表

文章目录

  • 创建数据库
    • 创建数据库操作(增)
    • 删除数据库(删)
    • 修改数据库(改)
    • 查看数据库详细信息(查)
    • 数据库的切换:
  • 创建数据库表操作
    • 内部表与外部表的区别
  • hive数据表基本操作(增删改查)
  • Hive的数据类型

创建数据库

创建数据库操作(增)

创建数据库

# create database [if not exists] myhive;   [表示可选可不选]
hive (default)>  create database  myhive;
hive (default)> show databases;   #查看数据库
hive (default)> use myhive;       #进入数据库
hive (myhive)> 

  • 说明:hive的表存放位置模式是由hive-site.xml当中的一个属性指定的
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>

创建数据库并指定hdfs存储位置(自定义hive数据库的路径)

create database myhive2 location '/myhive2';

注意:hive的数据库、表、分区在HDFS的表现形式是文件夹
数据库的默认路径:/user/hive/warehouse

删除数据库(删)

删除一个空数据库,如果数据库下面有数据表,那么就会报错
(数据库内没有表可以删除,有表不能删除)

drop  database  myhive2;

强制删除数据库,包含数据库下面的表一起删除(危险动作)

drop  database  myhive  cascade; #  不要执行(危险动作)

修改数据库(改)

可以使用alter database 命令来修改数据库的一些属性。但是数据库的元数据信息是不可更改的,包括数据库的名称以及数据库所在的位置(注:数据库不允许修改

  • 例如:修改数据库的创建日期
alter  database  myhive2  set  dbproperties('createtime'='20880611');

查看数据库详细信息(查)

查看数据库基本信息

desc  database  myhive;

查看数据库更多详细信息

desc database extended  myhive; 

数据库的切换:

hive (default)> use myhive;  #(数据库名)
hive (myhive)> show tables;  #(查看数据表) 

创建数据库表操作

创建数据库表语法

#CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 
CREATE TABLE  table_name    #[可选可不选]

说明:

  • 1、CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 IF NOT EXISTS 选项来忽略这个异常。

  • 2、EXTERNAL关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATION),Hive 创建内部表时,会将数据移动到数据仓库指向的路径;

  • 3、LIKE 允许用户复制现有的表结构,但是不复制数据。

  • 4、ROW FORMAT DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char] [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char] | SERDE serde_name [WITH SERDEPROPERTIES(property_name=property_value, property_name=property_value, …)]
    用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED,将会使用自带的 SerDe。在建表的时候,用户还需要为表指定列,用户在指定表的列的同时也会指定自定义的 SerDe,Hive通过 SerDe 确定表的具体的列的数据。

  • 5、STORED AS
    SEQUENCEFILE|TEXTFILE|RCFILE
    如果文件数据是纯文本,可以使用 STORED AS TEXTFILE。如果数据需要压缩,使用 STORED AS SEQUENCEFILE。

  • 6、CLUSTERED BY
    对于每一个表(table)或者分区, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。
    把表(或者分区)组织成桶(Bucket)有两个理由:
    (1)获得更高的查询处理效率。桶为表加上了额外的结构,Hive 在处理有些查询时能利用这个结构。具体而言,连接两个在(包含连接列的)相同列上划分了桶的表,可以使用 Map 端连接 (Map-side join)高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以,可以大大较少JOIN的数据量。
    (2)使取样(sampling)更高效。在处理大规模数据集时,在开发和修改查询的阶段,如果能在数据集的一小部分数据上试运行查询,会带来很多方便。

若创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据

  • 创建基本数据表(默认内部表)
create table tableName(字段名称 字段类型,字段名称 字段类型)
或者
create table tableName(字段名称 字段类型,字段名称 字段类型) ROW FORMAT DELIMITED IELDS TERMINATED BY char  #(char分隔符)
指定数据中字段与字段的分隔符 ‘\t’ 或 ',' 或 '|' 或其他
  • 创建外部数据表:
create EXTERNAL table tableName(字段名称 字段类型,字段名称 字段类型)
建外部表需要指定数据的存储路径。通过LOCATION进行指定。

内部表与外部表的区别

在删除内部表时:内部表删除将表的元数据和数据同时删除。
在删除外部表时:外部表的元数据被删除,数据本身不删除。

hive数据表基本操作(增删改查)

use myhive;   #切换数据库
create table stu(id int,name string);  #创建数据表
insert into stu values (1,"zhangsan"); #插入数据
select * from stu;   # 查询所有数据删除表 
drop table tablename; 
修改表 
alter tablename *** 
查看数据表 
show tables; 
查看表结构
desc tablename; 


查看数据表

创建表并指定字段之间的分隔符

create  table if not exists stu2(id int ,name string) row format delimited fields terminated by '\t' stored as textfile location '/user/stu2';
#插入数据  
insert into stu2 values (1,"zhangsan");
insert into stu2 values (2,"lisi");
insert into stu2 values (3,"wangwu");


根据查询结果创建表

create table stu as select * from stu2;

根据已经存在的表结构创建表

create table stu like stu2;

查询表的类型

desc formatted  stu2;

修改表

alter tablename ***

删除表

drop table tablename; 

Hive的数据类型

基本数据类型
INT 
BIGINT 
FLOAT 
DOUBLE 
DEICIMAL 
STRING 
VARCHAR 
CHAR 
BINARY 
TIMESTAMP 
DATE 
INTERVAL 
ARRAY
复杂数据类型
MAP 
STRUCT 
UNION

Hive建表时需要的字段类型
+Types

分类类型描述字面量示例
INT4个字节的带符号整数1
BIGINT8字节带符号整数1L
FLOAT4字节单精度浮点数1.0
DOUBLE8字节双精度浮点数1.0
DEICIMAL任意精度的带符号小数1.0
STRING字符串,变长“a”,’b’
VARCHAR变长字符串“a”,’b’
CHAR固定长度字符串“a”,’b’
BINARY字节数组无法表示
TIMESTAMP时间戳,毫秒值精度122327493795
DATE日期‘2016-03-29’
INTERVAL时间频率间隔
复杂类型ARRAY有序的的同类型的集合array(1,2)
MAPkey-value,key必须为原始类型,value可以任意类型map(‘a’,1,’b’,2)
STRUCT字段集合,类型可以不同struct(‘1’,1,1.0),named_stract(‘col1’,’1’,’col2’,1,’clo3’,1.0)
UNION在有限取值范围内的一个值create_union(1,’a’,63)

HiveHive创建数据库与创建数据库表

文章目录

  • 创建数据库
    • 创建数据库操作(增)
    • 删除数据库(删)
    • 修改数据库(改)
    • 查看数据库详细信息(查)
    • 数据库的切换:
  • 创建数据库表操作
    • 内部表与外部表的区别
  • hive数据表基本操作(增删改查)
  • Hive的数据类型

创建数据库

创建数据库操作(增)

创建数据库

# create database [if not exists] myhive;   [表示可选可不选]
hive (default)>  create database  myhive;
hive (default)> show databases;   #查看数据库
hive (default)> use myhive;       #进入数据库
hive (myhive)> 

  • 说明:hive的表存放位置模式是由hive-site.xml当中的一个属性指定的
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>

创建数据库并指定hdfs存储位置(自定义hive数据库的路径)

create database myhive2 location '/myhive2';

注意:hive的数据库、表、分区在HDFS的表现形式是文件夹
数据库的默认路径:/user/hive/warehouse

删除数据库(删)

删除一个空数据库,如果数据库下面有数据表,那么就会报错
(数据库内没有表可以删除,有表不能删除)

drop  database  myhive2;

强制删除数据库,包含数据库下面的表一起删除(危险动作)

drop  database  myhive  cascade; #  不要执行(危险动作)

修改数据库(改)

可以使用alter database 命令来修改数据库的一些属性。但是数据库的元数据信息是不可更改的,包括数据库的名称以及数据库所在的位置(注:数据库不允许修改

  • 例如:修改数据库的创建日期
alter  database  myhive2  set  dbproperties('createtime'='20880611');

查看数据库详细信息(查)

查看数据库基本信息

desc  database  myhive;

查看数据库更多详细信息

desc database extended  myhive; 

数据库的切换:

hive (default)> use myhive;  #(数据库名)
hive (myhive)> show tables;  #(查看数据表) 

创建数据库表操作

创建数据库表语法

#CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 
CREATE TABLE  table_name    #[可选可不选]

说明:

  • 1、CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 IF NOT EXISTS 选项来忽略这个异常。

  • 2、EXTERNAL关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATION),Hive 创建内部表时,会将数据移动到数据仓库指向的路径;

  • 3、LIKE 允许用户复制现有的表结构,但是不复制数据。

  • 4、ROW FORMAT DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char] [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char] | SERDE serde_name [WITH SERDEPROPERTIES(property_name=property_value, property_name=property_value, …)]
    用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED,将会使用自带的 SerDe。在建表的时候,用户还需要为表指定列,用户在指定表的列的同时也会指定自定义的 SerDe,Hive通过 SerDe 确定表的具体的列的数据。

  • 5、STORED AS
    SEQUENCEFILE|TEXTFILE|RCFILE
    如果文件数据是纯文本,可以使用 STORED AS TEXTFILE。如果数据需要压缩,使用 STORED AS SEQUENCEFILE。

  • 6、CLUSTERED BY
    对于每一个表(table)或者分区, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。
    把表(或者分区)组织成桶(Bucket)有两个理由:
    (1)获得更高的查询处理效率。桶为表加上了额外的结构,Hive 在处理有些查询时能利用这个结构。具体而言,连接两个在(包含连接列的)相同列上划分了桶的表,可以使用 Map 端连接 (Map-side join)高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以,可以大大较少JOIN的数据量。
    (2)使取样(sampling)更高效。在处理大规模数据集时,在开发和修改查询的阶段,如果能在数据集的一小部分数据上试运行查询,会带来很多方便。

若创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据

  • 创建基本数据表(默认内部表)
create table tableName(字段名称 字段类型,字段名称 字段类型)
或者
create table tableName(字段名称 字段类型,字段名称 字段类型) ROW FORMAT DELIMITED IELDS TERMINATED BY char  #(char分隔符)
指定数据中字段与字段的分隔符 ‘\t’ 或 ',' 或 '|' 或其他
  • 创建外部数据表:
create EXTERNAL table tableName(字段名称 字段类型,字段名称 字段类型)
建外部表需要指定数据的存储路径。通过LOCATION进行指定。

内部表与外部表的区别

在删除内部表时:内部表删除将表的元数据和数据同时删除。
在删除外部表时:外部表的元数据被删除,数据本身不删除。

hive数据表基本操作(增删改查)

use myhive;   #切换数据库
create table stu(id int,name string);  #创建数据表
insert into stu values (1,"zhangsan"); #插入数据
select * from stu;   # 查询所有数据删除表 
drop table tablename; 
修改表 
alter tablename *** 
查看数据表 
show tables; 
查看表结构
desc tablename; 


查看数据表

创建表并指定字段之间的分隔符

create  table if not exists stu2(id int ,name string) row format delimited fields terminated by '\t' stored as textfile location '/user/stu2';
#插入数据  
insert into stu2 values (1,"zhangsan");
insert into stu2 values (2,"lisi");
insert into stu2 values (3,"wangwu");


根据查询结果创建表

create table stu as select * from stu2;

根据已经存在的表结构创建表

create table stu like stu2;

查询表的类型

desc formatted  stu2;

修改表

alter tablename ***

删除表

drop table tablename; 

Hive的数据类型

基本数据类型
INT 
BIGINT 
FLOAT 
DOUBLE 
DEICIMAL 
STRING 
VARCHAR 
CHAR 
BINARY 
TIMESTAMP 
DATE 
INTERVAL 
ARRAY
复杂数据类型
MAP 
STRUCT 
UNION

Hive建表时需要的字段类型
+Types

分类类型描述字面量示例
INT4个字节的带符号整数1
BIGINT8字节带符号整数1L
FLOAT4字节单精度浮点数1.0
DOUBLE8字节双精度浮点数1.0
DEICIMAL任意精度的带符号小数1.0
STRING字符串,变长“a”,’b’
VARCHAR变长字符串“a”,’b’
CHAR固定长度字符串“a”,’b’
BINARY字节数组无法表示
TIMESTAMP时间戳,毫秒值精度122327493795
DATE日期‘2016-03-29’
INTERVAL时间频率间隔
复杂类型ARRAY有序的的同类型的集合array(1,2)
MAPkey-value,key必须为原始类型,value可以任意类型map(‘a’,1,’b’,2)
STRUCT字段集合,类型可以不同struct(‘1’,1,1.0),named_stract(‘col1’,’1’,’col2’,1,’clo3’,1.0)
UNION在有限取值范围内的一个值create_union(1,’a’,63)