大数据开发计划之离线分析工具Hive

创建者图所列纳

hive> create table if not exists userinfo

> (

> userid int,

> username string,

> cityid int,

> createtime date

> )

> row format delimited fields terminated by ' '

> stored as textfile;

OK

Time taken: 2.133 seconds

创建者西区所列

Hive浏览一般是扫描整个录入，但是有时候我们关心的图所列只是集早先在某一之外图所列上，比如我们一个Hive浏览，往往是只是浏览某一天的图所列，这样的情况下，可以应用于西区所列来可用性，一天是一个西区，浏览时候，Hive只扫描登录天西区的图所列。

普通所列和西区所列的区别在于：一个Hive所列在HDFS上是有一个互换的录入来存储器图所列，普通所列的图所列直接存储器在这个录入下，而西区所列图所列存储器时，是便划分子录入来存储器的。一个西区一个子录入。主要抑制作用是来可用性浏览性能。

create table user_action_log

companyId INT comment '美国公司ID',

userid INT comment '销售ID',

originalstring STRING comment 'url',

host STRING comment 'host',

absolutepath STRING comment '绝对路径',

query STRING comment '实例串',

refurl STRING comment '来源url',

clientip STRING comment '维修服务器Ip',

cookiemd5 STRING comment 'cookiemd5',

timestamp STRING comment '访问时间捏'

partitioned by (dt string)

row format delimited fields terminated by ','

stored as textfile;

这个偶数得注意早先，这个笔记所列以dt数组西区，dt是个云端的数组，dt下不一定存储器图所列，而是用来西区的，实际图所列存储器时，dt数组偶数相同的图所列存入同一个子录入早先，插入图所列或者新增图所列时，同一天的图所列dt数组赋偶数一样，这样就充分利用了图所列按dt一月西区存储器。

当Hive浏览图所列时，如果登录了dt择优状况，那么只无需到互换的西区下去检索图所列均可，提升了效率。所以对于西区所列浏览时，尽量添加上西区数组的择优状况。

创建者桶所列

桶所列也是一种用作可用性浏览而设计的所列类HG。创建者通所列时，登录桶的偶数、分桶的依据数组，hive就可以自动将图所列分桶存储器。浏览时只无需迭代一个桶里头的图所列，或者迭代之外桶，这样就提升了浏览效率。举例：

create table user_leads

leads_id string,

user_id string,

user_id string,

user_phone string,

user_name string,

create_time string

clustered by (user_id) sorted by(leads_id) into 10 buckets

row format delimited fields terminated by ' '

stored as textfile;

对这个偶数得注意的说明：

clustered by是指根据userid的偶数展开哈希后模除分桶偶数，根据想得到的结果，确定这行图所列分入哪个桶早先，这样的大体，可以必需相同userid的图所列倒入同一个桶早先。而经销商的订货图所列，大之外是根据user_id展开浏览的。这样大之外情况下是只无需浏览一个桶早先的图所列就可以了。

sorted by 是登录桶早先的图所列以哪偶数组展开排序，排序的好处是，在join操控时能获得很高的效率。

into 10 buckets是登录一共分10个桶。

在HDFS上存储器时，一个桶存入一个邮件早先，这样根据user_id展开浏览时，可以快速确定图所列长期存在于哪个桶早先，而只迭代一个桶可以提供浏览效率。

文章来源：新概念运维之家

提拔阅读：

大图所列共同开发之Hive-DML图所列操控

大图所列共同开发之Hive

大图所列共同开发之Hive应用作系统性

大图所列共同开发之Hive调优精准