程序员社区

hive中distribute by 、sort by 、cluster by 、order by的区别

order by
只有一个reduce负责对所有的数据进行排序,若大数据量,则需要较长的时间。建议在小的数据集中使用order by 进行排序。
如果设置hive.mapred.mode参数控制Hive执行方式为strict,则order by 则需要指定limit(若有分区还有指定哪个分区) ;若为nostrict,则与关系型数据库差不多。

distribute by
hive中(distribute by + “表中字段”)关键字控制map输出结果的分发,采用hash算法,在map端将查询的结果中hash值相同的结果分发到对应的reduce节点去处理。

sort by
sort by为每一个reducer产生一个排序文件,和distribute by一般情况下会结合使用。可以通过mapred.reduce.task 指定reduce个数,查询后的数据被分发到相关的reduce中。sort by不能保证全局数据有序。

cluster by
cluster by 相当于 distribute by 和sort by 的结合,默认只能是升序,以下两种写法查询结果相同

//cluster by
hive>select * from store cluster by merid;
//distribute by,sort by
hive>select * from store distribute by merid sort by merid asc;
赞(0) 打赏
未经允许不得转载:IDEA激活码 » hive中distribute by 、sort by 、cluster by 、order by的区别

相关推荐

  • 暂无文章

一个分享Java & Python知识的社区