HBaseHBase的预分区
1、为何要预分区？
- 增加数据读写效率
- 负载均衡，防止数据倾斜
- 方便集群容灾调度region
- 优化Map数量
2、如何预分区？
每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。
3、如何设定预分区？
1、手动指定预分区
hbase(main):001:0> create 'staff','info','partition1',SPLITS => ['1000','2000','3000','4000']
完成后如图：
2、使用16进制算法生成预分区
hbase(main):003:0> create 'staff2','info','partition2',{NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}
完成后如图：
3、分区规则创建于文件中
创建splits.txt文件内容如下：
cd /export/servers/vim splits.txt
aaaa
bbbb
cccc
dddd
然后执行：
hbase(main):004:0> create 'staff3','partition2',SPLITS_FILE => '/export/servers/splits.txt'
成功后如图：
4、使用JavaAPI创建预分区
Java代码如下：
/*** 通过javaAPI进行HBase的表的创建以及预分区操作*/@Testpublic void hbaseSplit() throws IOException {//获取连接Configuration configuration = HBaseConfiguration.create();configuration.set("hbase.zookeeper.quorum", "node01:2181,node02:2181,node03:2181");Connection connection = ConnectionFactory.createConnection(configuration);Admin admin = connection.getAdmin();//自定义算法，产生一系列Hash散列值存储在二维数组中byte[][] splitKeys = {{1,2,3,4,5},{'a','b','c','d','e'}};//通过HTableDescriptor来实现我们表的参数设置，包括表名，列族等等HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf("stuff4"));//添加列族hTableDescriptor.addFamily(new HColumnDescriptor("f1"));//添加列族hTableDescriptor.addFamily(new HColumnDescriptor("f2"));admin.createTable(hTableDescriptor,splitKeys);admin.close();}
HBaseHBase的预分区
1、为何要预分区？
- 增加数据读写效率
- 负载均衡，防止数据倾斜
- 方便集群容灾调度region
- 优化Map数量
2、如何预分区？
每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。
3、如何设定预分区？
1、手动指定预分区
hbase(main):001:0> create 'staff','info','partition1',SPLITS => ['1000','2000','3000','4000']
完成后如图：
2、使用16进制算法生成预分区
hbase(main):003:0> create 'staff2','info','partition2',{NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}
完成后如图：
3、分区规则创建于文件中
创建splits.txt文件内容如下：
cd /export/servers/vim splits.txt
aaaa
bbbb
cccc
dddd
然后执行：
hbase(main):004:0> create 'staff3','partition2',SPLITS_FILE => '/export/servers/splits.txt'
成功后如图：
4、使用JavaAPI创建预分区
Java代码如下：
/*** 通过javaAPI进行HBase的表的创建以及预分区操作*/@Testpublic void hbaseSplit() throws IOException {//获取连接Configuration configuration = HBaseConfiguration.create();configuration.set("hbase.zookeeper.quorum", "node01:2181,node02:2181,node03:2181");Connection connection = ConnectionFactory.createConnection(configuration);Admin admin = connection.getAdmin();//自定义算法，产生一系列Hash散列值存储在二维数组中byte[][] splitKeys = {{1,2,3,4,5},{'a','b','c','d','e'}};//通过HTableDescriptor来实现我们表的参数设置，包括表名，列族等等HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf("stuff4"));//添加列族hTableDescriptor.addFamily(new HColumnDescriptor("f1"));//添加列族hTableDescriptor.addFamily(new HColumnDescriptor("f2"));admin.createTable(hTableDescriptor,splitKeys);admin.close();}
发布评论