文章目录

之前我们学习过添加、检索和删除表中数据的操作了,不过都是基于单个实例或基于列表的操作。下边介绍一些API调用,可以批量处理跨多行的不同操作。

事实上,许多基于列表的操作,如delete(List <Delete> deletes)或者get(List <Get> gets),都是基于batch()方法实现的。它们都是一些为了方便用户使用而保留的方法。如果你是新手,推荐使用batch()方法进行所有操作。
下面的客户端API方法提供了批量处理操作。用户可能注意到这里引入了一个新的名为Row的类,它是Put、Get和Delete的祖先,或者是父类。

void batch(List<Row> actions,Object[] results)
throws IOException,InterruptedException
Object [] batch(List<Row> actions)
throws IOException,InterruptedException

使用同样的父类允许在列表中实现多态,即放入以上3种不同的子类。这种调用跟之前介绍的基于列表的调用方法一样简单调用。
请注意,不可以将针对同一行的Put和Delete操作放在同一个批量处理请求中,为了保证最好的性能,这些操作的处理顺序可能不同,但是这样会产生不可预料的结果。由于资源竞争,某些情况下用户会看到波动的结果。
代码如下

import java.io.IOException;
import java.util.ArrayList;
import java.util.Collection;
import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.rest.protobuf.generated.CellSetMessage.CellSet.Row;
import org.apache.hadoop.hbase.util.Bytes;
/*
HBase批处理操作
*/

public class HbaseBatch {
private final static byte[] ROW1 = Bytes.toBytes("row1");
private final static byte[] ROW2 = Bytes.toBytes("row2");
private final static byte[] COLFMA1 = Bytes.toBytes("colfam1");
private final static byte[] COLFMA2 = Bytes.toBytes("colfam2");
private final static byte[] QUAL1 = Bytes.toBytes("qual1");
private final static byte[] QUAL2 = Bytes.toBytes("qual2");
private static byte[] COLFAM1;

@SuppressWarnings("unchecked")
public static void main(String[] args) throws IOException {
Configuration conf = HBaseConfiguration.create();
HTable table = new HTable(conf, "testtable");
List<Row> batch = new ArrayList<Row>();
Put put = new Put(ROW2);
put.add(COLFMA2, QUAL1, Bytes.toBytes("val5"));
batch.addAll((Collection<? extends Row>) put);
Get get1 = new Get(ROW1);
get1.addColumn(COLFAM1, QUAL1);
batch.addAll((Collection<? extends Row>) get1);
Delete delete = new Delete(ROW1);
delete.deleteColumns(COLFAM1, QUAL2);
batch.addAll((Collection<? extends Row>) delete);
Get get2 = new Get(ROW2);
get2.addFamily(Bytes.toBytes("BOGUS"));
batch.addAll((Collection<? extends Row>) get2);
Object[] results = new Object[batch.size()];
try {
//table.batch(batch,results);

} catch (Exception e) {
e.printStackTrace();
}
}

}

从控制台上可以看到以下结果:

Before batch call...
KV:row1/colfam1:qual1/1/Put/vlen=4,Value:val1
KV:row1/colfam1:qual2/2/Put/vlen=4,Value:val2
KV:row1/colfam1:qual3/3/Put/vlen=4,Value:val3

Result[0]:keyvalues=NONE
Result[1]:keyvalues={row1/colfam1:qual1/1/Put/vlen=4}
Result[3]:org.apache.hadoop.hbase.regionserver.NoSuchColumnFamilyExcepion:
org.apache.hadoop.hbase.regionserver.NosuchColumnFamilyException:
Column Family BOGUS dose not exist in...

After batch call...
KV:row1/colfam1:qual1/1/Put/vlen=4,Value: val1
KV:row1/colfam1:qual3/3/Put/vlen=4,Value: val3
KV:row2/colfam2:qual1/1308836506340/Put/vlen=4,Value:val5
Error:org.apache.hadoop.hbase.client.RetireExhaustedWithDetailsException:
Failed 1 action:NoSuchColumnFamilyException:1 time,servers with issues:10.0.0.43:60020,

与之前的例子一样,在执行批处量处理之前,由于插入了测试行的数据,因此先打印出了测试行的相关输出。首先输出的是表的原内容,然后是示例代码产生的输出,最后输出的是操作以后表的内容。由输出结果可见,要删除的列被删除了,新添加的列也成功添加了。

Get操作的结果需要观察输出结果的中间部分,即示例代码产生的输出。那些以Result[n](n从0到3)开头的输出是actions参数中对应操作的结果。示例中第一个操作是Put,对应的结果是一个空的Result实例,其中没有KeyValue实例。这是批量处理调用返回值的通常规则,它们给每个输入操作返回一个最佳匹配的结果,可能返回值如下表。

结果 描述
null 操作与远程服务器的通信失败
EmptyResult Put与Delete操作成功后的返回结果
Result Get操作成功的返回结果,如果没有匹配的行或列,会返回空的Result
Throwable 当服务器端返回一个异常时,这个异常会按原样返回给客户端。用户可以使用这个异常检查哪里出了错,也许可以在自己的代码中自动处理异常

当用户使用batch()功能时,Put实例不会被客户端写入缓冲区缓冲。batch()请求是同步的,会把操作直接发送到服务器端,这个过程没有什么延迟或其他中键操作,这与put()调用明显不同,所以请慎重挑选需要的方法。
有两种不同的批量处理操作看起来非常相似。不同之处在于,一个需要用户输入包含返回结果的Object数组,而另一个由函数帮助用户创建这个数组。
有两种不同的批量处理操作看起来非常相似。不同之处在于,一个需要用户输入包含返回结果的Object数组,而另一个由函数帮助创建这个数组。关键不同在于

void batch(List<Row> actions,Object[] results)
throws IOException,InterruptedException

上面这个方法用户可以访问部分结果,而下面这个不行:

Object batch(List<Row> actions)
throws IOException,InterruptedException

后面这个方法如果抛出异常的话,不会有任何返回结果,因为新结果数组返回之前,控制流就中断了。
而之前的方法会先向用户提供的数组中填充数据,然后再抛出异常。下面试一下batch()方法特性的汇总。
两种方法的共同点
get、put和delete都支持。如果执行时出现问题,客户端将抛出异常并报告问题。它们都不使用客户端写缓冲区。
void batch(acitons,results)
能够访问成功操作的结果,同时也可以获取远程失败时的异常
Object[] batch(acitons)
只返回客户端异常,不能访问程序执行中的部分结果。
在检查结果之前,所有的批量处理操作都被执行了:即使用户收到一个操作的异常,其他操作都已执行了。不过,在最坏的情况下,可能所有操作都会返回异常。
另外,批量处理可以感知暂时性错误,如NotServingRegionException会多次重试这个操作,用户可以通过调整hbase.client.retries.number配置项来增加或减少重试次数。

文章目录