spark使用hbase报ArithmeticException

我尝试使用spark分析hbase中的数据;使用1000条数据测试没有任何问题;
使用公司的9千万条数据测试的时候就报了如图的错误;
运行了好几次,一直在rowkey为150500的地方报如图的错误,后来我将rowkey为150500删除之后,在rowkey为''的地方报如图的错误;
并且使用spark读取habse中的数据特别缓慢
望大神急救
 
使用的是如下代码
val hBaseRDD = sparkContext.newAPIHadoopRDD(hbaseConf, classOf[TableInputFormat], classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable], classOf[org.apache.hadoop.hbase.client.Result])
 
1.png 2.png
已邀请:

要回复问题请先登录注册