HBASE并发读阻塞

HBASE版本1.1.2
三台regionserver,有预先做了32个分区
大概每个regionserver10个分区
并发写的时候没问题,14个线程/每个线程10W条大概20s~40s左右入完
但是多线程读取的时候,一开始三台regionserver挂掉,重启后发现只有2个线程在读取,其他的线程都在等待中,已经多次发现这样的问题

其他线程等待时,一直在输出这个日志
2018-06-05 14:32:16,325 INFO taskExecutor-3 org.apache.hadoop.hbase.client.AsyncProcess - #19, waiting for 99141 actions to finish
2018-06-05 14:32:16,326 INFO taskExecutor-13 org.apache.hadoop.hbase.client.AsyncProcess - #10, waiting for 66170 actions to finish
2018-06-05 14:32:16,526 INFO taskExecutor-7 org.apache.hadoop.hbase.client.AsyncProcess - #8, waiting for 63125 actions to finish
2018-06-05 14:32:16,626 INFO taskExecutor-8 org.apache.hadoop.hbase.client.AsyncProcess - #12, waiting for 100000 actions to finish
2018-06-05 14:32:17,126 INFO taskExecutor-5 org.apache.hadoop.hbase.client.AsyncProcess - #9, waiting for 99152 actions to finish
已邀请:

libis - HBase爱好者

赞同来自:

目前这个日志看不出来具体的原因的,要看看regionserver端的日志。仔细研究下rs挂掉的原因,怀疑是gc原因。

Aaron - 80后IT男

赞同来自:

之前我们遇到过测试环境中RegionServer在高并发读时逐一挂掉的问题,是GC引起,改了RegionServer的java配置中GC的参数,后来干脆从CMS改成了G1

要回复问题请先登录注册