Java_GC

Java_GC

Phoenix时区设置

回复

有问必答fengye 发起了问题 • 1 人关注 • 0 个回复 • 25 次浏览 • 5 天前 • 来自相关话题

快照大小为100T的Hbase表,hbase超时应该设置为多少合适呢?现在默认为5min

有问必答libis 回复了问题 • 2 人关注 • 1 个回复 • 94 次浏览 • 2018-09-21 08:39 • 来自相关话题

Hbase统计Rowkey行数的方法

有问必答qilangye 回复了问题 • 3 人关注 • 4 个回复 • 1490 次浏览 • 2018-08-20 14:14 • 来自相关话题

hbase namespace ACL授权后仍然,无法create table

回复

有问必答paulsenzou 发起了问题 • 1 人关注 • 0 个回复 • 157 次浏览 • 2018-07-23 14:30 • 来自相关话题

hbase生产环境都适合哪些应用场景?

有问必答hmaster 回复了问题 • 3 人关注 • 3 个回复 • 708 次浏览 • 2018-07-13 23:56 • 来自相关话题

使用TableSnapshotInputFormat读取快照的过程中有用到TableSnapshotScanner么?

有问必答openinx 回复了问题 • 2 人关注 • 1 个回复 • 175 次浏览 • 2018-07-09 15:02 • 来自相关话题

请问hbase的0.94、0.98、1.0、1.2、2.0版本之间的区别是什么?

回复

有问必答bupt_lxc 发起了问题 • 1 人关注 • 0 个回复 • 199 次浏览 • 2018-07-07 16:56 • 来自相关话题

【融360招聘】大数据架构师

回复

招聘应聘xiangqiao 发起了问题 • 1 人关注 • 0 个回复 • 240 次浏览 • 2018-06-29 16:28 • 来自相关话题

HBaseConWest2018演讲 - HBase Practice In XiaoMi

文章分享openinx 发表了文章 • 0 个评论 • 295 次浏览 • 2018-06-19 09:33 • 来自相关话题

HBaseConWest2018 于6.18日在美国加州圣何塞举办,本次会议由Hortonworks承办。每年去美国硅谷参加HBaseConWest已经算是小米HBase团队的惯例了,一方面小米团队在HBase社区的影响力有目共睹,目前已经培养了7位HBase Committer,其中有2位HBase PMC;另外一方面,小米内部也很乐意对外去分享公司一年所做的工作,相当于把一年的工作(包括内部的实践以及社区贡献)做一个年度总结分享给大家。 
 
所以,2018年我们也很积极的提交了演讲议题(HBase Practice In XiaoMi),并花了很多精力整理总结,内部还做过3次英文试讲。但遗憾的是,今年中美关系比较紧张,美国签证没有如期办下来。按照组内历年的经验,一般提前一个月左右办理签证,能很顺利办下来。今年我们在5.14日去大使馆面试申请签证,被要求填写补充材料,在5.16拿到承办方的visa letter并提交补充材料之后,一直到现在签证尚未发放。本想没办法去现场的话,就只能把我们这个议题提交到8.17日的HBaseConAsia去讲。写邮件跟组委会沟通,组委会之前把我们talk的优先级放的比较高,也比较喜欢我们演讲内容,所以后面就想让我们做一个远程分享。为了以防万一设备异常之类的,就先让我们准备一个视频,有任何异常的话,直接放视频也不慌。于是,我们就录了一个,发现视频效果还行(主要是可以做剪辑,哈哈),就跟组委会说,现场干脆直接用视频好了,有任何疑问的话,远程答疑就好。 
 
于是,最后在HBaseConWest2018上看到的就是以下PPT和视频了。演讲内容主要分两部分,第一部分小米内部实践,由我的同事田竞云来分享,第二部分复制功能改进,由我来分享。 
 
1. PPT 
2. 视频地址 
 
总体来说,没有机会去HBaseConWest2018现场分享这个事情,个人还是挺遗憾的。之前Hortonworks的Ted Yu和Pinterest的TianYing获知我们要去美国分享,都很积极的约了我们聚会,最后也只能取消。原定的去美国一些其他行程,也只得取消。有一点值得欣慰的是,在组委会和我们的共同努力下,总算是有机会把小米过去一年做的一些工作整理并呈现给大家,包括美国HBase社区的朋友们。感谢组委会和社区,也感谢铎神和小豪在试讲中提出的很多宝贵建议。
  查看全部

HBaseConWest2018 于6.18日在美国加州圣何塞举办,本次会议由Hortonworks承办。每年去美国硅谷参加HBaseConWest已经算是小米HBase团队的惯例了,一方面小米团队在HBase社区的影响力有目共睹,目前已经培养了7位HBase Committer,其中有2位HBase PMC;另外一方面,小米内部也很乐意对外去分享公司一年所做的工作,相当于把一年的工作(包括内部的实践以及社区贡献)做一个年度总结分享给大家。 
 
所以,2018年我们也很积极的提交了演讲议题(HBase Practice In XiaoMi),并花了很多精力整理总结,内部还做过3次英文试讲。但遗憾的是,今年中美关系比较紧张,美国签证没有如期办下来。按照组内历年的经验,一般提前一个月左右办理签证,能很顺利办下来。今年我们在5.14日去大使馆面试申请签证,被要求填写补充材料,在5.16拿到承办方的visa letter并提交补充材料之后,一直到现在签证尚未发放。本想没办法去现场的话,就只能把我们这个议题提交到8.17日的HBaseConAsia去讲。写邮件跟组委会沟通,组委会之前把我们talk的优先级放的比较高,也比较喜欢我们演讲内容,所以后面就想让我们做一个远程分享。为了以防万一设备异常之类的,就先让我们准备一个视频,有任何异常的话,直接放视频也不慌。于是,我们就录了一个,发现视频效果还行(主要是可以做剪辑,哈哈),就跟组委会说,现场干脆直接用视频好了,有任何疑问的话,远程答疑就好。 
 
于是,最后在HBaseConWest2018上看到的就是以下PPT和视频了。演讲内容主要分两部分,第一部分小米内部实践,由我的同事田竞云来分享,第二部分复制功能改进,由我来分享。 
 
1. PPT 
2. 视频地址 
 
总体来说,没有机会去HBaseConWest2018现场分享这个事情,个人还是挺遗憾的。之前Hortonworks的Ted Yu和Pinterest的TianYing获知我们要去美国分享,都很积极的约了我们聚会,最后也只能取消。原定的去美国一些其他行程,也只得取消。有一点值得欣慰的是,在组委会和我们的共同努力下,总算是有机会把小米过去一年做的一些工作整理并呈现给大家,包括美国HBase社区的朋友们。感谢组委会和社区,也感谢铎神和小豪在试讲中提出的很多宝贵建议。
 

CFP: HBaseConAsia 2018演讲议题征集

文章分享openinx 发表了文章 • 0 个评论 • 236 次浏览 • 2018-06-15 10:16 • 来自相关话题

 
EasyChair Link: https://easychair.org/cfp/hbaseconasia-2018?track=215839 

HBaseCon是由HBase社区举办的活动。Apache HBase是Hadoop生态圈内的一个分布式数据库实现,提供了对大数据的实时随机读写能力。欢迎所有的HBase开发者,贡献者,运维人员还有普通使用者来HBaseCon分享你的观点,经验以及使用案例,互相学习,共同进步。

HBaseConAsia是在亚洲举办的HBaseCon。今年的会议将在中国北京举办,由阿里巴巴主办,参会者无须缴纳任何费用。

组委会期望的演讲主题包括但不限于案例分享,HBase的改进和开发,集群管理和运维方面的最佳实践以及对HBase未来的展望。我们欢迎任何可以帮助大家在生产环境中更好的使用HBase方面的主题,也欢迎基于HBase之上的一些有趣的开发、应用、云端/内部集群部署以及周边生态项目相关的主题。

我们希望演讲摘要和PPT使用英文,演讲语言可以使用中文或者英文。

接收演讲主题摘要的截止日期是2018年6月17号。2018年6月30号会公布演讲者名单。
 
议题
 
主要包括如下三个议题
开发及运维: 包括但不限于HBase源码开发(新特性,改进等)、线上运维和调优等主 生态和解决方案: 包括但不限于基于HBase之上构建的开源项目(OpenTSDB/GeoMesa/Kylin等)以及解决方案(云服务)等主 应用: 基于HBase构建的,云上或者自建机房环境中的应用案, 我们希望提交的议题中包含HBase相关的设计及问题解决,而不只是单纯的案例分享
 
项目委员会
 
李钰, 阿里巴巴 (Chair)沈春辉, 阿里巴巴张铎, 小米毕杰山, 华为蔡嘉平, 亦思科技Andrew Purtell, SalesforceAnoop Sam John, IntelMichael Stack, Cloudera
 
场地

中国,北京市朝阳区鼓楼外大街19号,北京歌华开元大酒店
 
联系我们

如果您遇到任何问题,或者有意向成为赞助商,请发邮件给liyu@apache.org
 
  查看全部
 
EasyChair Link: https://easychair.org/cfp/hbaseconasia-2018?track=215839 

HBaseCon是由HBase社区举办的活动。Apache HBase是Hadoop生态圈内的一个分布式数据库实现,提供了对大数据的实时随机读写能力。欢迎所有的HBase开发者,贡献者,运维人员还有普通使用者来HBaseCon分享你的观点,经验以及使用案例,互相学习,共同进步。

HBaseConAsia是在亚洲举办的HBaseCon。今年的会议将在中国北京举办,由阿里巴巴主办,参会者无须缴纳任何费用。

组委会期望的演讲主题包括但不限于案例分享,HBase的改进和开发,集群管理和运维方面的最佳实践以及对HBase未来的展望。我们欢迎任何可以帮助大家在生产环境中更好的使用HBase方面的主题,也欢迎基于HBase之上的一些有趣的开发、应用、云端/内部集群部署以及周边生态项目相关的主题。

我们希望演讲摘要和PPT使用英文,演讲语言可以使用中文或者英文。

接收演讲主题摘要的截止日期是2018年6月17号。2018年6月30号会公布演讲者名单。
 
议题
 
主要包括如下三个议题
  • 开发及运维: 包括但不限于HBase源码开发(新特性,改进等)、线上运维和调优等主 
  • 生态和解决方案: 包括但不限于基于HBase之上构建的开源项目(OpenTSDB/GeoMesa/Kylin等)以及解决方案(云服务)等主 
  • 应用: 基于HBase构建的,云上或者自建机房环境中的应用案, 我们希望提交的议题中包含HBase相关的设计及问题解决,而不只是单纯的案例分享

 
项目委员会
 
  • 李钰, 阿里巴巴 (Chair)
  • 沈春辉, 阿里巴巴
  • 张铎, 小米
  • 毕杰山, 华为
  • 蔡嘉平, 亦思科技
  • Andrew Purtell, Salesforce
  • Anoop Sam John, Intel
  • Michael Stack, Cloudera

 
场地

中国,北京市朝阳区鼓楼外大街19号,北京歌华开元大酒店
 
联系我们

如果您遇到任何问题,或者有意向成为赞助商,请发邮件给liyu@apache.org
 
 
条新动态, 点击查看
我们基本上是按照这个博客来的:  https://blogs.apache.org/hbase/entry/tuning_g1gc_for_your_hbase
 
在用CMS的时候,我们一般是在128G的机器上,部署4个RegionServer, 其中每个... 显示全部 »
我们基本上是按照这个博客来的:  https://blogs.apache.org/hbase/entry/tuning_g1gc_for_your_hbase
 
在用CMS的时候,我们一般是在128G的机器上,部署4个RegionServer, 其中每个RegionServer的堆内内存12G,堆外内存12G,所有RS的堆内堆外内存96G左右.
 
后面改成G1GC之后,同样是128G的机器上,部署1个RegionServer,其中每个RegionServer的堆内内存50G,堆外内存50G,算起来差不多100G.改成G1GC之后,把之前的4个RegionServer合成了1个大堆RegionServer,主要是之前CMS的方式老年代占用太多的情况下,full GC会非常耗时,所以,CMS GC其实不适合大堆进程,因此我们拆成4个进程.而对于G1GC来说,在大堆进程下,GC的延迟能够控制在一个给定的时间内,代价是轻微的降低吞吐(按照论文的说法是,吞吐降低5%~10%左右,这对于大部分情况是可以接受的),因此我们只需要启动一个RegionServer进程就好了.
改用G1GC之后,大部分的RegionServer的STW时间基本上能控制在150ms左右(Target Pause time=150ms),效果还是比较好的. 
 
G1GC的相关参数主要有: -XX:+UnlockExperimentalVMOptions
-XX:MaxGCPauseMillis={50/90/500} for SSD/HDD/offline cluster
-XX:G1NewSizePercent={2/5} for normal/heavy load cluster
-XX:InitiatingHeapOccupancyPercent=65
-XX:+ParallelRefProcEnabled
-XX:ConcGCThreads=4
-XX:ParallelGCThreads=16
-XX:MaxTenuringThreshold=1
-XX:G1HeapRegionSize=32m
-XX:G1MixedGCCountTarget=64
-XX:G1OldCSetRegionThresholdPercent=5

Update 再来说一下G1和CMS两种gc算法的一些具体的区别 .
 
1. G1相当于每次gc都在整理内存碎片(Evacuation Pause),而CMS在正常的old gen gc过程中,只是把dead object标记为内存清空,而不会整理碎片,除非是CMS发生了full gc. 因此CMS gc随着时间的推移,碎片可能会越来越多,如果这时候需要分配一块较大的内存,就可能会导致触发一次full gc用来整理碎片,进而导致一段不可预见的STW停顿.
2. G1算法有一个预设的TargetPauseTime, G1在每次执行gc时,会尝试选择一个region集合(Choose Region Set),使得这个region集合的gc卡顿时间不超过TargetPauseTime. 但这个TargetPauseTime并不是硬性指标,也就是说gc卡顿可能会超过TargetPauseTime.  这也是g1优于cms的地方,通过建立一个可评估的模型,通过这个模型来评估每次gc的时间,使之stw时间尽量控制在可控时间范围内.
3. G1和CMS一样都可能会导致full gc, 典型的场景就是内存的分配速度超过gc的速度,从而导致某次内存分配请求的内存超过了当前heap中连续的可分配内存数量. 在HBase场景下,可能就是存在某些KV,这些KV超过200M这种,这时候可能会导致g1出现频繁的full gc,而且每次full gc的耗时都比较长.这是很坑的情况,所以一般在配置g1的时候,都会尝试配置参数,让g1尽量避免发生full gc. 从另一种角度来说,就是让g1的old gen gc做的更加频繁一点,把old gen的内存占用控制在一个比例.
 
推荐两份参考资料:
1.  http://www.oracle.com/technetwork/tutorials/tutorials-1876574.html
2.  https://www.researchgate.net/publication/221032945_Garbage-First_garbage_collection
 
openinx

openinx 回答了问题 • 2017-07-10 20:41 • 6 个回复 不感兴趣

regionserver发生full gc导致宕机

赞同来自:

Heap: 62.5G(64.0G)->60.2G(64.0G)  做了一次full gc之后,你的堆仍然使用了60G,说明你使用的内存本身就很多?
 
另外,你能否上传一份完整的gc.log到系统 ? (gc.log里面没有hbase的相关信息,应该... 显示全部 »
Heap: 62.5G(64.0G)->60.2G(64.0G)  做了一次full gc之后,你的堆仍然使用了60G,说明你使用的内存本身就很多?
 
另外,你能否上传一份完整的gc.log到系统 ? (gc.log里面没有hbase的相关信息,应该不会暴露公司隐私)
 
单看这一次full gc, 很难看出是什么问题...

【融360招聘】大数据架构师

回复

招聘应聘xiangqiao 发起了问题 • 1 人关注 • 0 个回复 • 240 次浏览 • 2018-06-29 16:28 • 来自相关话题

HBaseCon Asia 2017将于8月4日在深圳举办

文章分享openinx 发表了文章 • 0 个评论 • 703 次浏览 • 2017-06-07 19:44 • 来自相关话题

 
 HBaseCon Asia 2017大会报名已正式开放。HBaseCon Asia 2017是第一届在亚洲举办的HBase技术大会,大会将在中国深圳举办,华为是本次大会的主办方。

如果您想作为普通的参会者参加此会,欢迎您通过如下链接报名(本次大会无需任何门票费用):  http://hbaseconasia.eventbrite.com

如果您想成为演讲者,欢迎您通过如下链接申报您的演讲主题内容:  https://easychair.org/cfp/HBaseConAsia2017

会议细节:https://www.eventbrite.com/e/h ... 46159
 
会议安排如下:






  查看全部
hbasecon2015noyear.eps_.png

 
 HBaseCon Asia 2017大会报名已正式开放。HBaseCon Asia 2017是第一届在亚洲举办的HBase技术大会,大会将在中国深圳举办,华为是本次大会的主办方。

如果您想作为普通的参会者参加此会,欢迎您通过如下链接报名(本次大会无需任何门票费用):  http://hbaseconasia.eventbrite.com

如果您想成为演讲者,欢迎您通过如下链接申报您的演讲主题内容:  https://easychair.org/cfp/HBaseConAsia2017

会议细节:https://www.eventbrite.com/e/h ... 46159
 
会议安排如下:
hbasecon.png



 

HBase regionserver非GC暂停

回复

有问必答qgxiaozhan 回复了问题 • 4 人关注 • 2 个回复 • 579 次浏览 • 2017-07-17 12:52 • 来自相关话题

regionserver发生full gc导致宕机

回复

有问必答qgxiaozhan 回复了问题 • 3 人关注 • 6 个回复 • 753 次浏览 • 2017-07-13 11:23 • 来自相关话题

RegionServer经常oom,能看看什么回事么?

回复

有问必答dcswinner 回复了问题 • 4 人关注 • 4 个回复 • 715 次浏览 • 2017-06-30 20:35 • 来自相关话题

大家生产线上有没有使用过g1gc,gc效果怎么样呢?

回复

有问必答openinx 回复了问题 • 4 人关注 • 2 个回复 • 614 次浏览 • 2017-07-04 11:09 • 来自相关话题

什么情况下会触发flush,针对memstore有哪些优化点?一个regionserver多少region合适呢?

回复

有问必答feiyang 回复了问题 • 2 人关注 • 2 个回复 • 283 次浏览 • 2017-06-13 21:16 • 来自相关话题