当前位置:首页干货分享HBase Sync功能导致HBase入库性能下降

HBase Sync功能导致HBase入库性能下降

本文分享自天翼云开发者社区《HBase Sync功能导致HBase入库性能下降》,作者:5****m

问题背景与现象

HBase入库慢,regionserver日志中大量打印slow sync。

原因分析
    1.对比正常写入时间段监控,检查HBase服务整体CPU、内存以及NameNode RPC在异常时间段是否增加;
    2.检查regionserver日志中slow sync打印是否集中在个别RegionServer节点;
    3.如果slow sync集中于个别regionserver节点,检查该节点是否存在热点region、节点RPC是否持续被占用、是否Full GC,请求量是否增加。
   4.如果regionserver节点中slow sync无规律,检查datanode日志中slow打印情况,根据slow类型分析写入慢原因;
      a.Slow manageWriterOsCache:将块写入OS缓存有延迟。
      b.Slow BlockReceiver write packet to mirror :网络上写块有延迟。
      c.Slow BlockReceiver write data to disk cost 、Slow flushOrSync:将块写入磁盘有延时。
   根据regionserver中写入慢的block id在NameNode日志中查询块写入链路,根据链路信息分析写入三个副本时哪个副本写入有异常,DataNode性能不足,导致写入文件耗时较长。

解决办法
   1.网络原因联系网络工程师整改网络
   2.磁盘问题需具体分析是磁盘性能不足还是磁盘坏道
   3.如果HDFS或HBase服务写入性能已达到瓶颈,可关闭sync功能。

hbase.regionserver.hfile.durable.sync=false

hbase.regionserver.wal.durable.sync=false

温馨提示:

文章标题:HBase Sync功能导致HBase入库性能下降

文章链接:https://www.cutrui.cn/4020.html

更新时间:2025年07月17日

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
人已打赏
干货分享

在使用Flink CDC时,源表没有主键如何处理

2025-7-17 10:45:42

干货分享

HDFS目录配额(quota)不足导致写文件失败

2025-7-17 10:46:03

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

你有新的私信

请务必要查看您的私信哟~~