最佳实践:调优 Impala 与 Hive 的资源竞争关系,避免 Impala 查询 OOM
核心结论: 要有效避免 Impala 查询因资源被批处理(Hive/Tez)占满而导致 OOM,需在集群级和服务级两个维度协同调优,重点在于隔离资源、配置队列及精细化设置查询内存和并发。
TOPIC COLLECTION
4 篇笔记,记录从理解问题到解决问题的过程。
核心结论: 要有效避免 Impala 查询因资源被批处理(Hive/Tez)占满而导致 OOM,需在集群级和服务级两个维度协同调优,重点在于隔离资源、配置队列及精细化设置查询内存和并发。
使用Docker启动Hue后,发现时区不正确,显示UTC时间而不是中国标准时间(CST)。具体表现为: - HDFS文件时间显示为UTC时间(如06:00-06:01) - 实际文件创建时间为中国时间(如14:00-14:01) - Hue日志时间格式混乱
HDFS 集群数据均衡的快速参考手册,包含均衡度标准差计算脚本、Balancer 启动参数、带宽与并发调优、进度查看与日志排查方法,帮助运维快速判断和执行均衡操作。
HDFS均衡器(Balancer)是Hadoop分布式文件系统中的一个重要工具,用于重新分布数据块,确保集群中所有DataNode的存储使用率保持相对均衡。当集群中添加新节点或删除节点后,数据分布可能会变得不均匀,这时就需要使用均衡器来重新分布数据。