CDH运维｜节点宕机造成块丢失修复方案

目录一、场景二、修复方案1.检测已损坏的块2.如果文件不重要3.如果文件重要一、场景 cdh集群中某节点长时间宕机，还有数据不断写入hdfs，但是副本数据无法写入已宕机的节点。当宕机节点重启后，clouderManeger集群管理平台会抛出hdfs副本块丢失损坏的异常。eg：群集中有 8 个副本不足的块块。群集中共有 10 个块。百分比副本不足的块: 80.00%。临界阈值：40.00%

@hhw

2189人浏览 · 2021-03-08 13:25:07

@hhw · 2021-03-08 13:25:07 发布

一、场景

cdh集群中某节点长时间宕机，还有数据不断写入hdfs，但是副本数据无法写入已宕机的节点。当宕机节点重启后，clouderManeger集群管理平台会抛出hdfs副本块丢失损坏的异常。eg：群集中有 8 个副本不足的块块。群集中共有 10 个块。百分比副本不足的块: 80.00%。临界阈值：40.00%。

二、修复方案

1.检测已损坏的块

执行： hdfs fsck /
如下（示例）：
在这里插入图片描述

2.如果文件不重要

直接将文件删除：hdfs dfs -rmr /user/yangchuan/app_log_chackPoint/operation_point/*

3.如果文件重要

修复损坏文件：执行命令 hdfs debug recoverLease -path -retries eg：hdfs debug recoverLease -path /user/yangchuan/app_log_chackPoint/operation_point/9fe89a7d-ae60-4784-8e91-4df837aa8232/rdd-2098161/part-00000 -retries 10

技术共进，成长同行——讯飞AI开发者社区

更多推荐

第71篇：AI+能源：智能电网、新能源预测与节能优化

摘要：本文系统性地深入探讨人工智能在能源领域的革命性应用。我们首先解析智能电网（Smart Grid）的核心机制——AI如何融合实时电力数据（发电、输电、配电、用电）、气象信息、用户行为，通过强化学习（Reinforcement Learning）与优化算法（如线性规划、混合整数规划），实现电力的动态调度、供需平衡、故障预测与自愈，构建更安全、高效、弹性的电力系统。