搜索:hdfs

hadoop问题处理——namenode失去和datanode连接的问题

原创 2018-04-20 11:52 阅读(256)次
hadoop已经用了好多年,在现在的公司也一直是用hdfs来存放并计算日志。 原始数据持续写入hdfs,也周期性的读取hdfs数据(mapreduce后的结果)。 但有个问题困扰我很久,最近发现了原因: 2018-04-20 11:25:07,114 WARN org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy: Failed to place enough replicas, still in need of 3 to reach 3. For more information, please enable D...