name value description
dfs.namenode.secondary.http-address 0.0.0.0:9868 The secondary namenode http server address and port.
dfs.namenode.secondary.https-address 0.0.0.0:9869 The secondary namenode HTTPS server address and port.
dfs.datanode.address 0.0.0.0:9866 The datanode server address and port for data transfer.
dfs.datanode.http.address 0.0.0.0:9864 The datanode http server address and port.
dfs.datanode.ipc.address 0.0.0.0:9867 The datanode ipc server address and port.
dfs.namenode.https-address 0.0.0.0:9871 The namenode secure http server address and port.
dfs.datanode.https.address 0.0.0.0:9865 The datanode secure http server address and port.
dfs.namenode.http-address 0.0.0.0:9870 The address and the base port where the dfs namenode web ui will listen on.
dfs.namenode.rpc-address RPC address that handles all clients requests. In the case of HA/Federation where multiple namenodes exist, the name service id is added to the name e.g. dfs.namenode.rpc-address.ns1 dfs.namenode.rpc-address.EXAMPLENAMESERVICE The value of this property will take the form of nn-host1:rpc-port. The NameNode’s default RPC port is 8020.

报错如下：

[INFO] [2020-05-12 20:19:36][org.apache.hadoop.hdfs.DataStreamer]Exception in createBlockOutputStream blk_1073741867_1043
java.net.ConnectException: Connection timed out: no further information
	at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) ~[?:1.8.0_311]
	at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:715) ~[?:1.8.0_311]
	at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206) ~[hadoop-common-3.1.3.jar:?]
	at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531) ~[hadoop-common-3.1.3.jar:?]
	at org.apache.hadoop.hdfs.DataStreamer.createSocketForPipeline(DataStreamer.java:253) ~[hadoop-hdfs-client-3.1.3.jar:?]
	at org.apache.hadoop.hdfs.DataStreamer.createBlockOutputStream(DataStreamer.java:1725) [hadoop-hdfs-client-3.1.3.jar:?]
	at org.apache.hadoop.hdfs.DataStreamer.nextBlockOutputStream(DataStreamer.java:1679) [hadoop-hdfs-client-3.1.3.jar:?]
	at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:716) [hadoop-hdfs-client-3.1.3.jar:?]

报错原因：
阿里云安全组未开放hdfs的datanode数据传输端口，IDEA从外网访问服务器的Datanode，未开放hdfs数据传输端口，则客户端无法在写数据或读数据时直接访问datanode，也无法建立datanode的数据传输通道。
解决问题：

  • 查询datanaode的dfs.datanode.address端口为9866，阿里云安全组开放该端口
  • 在客户端hdfs-site.xml中加入配置<property> <name>dfs.client.use.datanode.hostname</name> <value>true</value> </property>
# hadoop # intellij-idea # hdfs
Logo
技术共进，成长同行——讯飞AI开发者社区

技术共进，成长同行——讯飞AI开发者社区

更多推荐

cover

手把手教你玩转多模态目标检测！视觉语言模型全解析：从长距稀疏化到时空脉冲编码，小白也能上手

avatar 讯飞AI开发者社区

机器学习与人工智能

Python为网络爬虫开发提供了全面而强大的工具生态系统。从简单的数据收集任务到复杂的分布式爬虫系统，Python都能胜任。初学者建议从Requests和BeautifulSoup开始，掌握基础后再逐步学习Scrapy等高级框架和异步编程技术。最重要的是，始终牢记爬虫开发的伦理和法律边界，做负责任的网络公民。只有在合法合规的前提下，爬虫技术才能发挥其真正的价值。

avatar 讯飞AI开发者社区

人工智能算力高质量发展现状及挑战

人工智能（Artificial Intelligence，AI）是通过计算机系统模拟人类智能的技术，涵盖学习、推理、问题解决和决策等能力。其核心目标是让机器执行通常需要人类智慧的任务。如需更具体领域的细节（如技术实现或行业案例），可进一步说明需求。函数获取用户输入的内容，存储在变量。函数获取用户输入的内容，存储在变量。将输入内容转换为大写，存储在。将输入内容转换为大写，存储在。函数输出处理后的结果

avatar 讯飞AI开发者社区