修改hdfs-site.xml
文件地址:/usr/local///3.1.1//etc//hdfs-site.xml
把原来的
文章插图
修改为
dfs.replication1
变量dfs.指定了每个HDFS数据库的复制次数 。通常为3, 由于我们只有一台主机和一个伪分布式模式的,将此值修改为1 。
运行
hadoop namenode -format./sbin/start-all.sh
成功后,访问 :9870 打开Hdfs的Web界面,可以查看相关的信息
值得注意的是,在3.0以后的版本中,:50070 变为 :9870 用原先的地址会报错 。(取自)
用示例测试
1.估计圆周率PI的值
hadoop jar ./libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar pi 2 5
运行结果如下:
Estimated value of Pi is 3.60000000000000000000
2.统计数据
把原来用于单机模式的测试input文件上传到hdfs中**(目录仍然是在 …/3.1.1/下,千万不要乱动)**
hadoop fs -put ./input input
运行**(目录仍然是在 …/3.1.1/下,千万不要乱动)**
hadoop jar ./libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar wordcount input output
查看的结果文件**(目录仍然是在 …/3.1.1/下,千万不要乱动)**
hadoop fs -tail output/part-r-00000
得到的结果是:
最后关闭伪分布式
./sbin/stop-all.sh
2019.4 补充
过一段时间没碰,再使用,出了以下问题:
Call From red-2.local/192.168.1.100 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:http://wiki.apache.org/hadoop/ConnectionRefused
惊了
在网上各种找问题之后,还是 大力出奇迹
命令行输入
hadoop namenode -format
都好了
- NS3安装步骤【MAC系统】
- 超详细 mac安装Hadoop3.2.1教程
- 2.安装DelayExchange插件
- Mac安装python3完整教程
- 软件打包安装工具第一篇(安装包原理)
- 打包工具原理及技术 软件打包安装工具第四篇
- 一开五孔开关安装视频,一开五孔开关安装视频
- 中英文词云
- 【网络安全】如何在Apache 安装开源 WAF
- vCenter6.7安装教程