aliyun centos hadoop 伪分步式环境的搭建与问题分享

用了一天, 搭建好了hadoop伪分步式环境, 并且就在paymoon的服务器上

大家可以访问页面, 做为参考和做一些研究

http://www.paymoon.com:50070 (HDFS管理界面)
http://www.paymoon.com:8088(MR管理界面)

鉴于网上早有搭建文章, 但是按照网上的文章, 没有一项能完全搭建成功的, 有一些坑, 网友们做了保留, 本来本人觉得, 别人不写, 我也不写, 但是后来想想, 这种思想并没有什么卵用, 会者仍然会, 不会的就是把饭给他, 他仍然吃不了.

下面将分享一些在搭建过程中主要的坑, 和最后搭建成功的几个重要步骤(适用版本hadoop2.3以后版本, 本文主要针对2.5.1和2.6版本)

1 首先改阿里云的主机名

这个绝对是坑, 而且在访问8088MapReduce的时候, 也是hadoop的一个bug, 这个在网上绝对没有被发现, 因为大家都是伪分步式,而且很多人直接就搭建自己在机器上, 结果把这个坑就忽略了,

这个必须要级联设置, 也就是为yarn和其webaddress设置完全不同的值才可以, 其实不设置无非就是在web上访问不了, 不是什么大事, 但是不完美

详细如下(部分yarn的设置有需要稍后贴出):

因为我买的域名是paymoon.com, 并且映射到了本服务器的公网IP上, 所以在配置各种xml的时候, 以paymoon.com为主机名, 但是后来在测试yarn的第一个wc上的exception, 让我悟到, 是因为主机名没改.

其中阿里云主机名更改请参考如下(我的主机名是paymoon.com, 你没看错, 中间有点是可以的)

 

2 更改ssh免密码, 关防火墙, 安装jdk, 这些网上很全, 就不再细说, 想说的是, 这些安装和配置, 最好用yum, 别搞的win再传到linux上, 当然传也可以, 但是, 太刀耕火种了…有需要我会提供一个相关的博文.

3 主要说的是2步完成后, 然后解压hadoop2.5.1, (这个文件有需要的话我会分享出来, 供大家下载), 是的, 解压过程中就是安装了hadoop, 然后后面的配置才是关键

4 配置文档, 首先要说的是, 配置文档一定要有这几个, 不能错过, 要逐一检查

4.1 hadoop-env.sh,加入”JAVA-HOME”

4.2 yarn-env.sh”,加入”JAVA_HOME”

4.3 “mapred-env.sh”,加入“JAVA_HOME”

4.4 修改配置文件slaves , 改成主机名paymoon.com

4.5 core-site.xml

4.6 hdfs-site.xml

4.7 mapred-site.xml

4.8 yarn-site.xml

其中坑就在mapred-site.xml 和 yarn-site.xml, 稍后放出

官网地址(classpath)

http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

http://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

5 配置路径, 经过4, 你会知道, 路径最好这么配置

vi /etc/profile

source /etc/profile

6 启动hadoop, 经过上传下载, 和wc测试成功后, hadoop才算真正安装好了, 否则就是个花架子

 

 

1 thought on “aliyun centos hadoop 伪分步式环境的搭建与问题分享

  • 这个绝对是坑, 而且在访问8088MapReduce的时候, 也是hadoop的一个bug, 这个在网上绝对没有被发现, 因为大家都是伪分步式,而且很多人直接就搭建自己在机器上, 结果把这个坑就忽略了,

    这个必须要级联设置, 也就是为yarn和其webaddress设置完全不同的值才可以, 其实不设置无非就是在web上访问不了, 不是什么大事, 但是不完美

    博主这个坑你还没说咋解决呢

发表评论

电子邮件地址不会被公开。