首页 » 系统攻防 » Linux » 浏览内容

如何在Linux下搭建hadoop集群环境

612 0 发表评论

小编写在前面的话
“天下武功,唯快不破”,但是如果不清楚原理,快也是徒劳。在这物欲横行,数据爆炸的年代,BigData时代到了,如果熟悉了整个hadoop的搭建过程,我们是否也能从中攫取一桶金?!

前期准备
l  两台linux虚拟机(本文使用redhat5,IP分别为 192.168.1.210、192.168.1.211)
l  JDK环境(本文使用jdk1.6,网上很多配置方法,本文省略)
l  Hadoop安装包(本文使用Hadoop1.0.4)

搭建目标
210作为主机和节点机,211作为节点机。

搭建步骤
1修改hosts文件
在/etc/hosts中增加:

2 实现ssh无密码登陆

2.1 主机(master)无密码本机登陆

直接回车,完成后会在 ~/.ssh/ 生成两个文件: id_dsa 和 id_dsa.pub 。

这两个是成对出现,类似钥匙和锁。
再把 id_dsa.pub 追加到授权 key 里面 ( 当前并没有 authorized_key s文件 ) :

实验:

还是要输入密码,一般这种情况都是因为目录或文件的权限问题,看看系统日志,确实是权限问题

.ssh下的authorized_keys权限为600,其父目录和祖父目录应为755

2.2 无密码登陆节点机(slave)

slave上执行:

生成.ssh目录。
将master上的authorized_keys复制到slave上:

实验:在master上执行

实现无密码登陆。
3 配置Hadoop
3.1拷贝hadoop

将hadoop-1.0.4.tar.gz ,拷贝到usr/local 文件夹下,然后解压。

解压命令:

3.2查看 cat /etc/hosts

3.3 配置 conf/masters 和 conf/slaves

conf/masters:

conf/slaves:

3.4 配置 conf/hadoop-env.sh

加入

3.5 配置 conf/core-site.xml

3.6 配置 conf/hdfs-site.xml
加入

3.7 配置conf/mapred-site.xml

加入

3.8 建立相关的目录

【注意】只创建到hadoop目录即可,不要手动创建data和namenode目录。
其他节点机也同样建立该目录。

3.9 拷贝hadoop文件到其他节点机
将hadoop文件远程copy到其他节点(这样前面的配置就都映射到了其他节点上),

命令:

3.10 格式化Active master(192.168.201.11)

命令:

3.11 启动集群 ./start-all.sh

现在集群启动起来了,看一下,命令:

2个datanode,打开web看一下
浏览器输入:192.168.1.210:50070
打完收工,集群安装完成!  

本文来源91ri.org 略有删减!

标签:

评论 共 0 条 (RSS 2.0) 发表 评论

  1. 暂无评论,快来抢沙发!

发表评论

  •   没有头像?

关注我们,实时联系

通知公告">更多...

♥如果喜欢本站可以直接点击订阅博客
♥点击此加入晓残博客会员群加入扣群
♥本站免费提供加密解密服务点击解密
♥伙伴们喜欢本站赏个好评呗

关注微信

有偿服务

博客统计

  • 日志总数:475 篇
  • 评论数目:1466 条
  • 标签总数:40 个
  • 页面总数:8 个
  • 分类总数:17 个
  • 友链总数:24 个
  • 建站日期:2011-02-13
  • 运行天数:2120 天
  • 最后更新:2016-12-3

订阅博客