ubuntu 13.10 安装 hadoop 2.2

好久没写技术文章了,但不代表不重视,毕竟生活中有很多比技术更美好的东西 🙂
快到圣诞了,也就是又过了一年,补上两篇

1:单机模式(standalone)
1.1:安装 JDK
先到官网下载
http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
$ sudo mkdir -p /usr/lib/jvm/
$ sudo tar zxvf ./jdk-7-linux-i586.tar.gz -C /usr/lib/jvm

配置环境变量(~/.bashrc ) 然后 source ~/.bashrc 下
最后用 java -version 检验下

************************************************************
1.2:添加一个名为hadoop到系统用户
~$ sudo addgroup hadoop
~$ sudo adduser –ingroup hadoop hadoop

给hadoop用户添加权限,打开/etc/sudoers文件
sudo vi /etc/sudoers
在root ALL=(ALL:ALL) ALL
下添加 hadoop ALL=(ALL:ALL) ALL

************************************************************
1.3: 安装ssh (因为 Hadoop用ssh 进行通信)
sudo apt-get install openssh-server
ssh安装完成以后,先启动服务 sudo /etc/init.d/ssh start
也可以用 sudo service ssh stop/start/status/restart
查看服务是否正确启动 ps -e | grep ssh

为了方便使用,设置免密码登录
ssh-keygen -t rsa 第一次操作时会提示输入密码,按Enter直接过,
这时会在~/home/{username}/.ssh下生成两个文件:id_rsa和id_rsa.pub,
前者为私钥,后者为公钥,
将公钥追加到authorized_keys中
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

现在可以不用输入密码登入ssh:ssh localhost

************************************************************
1.4:正式安装 hadoop 2.2
到官方下载 http://www.apache.org/dyn/closer.cgi/hadoop/common/
解压并放到你希望的目录中
~$ sudo tar xzf hadoop-2.2.0.tar.gz
~$ sudo mv hadoop-2.2.0 /usr/local/hadoop

要确保所有的操作都是在用户hadoop下完成的:
~$ sudo chown -R hadoop:hadoop /usr/local/hadoop

设定hadoop-env.sh
进入hadoop目录,conf 下的 hadoop-env.sh,添加以下信息:
#for hadoop
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

让配置生效source
~$ source /usr/local/hadoop/conf/hadoop-env.sh

测试安装正常 hadoop version

************************************************************
2: 伪分布模式(Pseudo-Distributed Mode)
2.1 用自己喜欢的编辑器编辑以下内容 及 添加相应的目录
**********************core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

</configuration>

***********************hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file: /home/test/mydata/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file: /home/test/mydata/hdfs/data</value>
</property>
</configuration>

***********************mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

</configuration>

***********************yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

</configuration>

2.2 格式化HDFS
通过以上步骤,我们已经设定好Hadoop单机测试到环境,接着就是启动Hadoop到相关服务,
格式化namenode,secondarynamenode,tasktracker:

~$ source /usr/local/hadoop/conf/hadoop-env.sh
~$ hdfs namenode -format

2.3 安装完成,启动服务
$ sbin/start-all.sh
验证是否安装成功 jps

用一简单的例子测试一下
hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar pi 2 5
2

2.4 相应的管理页面
http://localhost:8088
http://localhost:50070
3 4

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s