在ECS实例的Ubuntu系统中安装Hadoop

大数据学习路线图

返回《在阿里云中搭建大数据实验环境》首页
提示:本教程是一个系列文章,请务必按照本教程首页中给出的各个步骤列表,按照先后顺序一步步进行操作,本博客假设你已经顺利完成了之前的操作步骤。
在阿里云ECS的Ubuntu系统中安装Hadoop,和在本地电脑安装Hadoop,基本相似,但是,也有略微差别,必须正确配置,否则,会导致无法顺利启动。安装Hadoop之前,请确保已经根据前面的博客《在ECS实例的Ubuntu系统中安装Java》完成了Java的安装。

我们已经把Hadoop的安装包hadoop-2.7.1.tar.gz放在了百度云盘(建议选择2.7.1版本,确保和本教程的其他大数据软件在版本上能够兼容,选择其他Hadoop版本,可能导致其他软件会运行出错),可以点击这里到百度云盘下载Hadoop安装包(提取码:gx0b)。把压缩格式的文件hadoop-2.7.1.tar.gz下载到本地电脑,然后,参考之前的FTP使用指南,在本地电脑中,使用FTP软件,使用用户名linziyu连接阿里云ECS实例,把hadoop-2.7.1.tar.gz这个压缩格式文件上传到远程的阿里云ECS实例的Ubuntu系统中,可以上传到Ubuntu系统的“/home/linziyu/Downloads/”目录下。

根据本教程前面博客介绍的方法,采用用户名linziyu,使用Putty连接ECS中的Ubuntu系统,进入命令行界面,或者也可以使用VNCViewer连接ECS中的Ubuntu系统打开“终端”进入命令行界面。总之,一定要进入命令行界面,这样可以在里面输入Shell命令,来安装Java。

假设现在已经进入命令行界面中,当前登录用户名是linziyu。

更新apt

用linziyu 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了。在命令行界面中执行如下命令:

sudo apt-get update

安装SSH、配置SSH无密码登陆

Hadoop集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:

sudo apt-get install openssh-server

安装后,可以使用如下命令登陆本机:

ssh localhost

此时会有如下提示(SSH首次登陆提示),输入 yes 。然后按提示输入密码 hadoop,这样就登陆到本机了。

SSH首次登陆提示SSH首次登陆提示

但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。

首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:

exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了,屏幕上会显示如下信息:

linziyu@iZbp11gznj7n38xkztu64dZ:~$ ssh localhost
Welcome to Ubuntu 14.04.5 LTS (GNU/Linux 4.4.0-93-generic x86_64)
 * Documentation:  https://help.ubuntu.com/
23 packages can be updated.
9 updates are security updates.
New release '16.04.4 LTS' available.
Run 'do-release-upgrade' to upgrade to it.
Your Hardware Enablement Stack (HWE) is supported until April 2019.
Welcome to Alibaba Cloud Elastic Compute Service !
Last login: Fri Apr  6 10:51:13 2018 from 118.12.231.185

安装Java

安装Hadoop之前,请确保已经根据前面的博客《在ECS实例的Ubuntu系统中安装Java》完成了Java的安装。

修改hostname配置文件

sudo vim /etc/hosts

打开这个配置文件以后,在里面增加一行“192.168.1.106 iZbp11gznj7n38xkztu64dZ”,增加以后的效果如下:

192.168.1.106  iZbp11gznj7n38xkztu64dZ
127.0.0.1       localhost
# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

增加的一行“192.168.1.106 iZbp11gznj7n38xkztu64dZ”中,192.168.1.106是阿里云ECS实例的私有IP地址,iZbp11gznj7n38xkztu64dZ是ECS实例中的Ubuntu系统的主机名。

安装 Hadoop

我们选择将 Hadoop 安装至 /usr/local/ 中,用linziyu用户登录Ubuntu系统后,在命令行终端中,执行如下命令:

cd ~
sudo tar -zxf ~/Downloads/hadoop-2.7.1.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.7.1/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R linziyu:linziyu ./hadoop      # 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:

cd /usr/local/hadoop
./bin/hadoop version

Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xmlhdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。

修改配置文件 core-site.xml (使用vim编辑器: vim /usr/local/hadoop/etc/hadoop/core-site.xml),该文件原来的内容如下:

<configuration>
</configuration>

请把该文件修改为下面配置:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.1.106:9000</value>
    </property>
</configuration>

注意,在上面这个core-site.xml文件中,“hdfs://192.168.1.106:9000”的IP地址是你的阿里云ECS实例的“私网IP地址”192.168.1.106,不是公网IP地址。你的私网IP地址可能不是这个,可以登录阿里云控制台,查询自己的ECS实例的私网IP地址。

同样的,修改配置文件 hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>
Hadoop配置文件说明

Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。

此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程如此),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。

配置完成后,执行 NameNode 的格式化:

cd /usr/local/hadoop
./bin/hdfs namenode -format

成功的话,会看到 “successfully formatted” 和 “Exitting with status 0” 的提示,若为 “Exitting with status 1” 则是出错。

如果在这一步时提示 Error: JAVA_HOME is not set and could not be found. 的错误,则说明之前设置 JAVA_HOME 环境变量那边就没设置好,请按教程先设置好 JAVA_HOME 变量,否则后面的过程都是进行不下去的。如果已经按照前面教程在.bashrc文件中设置了JAVA_HOME,还是出现 Error: JAVA_HOME is not set and could not be found. 的错误,那么,请到hadoop的安装目录修改配置文件“/usr/local/hadoop/etc/hadoop/hadoop-env.sh”,在里面找到“export JAVA_HOME=${JAVA_HOME}”这行,然后,把它修改成JAVA安装路径的具体地址,比如,“export JAVA_HOME=/usr/lib/jvm/default-java”,然后,再次启动Hadoop。

接着开启 NameNode 和 DataNode 守护进程。

cd /usr/local/hadoop
./sbin/start-dfs.sh  #start-dfs.sh是个完整的可执行文件,中间没有空格

若出现SSH提示,输入yes即可,启动过程会显示如下形式的屏幕信息:

linziyu@iZbp11gznj7n38xkztu64dZ:/usr/local/hadoop$ ./sbin/start-dfs.sh
Starting namenodes on [iZbp11gznj7n38xkztu64dZ]
iZbp11gznj7n38xkztu64dZ: starting namenode, logging to /usr/local/hadoop/logs/hadoop-linziyu-namenode-iZbp11gznj7n38xkztu64dZ.out
localhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-linziyu-datanode-iZbp11gznj7n38xkztu64dZ.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-linziyu-secondarynamenode-iZbp11gznj7n38xkztu64dZ.out

启动时可能会出现如下 WARN 提示:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable WARN 提示可以忽略,并不会影响正常使用。
启动以后,使用jps命令查询进程,如果显示如下四个进程,则说明Hadoop启动成功:

linziyu@iZbp11gznj7n38xkztu64dZ:/usr/local/hadoop$ jps
21923 Jps
21592 DataNode
21417 NameNode
21806 SecondaryNameNode

如果要停止Hadoop,可以使用如下命令:

cd /usr/local/hadoop
./sbin/stop-dfs.sh