Author: 林子雨老师

在阿里云ECS的Ubuntu中安装Spark

返回《在阿里云中搭建大数据实验环境》首页
提示:本教程是一个系列文章,请务必按照本教程首页中给出的各个步骤列表,按照先后顺序一步步进行操作,本博客假设你已经顺利完成了之前的操作步骤。
现在介绍如何在阿里云ECS的Ubuntu系统中安装Spark,本教程采用的版本是Spark2.1.0。Spark部署模式主要有四种:Local模式(单机模式)、Standalone模式(使用Spark自带的简单集群管理器)、YARN模式(使用YARN作为集群管理器)和Mesos模式(使用Mesos作为集群管理器)。这里介绍Local模式(单机模式)的 Spark安装。
继续阅读

在ECS实例的Ubuntu系统中安装Hadoop

返回《在阿里云中搭建大数据实验环境》首页
提示:本教程是一个系列文章,请务必按照本教程首页中给出的各个步骤列表,按照先后顺序一步步进行操作,本博客假设你已经顺利完成了之前的操作步骤。
在阿里云ECS的Ubuntu系统中安装Hadoop,和在本地电脑安装Hadoop,基本相似,但是,也有略微差别,必须正确配置,否则,会导致无法顺利启动。安装Hadoop之前,请确保已经根据前面的博客《在ECS实例的Ubuntu系统中安装Java》完成了Java的安装。
继续阅读

使用FTP软件向ECS实例中的Ubuntu系统上传和下载文件

返回《在阿里云中搭建大数据实验环境》首页
提示:本教程是一个系列文章,请务必按照本教程首页中给出的各个步骤列表,按照先后顺序一步步进行操作,本博客假设你已经顺利完成了之前的操作步骤。
在大数据实验操作中,我们经常需要从本地电脑上传数据或者软件到阿里云ECS的Ubuntu系统中,或者需要从ECS的Ubuntu系统中下载数据到本地电脑。因此,需要了解如何使用FTP软件向ECS实例中的Ubuntu系统上传和下载文件。
继续阅读

在ECS实例的Ubuntu系统中安装Java

返回《在阿里云中搭建大数据实验环境》首页
提示:本教程是一个系列文章,请务必按照本教程首页中给出的各个步骤列表,按照先后顺序一步步进行操作,本博客假设你已经顺利完成了之前的操作步骤。
无论是Hadoop,还是Spark,都需要Java运行环境,因此,需要在ECS实例的Ubuntu系统中安装Java。由于本教程使用Hadoop2.7.1和Spark2.1.0(要求必须Java8及以上版本),因此,需要安装Java8。如果你的ECS实例中的Ubuntu是Java7,那么版本太旧,必须删除,然后,安装Java8,。
继续阅读

使用Putty软件实现SSH登录到Ubuntu系统

返回《在阿里云中搭建大数据实验环境》首页
提示:本教程是一个系列文章,请务必按照本教程首页中给出的各个步骤列表,按照先后顺序一步步进行操作,本博客假设你已经顺利完成了之前的操作步骤。
假设我们在本地使用台式机或笔记本电脑,有时候,我们要在远程的云服务器ECS的Ubuntu中执行一些Shell命令来完成一些操作,如果采用阿里云网页管理控制台的方式,非常繁琐(要访问官网、登录账户、发起远程连接、进入Ubuntu系统、打开终端),因此,建议在本地电脑上,使用Putty软件实现SSH登录到远程ECS实例中的Ubuntu系统,这样做非常方便快捷。
继续阅读

为Ubuntu系统添加新的普通用户

返回《在阿里云中搭建大数据实验环境》首页
提示:本教程是一个系列文章,请务必按照本教程首页中给出的各个步骤列表,按照先后顺序一步步进行操作,本博客假设你已经顺利完成了之前的操作步骤。
在使用Ubuntu系统的过程中,一般不建议直接使用root用户,建议新建一个或多个普通用户,平时的大数据实验操作都使用普通用户登录Ubuntu系统。
购买了阿里云的云服务器ECS实例以后,就可以打开浏览器,通过网页访问阿里云官网,通过网页中的管理控制台,使用root用户来登录ECS实例中的Ubuntu系统,然后,根据前面博客介绍的方法,在Ubuntu系统中打开一个命令行终端,在终端中输入Shell命令完成新用户的创建。
继续阅读

使用VNC远程连接ECS实例中的Ubuntu系统

返回《在阿里云中搭建大数据实验环境》首页
提示:本教程是一个系列文章,请务必按照本教程首页中给出的各个步骤列表,按照先后顺序一步步进行操作,本博客假设你已经顺利完成了之前的操作步骤。
通过网页中的管理控制台来登录ECS实例中的Ubuntu系统,对于开发者而言,使用体验不是很好。建议在本地电脑使用VNC远程连接ECS实例中的Ubuntu系统,可以带来更好的体验。
继续阅读

从网页的控制台登录云服务器ECS中的Ubuntu系统

返回《在阿里云中搭建大数据实验环境》首页
提示:本教程是一个系列文章,请务必按照本教程首页中给出的各个步骤列表,按照先后顺序一步步进行操作,本博客假设你已经顺利完成了之前的操作步骤。
购买了阿里云的云服务器ECS实例以后,就可以打开浏览器,通过网页访问阿里云官网,通过网页中的管理控制台,来登录ECS实例中的Ubuntu系统。
继续阅读