大数据

返回《在阿里云中搭建大数据实验环境》首页
提示：本教程是一个系列文章，请务必按照本教程首页中给出的各个步骤列表，按照先后顺序一步步进行操作，本博客假设你已经顺利完成了之前的操作步骤。
现在介绍如何在阿里云ECS的Ubuntu系统中安装Scala。
继续阅读

返回《在阿里云中搭建大数据实验环境》首页
现在介绍如何在阿里云ECS的Ubuntu系统中安装开发工具IntelliJ IDEA和Scala插件。
继续阅读

返回《在阿里云中搭建大数据实验环境》首页
提示：本教程是一个系列文章，请务必按照本教程首页中给出的各个步骤列表，按照先后顺序一步步进行操作，本博客假设你已经顺利完成了之前的操作步骤。
在阿里云ECS的Ubuntu系统中安装Hadoop，和在本地电脑安装Hadoop，基本相似，但是，也有略微差别，必须正确配置，否则，会导致无法顺利启动。安装Hadoop之前，请确保已经根据前面的博客《在ECS实例的Ubuntu系统中安装Java》完成了Java的安装。
继续阅读

返回《在阿里云中搭建大数据实验环境》首页
提示：本教程是一个系列文章，请务必按照本教程首页中给出的各个步骤列表，按照先后顺序一步步进行操作，本博客假设你已经顺利完成了之前的操作步骤。
在大数据实验操作中，我们经常需要从本地电脑上传数据或者软件到阿里云ECS的Ubuntu系统中，或者需要从ECS的Ubuntu系统中下载数据到本地电脑。因此，需要了解如何使用FTP软件向ECS实例中的Ubuntu系统上传和下载文件。
继续阅读

返回《在阿里云中搭建大数据实验环境》首页
提示：本教程是一个系列文章，请务必按照本教程首页中给出的各个步骤列表，按照先后顺序一步步进行操作，本博客假设你已经顺利完成了之前的操作步骤。
无论是Hadoop，还是Spark，都需要Java运行环境，因此，需要在ECS实例的Ubuntu系统中安装Java。由于本教程使用Hadoop2.7.1和Spark2.1.0（要求必须Java8及以上版本），因此，需要安装Java8。如果你的ECS实例中的Ubuntu是Java7，那么版本太旧，必须删除，然后，安装Java8,。
继续阅读

返回《在阿里云中搭建大数据实验环境》首页
提示：本教程是一个系列文章，请务必按照本教程首页中给出的各个步骤列表，按照先后顺序一步步进行操作，本博客假设你已经顺利完成了之前的操作步骤。
假设我们在本地使用台式机或笔记本电脑，有时候，我们要在远程的云服务器ECS的Ubuntu中执行一些Shell命令来完成一些操作，如果采用阿里云网页管理控制台的方式，非常繁琐（要访问官网、登录账户、发起远程连接、进入Ubuntu系统、打开终端），因此，建议在本地电脑上，使用Putty软件实现SSH登录到远程ECS实例中的Ubuntu系统，这样做非常方便快捷。
继续阅读

返回《在阿里云中搭建大数据实验环境》首页
提示：本教程是一个系列文章，请务必按照本教程首页中给出的各个步骤列表，按照先后顺序一步步进行操作，本博客假设你已经顺利完成了之前的操作步骤。
在使用Ubuntu系统的过程中，一般不建议直接使用root用户，建议新建一个或多个普通用户，平时的大数据实验操作都使用普通用户登录Ubuntu系统。
购买了阿里云的云服务器ECS实例以后，就可以打开浏览器，通过网页访问阿里云官网，通过网页中的管理控制台，使用root用户来登录ECS实例中的Ubuntu系统，然后，根据前面博客介绍的方法，在Ubuntu系统中打开一个命令行终端，在终端中输入Shell命令完成新用户的创建。
继续阅读

返回《在阿里云中搭建大数据实验环境》首页
提示：本教程是一个系列文章，请务必按照本教程首页中给出的各个步骤列表，按照先后顺序一步步进行操作，本博客假设你已经顺利完成了之前的操作步骤。
通过网页中的管理控制台来登录ECS实例中的Ubuntu系统，对于开发者而言，使用体验不是很好。建议在本地电脑使用VNC远程连接ECS实例中的Ubuntu系统，可以带来更好的体验。
继续阅读

返回《在阿里云中搭建大数据实验环境》首页
提示：本教程是一个系列文章，请务必按照本教程首页中给出的各个步骤列表，按照先后顺序一步步进行操作，本博客假设你已经顺利完成了之前的操作步骤。
购买了阿里云的云服务器ECS实例以后，就可以打开浏览器，通过网页访问阿里云官网，通过网页中的管理控制台，来登录ECS实例中的Ubuntu系统。
继续阅读

返回《在阿里云中搭建大数据实验环境》首页

学习大数据时，学习者都是使用台式机或者笔记本电脑开始上机实验操作。但是，大数据软件非常多，普通台式机和笔记本电脑上安装了大量的大数据软件以后，运行速度会很慢。笔者也曾经花了1000元左右购买了16GB内存条和固态盘（比磁盘快），把笔记本电脑升级了一次，增加存储空间和内存空间。但是，当笔者安装了大量大数据软件以后，就发现，在进行上机操作时，速度会越来越慢，如果要跑一些综合案例（涉及到大量软件和数据集），电脑基本跑不动。笔记想过了，就算更换笔记本电脑，实际上也解决不了问题，毕竟现在新电脑的CPU和内存，基本上和笔者现在使用的旧的笔记本电脑不会有太大差别。最终，笔者决定尝试使用云服务，也就是说，在云端购买一台“机器”（注意，实际上云端提供的机器并非我们平时所理解的物理机器，实际上是虚拟化以后的资源）。
继续阅读