Author: 林子雨老师

教材代码-林子雨编著《Spark编程基础》教材所有章节代码

林子雨、赖永炫、陶继平编著《Spark编程基础》书稿已经提交给人民邮电出版社,将于2018年春季学期正式出版发行,敬请关注!
林子雨、赖永炫、陶继平编著《Spark编程基础》(教材官网)教材中的代码,在纸质教材中的印刷效果,可能会影响读者对代码的理解,为了方便读者正确理解代码或者直接拷贝代码用于上机实验,这里提供全书配套的所有代码。
继续阅读

HDFS操作常用Shell命令

Hadoop支持很多Shell命令,比如hadoop fs、hadoop dfs和hdfs dfs都是HDFS最常用的Shell命令,用来查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。这三个命令既有联系有又区别:
 hadoop fs:适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统;
 hadoop dfs:只能适用于HDFS文件系统;
 hdfs dfs:跟hadoop dfs命令的作用一样,也只能适用于HDFS文件系统。
在本教程中,统一使用hdfs dfs命令对HDFS进行操作。
继续阅读

Linux系统常用命令

本教程以“最小化学习”为基本原则,只介绍本教程后续学习过程需要用到的Linux命令,并以实例的形式进行介绍,更多其他Linux命令请参考其他网络资料和书籍。
继续阅读

在Windows系统中利用FTP软件向Ubuntu系统上传文件

由于大多数大数据初学者对Windows系统比较熟悉,因此,本教程采用虚拟机方式安装Linux系统(这里采用Ubuntu系统)。如果读者还没有安装Linux虚拟机,请按照前面的Linux虚拟机安装方法完成Ubuntu系统安装。在后续的学习过程中,经常需要把一些资料从Windows系统中传输到Ubuntu系统中,因此,这里介绍具体的实现方法。
继续阅读

Linux系统中vim编辑器的安装和使用方法

vim编辑器是Linux系统上最著名的文本/代码编辑器,是vi编辑器的加强版,可以帮助我们完成文件的创建和代码的编写。请登录Linux系统(本教程全部统一使用hadoop用户登录),打开一个终端,然后,执行下面命令完成vim编辑器的安装:
继续阅读

Linux系统中下载安装文件和解压缩方法

Linux系统中经常需要下载安装文件并解压缩到指定目录下。例如,现在要下载hadoop-2.7.1.tar.gz。下载的方法是,在Linux系统中(不是在Windows系统中),打开浏览器,一般自带了火狐(FireFox)浏览器。打开浏览器后,访问Hadoop官网,找到下载文件hadoop-2.7.1.tar.gz,点击下载。火狐浏览器会默认把下载文件都保存到当前用户的下载目录,由于本教程全部采用hadoop用户登录Linux系统,所以,hadoop-2.7.1.tar.gz文件会被保存到“/home/hadoop/下载/”目录下。
继续阅读