Author: 林子雨老师

教材代码-林子雨编著《Spark编程基础》教材所有章节代码

林子雨、赖永炫、陶继平编著《Spark编程基础》书稿已经提交给人民邮电出版社,将于2018年春季学期正式出版发行,敬请关注!
林子雨、赖永炫、陶继平编著《Spark编程基础》(教材官网)教材中的代码,在纸质教材中的印刷效果,可能会影响读者对代码的理解,为了方便读者正确理解代码或者直接拷贝代码用于上机实验,这里提供全书配套的所有代码。
继续阅读

HDFS操作常用Shell命令

Hadoop支持很多Shell命令,比如hadoop fs、hadoop dfs和hdfs dfs都是HDFS最常用的Shell命令,用来查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。这三个命令既有联系有又区别:
 hadoop fs:适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统;
 hadoop dfs:只能适用于HDFS文件系统;
 hdfs dfs:跟hadoop dfs命令的作用一样,也只能适用于HDFS文件系统。
在本教程中,统一使用hdfs dfs命令对HDFS进行操作。
继续阅读

Linux系统常用命令

本教程以“最小化学习”为基本原则,只介绍本教程后续学习过程需要用到的Linux命令,并以实例的形式进行介绍,更多其他Linux命令请参考其他网络资料和书籍。
继续阅读

在Windows系统中利用FTP软件向Ubuntu系统上传文件

由于大多数大数据初学者对Windows系统比较熟悉,因此,本教程采用虚拟机方式安装Linux系统(这里采用Ubuntu系统)。如果读者还没有安装Linux虚拟机,请按照前面的Linux虚拟机安装方法完成Ubuntu系统安装。在后续的学习过程中,经常需要把一些资料从Windows系统中传输到Ubuntu系统中,因此,这里介绍具体的实现方法。
继续阅读