Author: 林子雨老师

大数据Linux实验环境虚拟机镜像文件

大数据Linux实验环境虚拟机镜像文件
【镜像下载地址】请点击这里访问百度云盘下载镜像(需要安装百度云盘客户端,文件大小是6GB)
【制作单位】厦门大学数据库实验室 林子雨 老师 (ziyulin@xmu.edu.cn)
【版本】2017年11月6日
【配套教材】包含了与林子雨编著《大数据技术原理与应用(第2版)》教材配套的大数据实验环境
【镜像说明】
此镜像是使用VirtualBox虚拟机软件导出来的,里面包含了Ubuntu系统和全套大数据软件。
继续阅读

教材代码-林子雨编著《Spark编程基础》教材所有章节代码

林子雨、赖永炫、陶继平编著《Spark编程基础》书稿已经提交给人民邮电出版社,将于2018年春季学期正式出版发行,敬请关注!
林子雨、赖永炫、陶继平编著《Spark编程基础》(教材官网)教材中的代码,在纸质教材中的印刷效果,可能会影响读者对代码的理解,为了方便读者正确理解代码或者直接拷贝代码用于上机实验,这里提供全书配套的所有代码。
继续阅读

HDFS操作常用Shell命令

Hadoop支持很多Shell命令,比如hadoop fs、hadoop dfs和hdfs dfs都是HDFS最常用的Shell命令,用来查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。这三个命令既有联系有又区别:
 hadoop fs:适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统;
 hadoop dfs:只能适用于HDFS文件系统;
 hdfs dfs:跟hadoop dfs命令的作用一样,也只能适用于HDFS文件系统。
在本教程中,统一使用hdfs dfs命令对HDFS进行操作。
继续阅读

Linux系统常用命令

本教程以“最小化学习”为基本原则,只介绍本教程后续学习过程需要用到的Linux命令,并以实例的形式进行介绍,更多其他Linux命令请参考其他网络资料和书籍。
继续阅读