厦大数据库实验室博客

总结、分享、收获

实验室主页

VirturalBox MapReduce sqoop Pregel Ubuntu 大数据 CentOS Hadoop 数据仓库 Kafka 林子雨 Hive LaTex Storm 逻辑回归 kettle Python HDFS 数据挖掘 大数据技术原理与应用 NoSQL MySQL 数据可视化 MongoDB hama 信息图 Unix环境高级编程 图计算 R 机器学习 大数据，Spark Linux Redis Maven Zeppelin Shell flink Unix HBase Spark Scala d3.js Java

大数据Linux实验环境虚拟机镜像文件

大数据Linux实验环境虚拟机镜像文件（安装镜像以后，遇到需要输入密码的地方，密码都是hadoop）
【镜像下载地址】请点击这里访问百度云盘下载镜像（需要安装百度云盘客户端，文件大小是6GB）
【制作单位】厦门大学数据库实验室 林子雨 老师 (ziyulin@xmu.edu.cn)
【版本】2017年11月6日
【配套教材】包含了与林子雨编著《大数据技术原理与应用（第2版）》教材配套的大数据实验环境
【镜像说明】
此镜像是使用VirtualBox虚拟机软件导出来的，里面包含了Ubuntu系统和全套大数据软件。遇到需要输入密码的地方，密码都是hadoop。
继续阅读

教材代码-林子雨编著《Spark编程基础》教材所有章节代码

林子雨、赖永炫、陶继平编著《Spark编程基础》书稿已经提交给人民邮电出版社，将于2018年春季学期正式出版发行，敬请关注！
林子雨、赖永炫、陶继平编著《Spark编程基础》(教材官网)教材中的代码，在纸质教材中的印刷效果，可能会影响读者对代码的理解，为了方便读者正确理解代码或者直接拷贝代码用于上机实验，这里提供全书配套的所有代码。
继续阅读

HDFS操作常用Shell命令

Hadoop支持很多Shell命令，比如hadoop fs、hadoop dfs和hdfs dfs都是HDFS最常用的Shell命令，用来查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。这三个命令既有联系有又区别：
 hadoop fs：适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统；
 hadoop dfs：只能适用于HDFS文件系统；
 hdfs dfs：跟hadoop dfs命令的作用一样，也只能适用于HDFS文件系统。
在本教程中，统一使用hdfs dfs命令对HDFS进行操作。
继续阅读

© 2014 厦大数据库实验室