大数据课程学生服务站_厦门大学数据库实验室

本服务站是“高校大数据课程公共服务平台”的九大工程中的“3号子工程”

大数据课程学生服务站：为学生学习大数据课程提供一站式服务

建设者：厦门大学计算机科学系林子雨博士/助理教授

(E-mail: ziyulin@xmu.edu.cn, 个人主页：http://www.cs.xmu.edu.cn/linziyu)

大数据课程学生服务站二维码

扫一扫手机访问本网页

服务站功能

“大数据课程学生服务站”为学生学习入门级大数据课程提供课程教材、讲义PPT、技术资料、进阶学习指南等全方位、一站式服务，帮助学生形成知识体系、开展基本编程实践、明确进阶学习方向，提高学习效率，提升学习效果。

本服务站由林子雨老师提供全程指导，并由数据库实验室硕士研究生具体建设，完全以学生的视角提供服务内容。承担建设任务的硕士研究生，刚刚接触大数据，从零开始学习大数据相关知识，会把学习过程的各种问题、解决方案、学习方法和实践经验分享发布到服务站。

本服务站将不断更新各种资料，欢迎保持对本站的关注，希望本站成为学生学习大数据课程的好帮手！同时，也欢迎同学们把自己的宝贵学习心得发送至林子雨老师邮箱ziyulin@xmu.edu.cn，与大家分享，这里表示衷心的感谢。

发起人和负责人

林子雨，男，1978年出生，北京大学博士，现为厦门大学计算机科学系教师，海峡云计算与大数据应用研究中心副主任，获得2013年度厦门大学教学类奖教金，中国高校首个“数字教师”的提出者和建设者。研究领域包括数据库、数据仓库、大数据、云计算和物联网。主持或参与了包括国家自然科学基金、863计划在内的多项国家重点科研项目，并以第一作者身份在《计算机学报》《软件学报》和《计算机研究与发展》等国家重点期刊以及国际学术会议上发表多篇学术论文，并编著出版中国高校第一本系统介绍大数据知识的专业教材《大数据技术原理与应用》。曾作为志愿者在国内第一个翻译了Google Spanner、BigTable和《Architecture of a Database System》等大量英文学术资料，与广大网友分享，深受欢迎。2013年在厦门大学开设《大数据技术基础》课程，并因在教学领域的突出贡献和学生的认可，成为2013年度厦门大学教学类奖教金获得者。

推荐教材

本服务站由厦门大学计算机科学系助理教授林子雨博士总负责，并推荐学生在大数据入门课程的学习中使用林子雨老师编著的入门级大数据教材《大数据技术原理与应用》，欢迎访问该教材官网，获取教材配套讲义PPT（可编辑格式）。本服务站提供的相关自学教程和配套习题，都以林子雨编著《大数据技术原理与应用》教材为基础。

林子雨在数据库、数据仓库、数据挖掘、大数据、云计算和物联网等领域有着十多年的知识积累，对各个领域知识都有比较深入的了解，在政府发改部门的两年挂职期间对大量企业的调研，使其形成了比较宽泛的视野和对产业的深入了解。

2013年9月，由林子雨主讲的厦门大学计算机科学系研究生课程《大数据技术基础》正式开课。由于当时国内尚未出现适合本科和研究生教学的大数据专业教材，林子雨结合自身研究成果，并调研大量网络资料，历时半年编写完成了免费开源的课程讲义，发布到网络上，受到广大网友好评。

2014年开始，历时一年多时间，林子雨系统总结理论研究成果和教学实践经验，将相关大数据知识综合成一本适合本科和研究生教学的教材——《大数据技术原理与应用》。该教材由人民邮电出版社出版发行，2015年8月正式在当当、京东、淘宝、亚马逊等各大网店上架销售，并成为畅销书籍。近几年的教学实践证明，目前市场已有的各类其他书籍，大都偏于技术，比较适合作为深入学习的工具书来使用，不适合作为高校本科和研究生教学的教材。高校教学应更加侧重理论层面的教学，即对大数据领域知识体系的普及和背后原理的阐述，而非让学生深入学习和实践某一种大数据技术。从这个角度来说，《大数据技术原理与应用》是国内高校第一本系统介绍大数据知识的专业教材，也是第一本适合用于本科和研究生教学的入门级教材。

在线课程视频

1门在线课程：即“大数据技术原理与应用在线课程”，开辟网络大数据课程讲授平台；本在线视频课程由厦门大学计算机科学系林子雨老师主讲，为入门级大数据课程，适合大数据初学者。目前已经完成录制的在线视频课程包括入门级大数据公开课（知识体系型）和入门级大数据公开课（专题技术型）。入门级大数据公开课（知识体系型），旨在帮助学生形成对大数据知识体系及其应用领域的轮廓性认识，为学生在大数据领域“深耕细作”奠定基础、指明方向。课程内容涵盖大数据、云计算和物联网概念及其相互关系、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库和分布式并行编程模型MapReduce。入门级大数据公开课（专题技术型），是针对某个技术专题做深入讲解（包括MapReduce技术专题、HBase技术专题、Hadoop技术专题、NoSQL技术专题等），比如1.5个小时讲解分布式并行编程框架MapReduce，或者1.5个小时讲解分布式数据库HBase等。

（点击这里进入林子雨主讲入门级大数据在线课程）

课程资料下载

（1）与教材配套的教学必备材料

资料名称	说明	下载
教学大纲	与林子雨编著《大数据技术原理与应用》教材配套的教学大纲	下载
讲义PPT	与林子雨编著《大数据技术原理与应用》教材配套的讲义PPT（可编辑格式，其他高校老师可以自由修改PPT内容）	下载
上机习题	与林子雨编著《大数据技术原理与应用》教材配套的上机练习题目。为了读者更好地消化理解林子雨编著《大数据技术原理与应用》教材的内容，厦门大学数据库实验室为该教材的每个章节都精心设计了上机练习题目，相关上机练习题目都包含了入门级的软件安装和使用指导，让学生在学会基础使用方法后，再去完成相关作业内容。	下载
学习指南	【“学习指南”的用途】读者在使用林子雨编著《大数据技术原理与应用》教材时，只看教材，只能较好学习完成理论层面的内容，由于教材撰写必须本着精练的原则，无法对技术层面的操作细节面面俱到，因此，一些具体大数据技术的实践操作，如果只有教材，是无法顺利完成的。为了让读者能够顺利完成教材上相关大数据技术的上机实践，因此，厦门大学数据库实验室制作了与教材各个章节配套的学习指南，指南中会对如何实践相关大数据技术进行详细的说明。	查看
授课视频	与林子雨编著《大数据技术原理与应用》教材每个章节配套的教学视频，林子雨主讲，在线免费观看，支持手机和电脑等多种方式访问	查看
大数据综合实验案例	“大数据课程实验案例：网站用户行为分析”Ｖ1.0版本，正式上线发布，免费向全国高校共享。本案例旨在满足全国高校大数据教学对实验案例的迫切需求，案例采用2000万条网站用户购物数据集，涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用方法。案例适合高校（高职）大数据教学，可以作为学生学习大数据课程后的综合实践案例。	查看
Spark入门教程	Spark是当前最热门的大数据处理框架，林子雨编著《Spark入门教程》，让初学者零基础零障碍学习Spark。	查看

（2）进阶学习

学生如果在课程学习任务完成以后，有继续深入更多关于大数据相关知识的浓厚兴趣，可以在课后学习本部分的进阶学习内容。

标题	内容	下载
厦大林子雨-进阶学习-Hadoop架构再探讨	Hadoop版本和生态系统组件、Hadoop集群配置、从Hadoop1.0到Hadoop2.0、YARN、HDFS HA和Federation、Hadoop在企业中的应用、企业实战案例	下载
Hadoop上的数据仓库Hive初级实践教程	Hive是Facebook开发的构建于Hadoop集群之上的数据仓库应用，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。本教程介绍了Hive概况、安装、配置、常用HiveQL操作和Hive简单编程实践。	下载WORD版网页版
Spark快速入门指南 – Spark的安装与基础使用	Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark 正如其名，最大的特点就是快（Lightning-fast），可比 Hadoop MapReduce 的处理速度快 100 倍。此外，Spark 提供了简单易用的 API，几行代码就能实现 WordCount。本教程主要参考官网快速入门教程，介绍了 Spark 的安装，Spark shell 、RDD、Spark SQL、Spark Streaming 等的基本使用。	下载WORD版本网页版

（3）拓展阅读资料下载

【拓展阅读资料用途】林子雨在学习大数据课程的过程中，会把一些精华的大数据电子书籍或网络文章，以及林子雨近些年在各个场合做的各个专题演讲的报告PPT，做成一个集锦，推荐给读者，如果读者感兴趣，可以作为拓展阅读材料，拓宽自己的知识面。

【访问入口】请点击这里访问大数据课程拓展阅读材料集锦

（4）参考书籍

如果学生在学习完本课程（入门级）以后，有兴趣继续深入学习大数据相关技术，建议购买以下正版书籍。

名称	作者/出版社/时间	内容
《大数据时代》	维克托.迈尔舍恩伯格著盛杨燕周涛译浙江人民出版社，2012年12月	大数据时代流传最广的一本普及性书籍，属于管理类而非技术类书籍，通俗易懂，一书读懂大数据对人类社会的深刻影响
《Hadoop实战》	陆嘉恒，机械工业出版社，2011年9月	介绍Hadoop、MapReduce、HDFS、Hive、HBase、Mahout、Pig、Zookeeper、Avro、Chukwa
《Hadoop权威指南（中文版）》	Tom White著，曾大聃、周傲英译清华大学出版社，2010年5月	Hadoop简介、MapReduce简介、Hadoop分布式文件系统、Hadoop的I/O、MapReduce应用程序开发、MapReduce工作机制、MapReduce的类型和格式、Pig简介、HBase简介、Zookeeper简介，提供了丰富案例分析
《Hadoop权威指南英文版第三版》	Tom White著O’REILLY出版，2012年	全英文原著，内容涉及Hadoop简介、MapReduce简介、Hadoop分布式文件系统、Hadoop的I/O、MapReduce应用程序开发、MapReduce工作机制、MapReduce的类型和格式、Pig简介、HBase简介、Zookeeper简介，提供了丰富案例分析
《Hadoop实战》	Chuck Lam著，韩冀中译人民邮电出版社，2011年10月	深入浅出介绍Hadoop框架、编写和运行Hadoop数据处理程序所需要的实践技能及Hadoop之外更大的生态系统
《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》	董西成著机械工业出版社，2013年5月	深入剖析Hadoop MapReduce中各个组件的实现细节，包括RPC框架、JobTracker实现、TaskTracker实现、Task实现和作业调度器实现等。书中不仅详细介绍了MapReduce各个组件的内部实现原理，而且结合源代码进行了深入剖析，使读者可以快速全面掌握Hadoop MapReduce设计原理和实现细节
《Hadoop技术内幕：深入解析HADOOP COMMON和HDFS架构设计与实现原理》	蔡斌，陈湘萍著机械工业出版社，2013年3月	该书从源代码层面上，对Hadoop的公共工具Common和Hadoop的分布式文件系统HDFS进行了介绍，帮助广大开发者从架构与设计原理的角度去解释Hadoop，从而为更好地使用和扩展Hadoop打下坚实的基础
《信号与噪声：大数据时代的预测科学与技术》	纳特.西尔弗著胡晓姣，张新，朱辰辰译中信出版社，2013年8月	第一章预测失败的灾难性后果；第二章政治选举预测；第三章棒球比赛预测；第四章天气预测；第五章地震预测；第六章经济预测；第七章传染性疾病预测；第八章贝叶斯定理；第九章国际象棋大战；第十章扑克牌游戏；第十一章股票市场；第十二章温室效应；第十三章恐怖主义。
《Pro Hadoop：Build scalable, distributed applications in the cloud》(英文版)	Jason Venner，Apress出版社，2009	介绍MapReduce、HDFS的深入编程方法，包括调试和解决各种问题
《实战Hadoop—开启通向云计算的捷径》	刘鹏，电子工业出版社，2011年9月	讲述Hadoop基本原理，并配以生动的案例，介绍了HDFS、MapReduce、HBase、Hive、Cassandra、Chukwa、Zookeeper
《云计算（第二版）》	刘鹏，电子工业出版社，2011年5月	绪论、Google云计算原理与应用、Amazon云计算AWS、微软云计算Windows Azure、VMWare云计算、Hadoop：Google云计算的开源实现、Eucalyptus:Amazon云计算的开源实现、其他开源云计算系统、云计算仿真器CloudSim、云计算研究热点、总结与展望
《虚拟化与云计算》	虚拟化与云计算小组，电子工业出版社，2009年10月	数据中心的构建与管理、虚拟化概论、虚拟化的关键技术、虚拟化的业界动态、云计算概论、云架构、云计算的关键技术与挑战、云计算的业界动态
《HBase权威指南中文版》	Lars George著，代志远，刘佳，蒋杰译，人民邮电出版社，2013年7月	简介、安装、客户端API：基础知识、客户端API：高级特性、客户端API：管理功能、可用客户端、与MapReduce集成、架构、高级用法、集群监控、性能优化、集群管理

保障团队

本服务站由厦门大学数据库实验室提供全程支持和保障。网址：https://dblab.xmu.edu.cn/

厦门大学数据库实验室是“信息科学与技术学院文明卫生实验室”，位于厦门大学海韵园，坐落在美丽的厦门珍珠湾，与大海仅有百米之隔。实验室老师包括冯少荣老师（副教授）、张东站老师（副教授）、林子雨老师（助理教授）、林文水老师（助理教授）。实验室承担计算机系《数据库系统原理》、《分布式数据库》和《大数据技术基础》等课程的本科生和研究生教学工作，在数据库、数据仓库、数据挖掘和大数据领域开展相关研究，为社会培养了众多优秀的本科和硕士毕业生。实验室先后于1989年和2004年承办了第八届和第二十一届全国数据库会议（NDBC），受到广泛好评。

共建单位

（1）厦门大学云计算与大数据研究中心

厦门大学数据库实验室与厦门大学云计算与大数据研究中心携手共建“大数据课程教师服务站”。厦门大学云计算与大数据研究中心为本服务站建设提供理论、技术、设备、人员和教学环境等各方面支持，包括平台网站虚拟主机空间、教学机房、技术支持等。林子雨老师是厦门大学云计算与大数据研究中心的主要建设者和骨干成员，承担了研究中心筹建阶段和运作阶段的大量工作，包括起草发展规划、撰写会议纪要、筹备成立大会、对外合作交流等。

厦门大学云计算与大数据研究中心是校级跨学科研究机构，负责统筹和管理全校的存储和超级计算资源。研究中心由厦门大学信息科学与技术学院、厦门大学信息与网络中心共同设立，挂靠厦门大学信息科学与技术学院，是福建省重点实验室、福建省2011协同创新中心和福建省工程技术研究中心培育单位。

研究中心的建设目标是成为在云计算与大数据领域内受到国内同行认可，拥有一批国际知名专家学者，并具有较高学术声誉的研究单位，以及政府和企事业单位的决策咨询单位。研究中心现有首席科学家4名（闽江讲座教授、厦门大学讲座教授），教授10名，副教授9名，助理教授15名，高级工程师5名，工程师15名。团队所指导的在校博士生7人，在校硕士研究生150余人。研究中心占地1000余平方米，设备金额近2000万。

（2）海峡云计算与大数据应用研究中心

（图由研究中心副主任林子雨博士创意设计的LOGO）

海峡云计算与大数据应用研究中心于2015年5月19日成立，坐落于中国国际信息技术（福建）产业园内，是国富瑞数据系统有限公司（商务部中国国际电子商务中心旗下控股子公司）直属科研机构。研究中心以中国国际信息技术（福建）产业园为依托，立足厦漳泉经济圈，服务福建，辐射海西。研究中心秉承“务实科研、服务产业”理念，积极开展云计算与大数据应用研究，促进云计算与大数据技术的产业化应用，切实有效解决产业实际问题，促进产业优化提升与转型升级，助力福建经济更好更快发展。