本班级是“高校大数据课程公共服务平台”的九大工程中的“6号子工程”
全力打造全国高校大数据教学示范班级
厦门大学计算机系本科生专业选修课
《大数据技术原理与应用》2020班级主页
时间地点：1到16周每周二下午7、8节 两节课 厦大海韵教学楼105
主讲人：厦门大学计算机科学系 林子雨 博士/副教授
(E-mail: ziyulin@xmu.edu.cn, 个人主页：https://dblab.xmu.edu.cn/post/linziyu)
6月2日（周二）下午课堂举行期末考试
课程简介|教师简介|示范班级|公告板|学生服务站|课程教材|讲义PPT下载|课后作业|教学大纲|课程进度表|在线课程视频| 推荐阅读 |班级相册
（扫一扫手机访问本主页）
课程名称：《大数据技术原理与应用》
课程性质：厦门大学计算机系本科生专业选修课
面向对象：面向厦门大学计算机相关专业本科生同学开放，欢迎并建议计算机相关专业本科生同学选修
课程难度：入门级，零基础（课程采用林子雨编著的入门级精品教材，丰富的教材配套资源帮助学生实现“零基础”学习大数据）
授课教师：林子雨
开课学期：2020年春季学期（2月到6月）
课程学时：每周2节，共16周，32学时，2学分
上课时间：每周二下午7、8节 两节课
上课教室：厦大海韵教学楼
课程助教：厦门大学计算机系2019级硕士研究生周伟敬同学（E-mail: wjzhou@stu.xmu.edu.cn）
林子雨，男，1978年出生，博士（毕业于北京大学），现为厦门大学计算机科学系助理教授（讲师），曾任厦门大学信息科学与技术学院院长助理、晋江市发展和改革局副局长。中国计算机学会数据库专业委员会委员，中国计算机学会信息系统专业委员会委员。国内高校首个“数字教师”提出者和建设者，厦门大学数据库实验室负责人，厦门大学云计算与大数据研究中心主要建设者和骨干成员，2013年度和2017年度厦门大学教学类奖教金获得者，荣获2017年福建省精品在线开放课程、2018年厦门大学高等教育成果特等奖、2018年福建省高等教育教学成果二等奖和2018年国家精品在线开放课程。主要研究方向为数据库、数据仓库、数据挖掘、大数据、云计算和物联网，并以第一作者身份在《软件学报》《计算机学报》和《计算机研究与发展》等国家重点期刊以及国际学术会议上发表多篇学术论文。作为项目负责人主持的科研项目包括1项国家自然科学青年基金项目(No.61303004)、1项福建省自然科学青年基金项目(No.2013J05099)和1项中央高校基本科研业务费项目(No.2011121049)，主持的教改课题包括1项2016年福建省教改课题和1项2016年教育部产学协作育人项目，同时，作为课题负责人完成了国家发改委城市信息化重大课题、国家物联网重大应用示范工程区域试点泉州市工作方案、2015泉州市互联网经济调研等课题。中国高校首个“数字教师”提出者和建设者，2009年至今，“数字教师”大平台累计向网络免费发布超过500万字高价值的研究和教学资料，累计网络访问量超过500万次。打造了中国高校大数据教学知名品牌，编著出版了中国高校第一本系统介绍大数据知识的专业教材《大数据技术原理与应用》，并成为京东、当当网等网店畅销书籍；建设了国内高校首个大数据课程公共服务平台，为教师教学和学生学习大数据课程提供全方位、一站式服务，年访问量超过100万次。
林子雨主讲厦门大学研究生课程《大数据处理技术》是“中国高校大数据课程公共服务平台”重点打造的示范班级，全程严格执行“林子雨精品大数据公开课六大质量标准”，旨在努力打造高校大数据教学实践标杆。
示范班级全程践行O2O教学理念，提供线上线下完整教学服务，学生在获得良好现场教学体验的同时，可以通过班级网站获得全方位课程指导和服务。示范班级标准元素包括：班级主页、标准教室、精心备课、精彩讲解、优雅形象、标准音质、完整服务、班级活动、班级合影等。
班级学生名单
曾辰彬、 林逸泰、 余航、 余绍祺、 陈建强、 陈可夫、 陈梁、 丁俊翔、 华浩宇、 黄剑、 蒋金韬、 金雨薇、 李笑寒、 李宇石、 梁升、 刘源驰、 芦世杰、 吕思清、 马菀然、 梅龙飞、 苗伊博、 潘婧、 沈丽姗、 宋姜豪、 田扬、 王雅南、 武平冉、 夏心蕾、 肖遥、 谢林、 杨茹岚、 臧布江、 翟介宾、 张梦龙、 郑家松、 朱晨亮、 朱沛文、 陈贇佳、 朱浩
| 发布时间 | 内容 |
| 2019年12月21日 | 班级主页正式发布 |
| 2020年2月12日 | 大家好，我是厦门大学计算机系林子雨老师，本学期我给大家主讲《大数据技术原理与应用》课程。目前处于新型冠状病毒感染的肺炎疫情特殊时期，初期无法在教室授课，只能通过网络授课。这里强调3点：（1）班级主页是https://dblab.xmu.edu.cn/post/bigdata2020，里面提供了讲义PPT的下载以及其他资料；（2）我们的网络课程地址是http://www.icourse163.org/spoc/course/XMU-1449404166?tid=1449836444，访问该网址后，首先要登录（可以使用微信登录），点击加入该课程。进入后，就可以观看课程视频，参加单元测验。（3）课程教材是林子雨编著《大数据技术原理与应用（第2版）》（ISBN:978-7-115-44330-4），大家可以到京东或当当购买。后续其他事项，老师会继续在群里发布消息，请大家关注群消息。谢谢。 |
| 2020年2月14日 | 关于课程教材。本课程教材是林子雨编著《大数据技术原理与应用（第2版）》，由于疫情影响，可能暂时无法购买到纸质教材，所以，如果无法买到纸质教材，近期大家可以使用电子教材（只包含前3章内容），请大家到本群的群文件下载电子书。 |
| 2020年2月25日 | 网络课程地址是http://www.icourse163.org/spoc/course/XMU-1449404166?tid=1449836444，请各位同学及时加入，在线课程的成绩会计入期末总成绩。 |
| 2020年4月24日 | 【五一放假调课通知】根据厦大通知，由于五一假期，对课程上课时间进行调整。5月5日（周二）和5月9日（周六）课程对调，因此，大数据技术原理与应用的下一次上课时间是5月9日下午9、10节，请大家在5月9日（周六）下午4点40分上线签到。 |
| 章（或节） | 主要内容 | 学时安排 |
| 第1章 大数据概述 | 介绍大数据的基本概念和应用领域，并阐述大数据、云计算和物联网的相互关系 | 4 |
| 第2章 分布式计算框架Hadoop | 介绍大数据处理架构Hadoop | 4 |
| 第3章 分布式文件系统HDFS | 分布式文件系统HDFS的基本原理和使用方法 | 4 |
| 第4章 分布式数据库HBase | 分布式数据库HBase的基本原理和使用方法 | 4 |
| 第5章 NoSQL数据库 | NoSQL数据库的概念和基本原理 | 2 |
| 第6章 云数据库 | 云数据库的概念和基本原理 | 2 |
| 第7章 MapReduce | 分布式并行编程模型MapReduce原理和使用方法 | 4 |
| 第8章 Hadoop | Hadoop架构再探讨 | 2 |
| 第9章 Spark | Spark原理与基础编程 | 4 |
| 第10章 推荐系统 | 大数据在互联网领域的典型应用：推荐系统 | 2 |
| 合计 | 32 | |
| 次数 | 日期 | 内容 |
| 1 | 2020年2月18日下午78节 | 课程介绍，第1章大数据概述，大数据概念、发展历程、影响、应用和关键技术,，并完成SPOC在线测验题目 |
| 2 | 2020年2月25日下午78节 | 云计算概念、物联网概念、大数据与云计算、物联网的关系,，并完成SPOC在线测验题目 |
| 3 | 2020年3月3日下午78节 | 第2章 大数据处理架构Hadoop，2.1 概述，2.2Hadoop项目结构 2.3 Hadoop的安装和使用,，并完成SPOC在线测验题目 |
| 4 | 2020年3月10日下午78节 | 第2章 大数据处理架构Hadoop，环境安装和老师答疑 |
| 5 | 2020年3月17日下午78节 | 第3章 分布式文件系统HDFS 3.1 分布式文件系统 3.2 HDFS简介 3.3 HDFS相关概念3.4HDFS体系结构3.5HDFS存储原理，并完成SPOC在线测验题目 |
| 6 | 2020年3月24日下午78节 | 第3章 分布式文件系统HDFS 第3.6HDFS编程实践，观看MOOC视频，并把网站上的编程指南（https://dblab.xmu.edu.cn/blog/290-2/）完整操作一遍 |
| 7 | 2020年3月31日下午78节 |
第4章 分布式数据库HBase
4.1 概述
4.2 HBase访问接口
4.3 HBase数据模型
4.4 HBase的实现原理
|
| 8 | 2020年4月7日下午78节 | 第4章 分布式数据库HBase 4.5 HBase运行机制 4.6 HBase应用方案 4.7 HBase编程实践 自学第5章 NoSQL数据库 |
| 9 | 2020年4月14日下午78节 | 自学第6章云数据库 讲解第7章 MapReduce 讲完7.3.2 MapReduce各个执行阶段 |
| 10 | 2020年4月21日下午78节 | 第7章 MapReduce 讲完所有内容 |
| 11 | 2020年4月28日下午78节 | 自学数据仓库Hive 第8章 Hadoop架构再探讨 |
| 12 | 2020年5月5日下午78节 | 第9章 Spark9.1 Spark概述 9.2 Spark生态系统 9.3 Spark运行架构 9.4 Spark SQL 自学 第10章 流计算 |
| 13 | 2020年5月12日下午78节 | 第9章 Spark9.5 Spark的部署和应用方式 9.6 Spark编程实践 自学 第11章 图计算 |
| 14 | 2020年5月19日下午78节 | 大数据应用 |
| 15 | 2020年5月26日下午78节 | 复习 |
| 16 | 2020年6月2日下午78节 | 期末考试 |
《大数据技术原理与应用（第2版）》教材配套讲义PPT（2017年2月版本PPT），请点击这里下载。
在上课过程中，讲义PPT会不断进行更新，2020年春季学期上课过程中，如果PPT有更新，老师会每次上课后，都发布到这里供大家下载。如果没有发布最新版，请下载上面的《大数据技术原理与应用（第2版）》教材配套讲义PPT（2017年2月版本PPT）。
课后作业的形式是，同学下载作业说明，然后按照作业要求进行上机实践，并撰写电子版上机实验报告（WORD文档），并在指定日期之前发送给本班助教同学。上机报告的格式模板，已经包含在作业说明中，请单独拷贝出来放在一个新的WORD文档中，做成上机实验报告。
上机实验报告里面的具体内容，没有固定的格式，只要能够把自己上机操作的过程描述清楚，并放上一些运行过程和结果的截图，让老师能够看到确实完成了各个实验步骤，并且成功实现了实验预期效果。作业提交日期以本网页为准。
| 章节 | 作业名称 | 作业内容 | 作业提交时间 |
| 期末大作业 | 大数据课程实验案例：网站用户行为分析 | ***之前把实验报告WORD文件发送给助教邮箱wjzhou@stu.xmu.edu.cn |
林子雨主讲的全套大数据课程视频（观看），课程内容涵盖大数据、云计算和物联网概念及其相互关系、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、图计算、流计算、基于内存的大数据处理框架Spark、基于Hadoop的数据仓库Hive、大数据在不同领域的应用等。课程视频包含两个版本：（1）网易云课堂版本（朴素版）（观看）。2016年3月28日在网易云课堂正式上线以来，一直稳居热门课程榜单前列，深受广大网友欢迎，国内多家知名大数据企业、慕课网站和培训机构采用本课程视频。截至2018年1月1日，网易云课堂学习人数突破5万人，收获评价中99%为五星级最高评价，被众多网友称为“国内难得的经典课程”。（2）中国大学MOOC版本（精美版）（观看）。2017年11月6日在中国大学MOOC上线，截至2018年2月26日，中国大学MOOC学习人数突破3万人。
为了更好促进国内高校大数据课程教学，厦门大学计算机科学系助理教授林子雨博士编写了入门级大数据教材《大数据技术原理与应用》（官网），荣获“2017年福建省本科优秀特色教材”。该教材由人民邮电出版社出版发行，2015年8月第1版正式在当当、京东、淘宝、亚马逊等各大网店上架销售，并成为畅销书籍。2017年1月第2版教材正式在各大网店销售。《大数据技术原理与应用》是国内高校第一本系统介绍大数据知识的专业教材，也是第一本适合用于本科和研究生教学的入门级教材。
（第2版教材及其配套实验指导书）
《大数据基础编程、实验和案例教程》（官网）是林子雨编著《大数据技术原理与应用》教材（官网）的配套实验指导书。《大数据技术原理与应用》侧重于大数据知识框架和理论介绍，而本教程侧重于介绍大数据软件的安装、使用和基础编程方法，并提供了大量实验和案例。由于大数据软件都是开源软件，安装过程一般比较复杂，也很耗费时间。为了尽量减少读者搭建大数据实验环境时的障碍，笔者在本教程中详细写出了各种大数据软件的详细安装过程，可以确保读者顺利完成大数据实验环境搭建。
“大数据课程学生服务站”为学生学习大数据课程提供课程教材、讲义PPT、技术资料、进阶学习指南等全方位、一站式服务，帮助学生形成知识体系、开展基本编程实践、明确进阶学习方向，提高学习效率，提升学习效果。（欢迎点击这里访问“大数据课程学生服务站”）
| 文章题目 | 访问链接 |
| 写给大数据开发初学者的话 | 查看 |
| 大数据到底怎么学：数据科学概论与大数据学习误区 | 查看 |
| 如何区分大数据下的三大利器：数据科学家，数据工程师与数据分析师 | 查看 |
| 国内互联网公司机器学习数据挖掘类的职位面试主要考察什么方面的东西？ | 查看 |
| 大数据时代，统计学方法有多大的效果？ | 查看 |
| 大数据时代，统计学还有用吗？ | 查看 |
2020春季学期《大数据技术原理与应用》本科生班级的课程助教，厦门大学计算机系2019级硕士研究生周伟敬同学（E-mail: wjzhou@stu.xmu.edu.cn）。
为学生留下最美的课堂记忆。
