大数据课程公共服务平台精华资源一览表

大数据课程公共服务平台

精华资源一览表

厦门大学计算机科学系  林子雨  博士/助理教授

(E-mail: ziyulin@xmu.edu.cn, 个人主页:http://www.cs.xmu.edu.cn/linziyu)

扫一扫访问本主页

欢迎报名参加第2届全国高校大数据教学研讨会(2018年5月12日,厦门)

祝贺《大数据技术原理与应用》MOOC课程在中国大学MOOC上线观看

1.《大数据技术原理与应用》教材

官网:http://dblab.xmu.edu.cn/post/bigdata/

林子雨老师编著的国内高校第一本系统性介绍大数据知识专业教材《大数据技术原理与应用》,教材系统论述了大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、大数据处理架构Spark、流计算、图计算、数据可视化以及大数据在互联网、生物医学和物流等各个领域的应用。在Hadoop、HDFS、HBase、MapReduce、Spark等重要章节,安排了入门级的实践操作,让读者更好地学习和掌握大数据关键技术。

2.大数据软件安装和编程实践指南

官网http://dblab.xmu.edu.cn/post/5663/

详细学习如何安装运行各种大数据软件以及如何进行初级编程实践,包括Hadoop、HDFS、HBase、MapReduce、Spark、MongoDB等安装、操作、编程指南。

3.《大数据基础编程、实验和案例教程》教材

官网:http://dblab.xmu.edu.cn/post/bigdatapractice/

步步引导,循序渐进,详尽的安装指南为顺利搭建大数据实验环境铺平道路
深入浅出,去粗取精,丰富的代码实例帮助快速掌握大数据基础编程方法
精心设计,巧妙融合,五套大数据实验题目促进理论与编程知识的消化和吸收
结合理论,联系实际,大数据课程综合实验案例精彩呈现大数据分析全流程

4.《大数据技术原理与应用》教师备课指南

官网:http://dblab.xmu.edu.cn/post/5637/

详细说明了教师如何备课,包括教学大纲、讲义PPT、授课视频、课后习题、上机题目等。

5.《大数据技术原理与应用》授课视频

官网:http://dblab.xmu.edu.cn/post/bigdata-online-course/

林子雨主讲的全套大数据课程视频,供老师上课参考。课程内容涵盖大数据、云计算和物联网概念及其相互关系、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、图计算、流计算、基于内存的大数据处理框架Spark、基于Hadoop的数据仓库Hive、大数据在不同领域的应用等。课程视频自2016年3月28日在网易云课堂正式上线以来,一直稳居热门课程榜单前列,深受广大网友欢迎,国内多家知名大数据企业、慕课网站和培训机构采用本课程视频。截至2016年12月12日,网易云课堂学习人数突破5万人,收获评价中99%为五星级最高评价,被众多网友称为“国内难得的经典课程”。2017年11月,重新制作录制的精美版MOOC课程《大数据技术原理与应用》,在中国大学MOOC平台上线,选修人数超过3万,获得好评。

 

6.《大数据技术原理与应用》实验指南

官网:http://dblab.xmu.edu.cn/post/6131/

用于机房统一上机,包含题目和答案。

7.Spark入门教程(在线版)

官网:http://dblab.xmu.edu.cn/blog/spark/

Spark是当前最热门的大数据处理框架,林子雨编著《Spark入门教程》,让初学者零基础零障碍学习Spark。教程采用Scala语言编写Spark应用程序,因此,教程包括Scala入门和Spark入门两个部分的内容。同时包含了Python版本的Spark教程。

8.《Spark编程基础》教材

官网:http://dblab.xmu.edu.cn/post/spark/

本书以Scala作为开发Spark应用程序的编程语言,系统介绍了Spark编程的基础知识。全书共8章,内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Spark MLlib等。本书每个章节都安排了入门级的编程实践操作,以便读者更好地学习和掌握Spark编程方法。本书官网免费提供了全套的在线教学资源,包括讲义PPT、习题、源代码、软件、数据集、授课视频、上机实验指南等。

9.《Spark编程基础》授课视频

官网:http://dblab.xmu.edu.cn/post/10482/

本课程由国内高校知名大数据教师厦门大学林子雨老师主讲,由厦门大学数据库实验室团队提供配套课程服务。课程教材是林子雨老师编著的《Spark编程基础》(人民邮电出版社,ISBN:978-7-115-47598-5)。本课程属于“进阶级”大数据课程,需要读者已经学习过大数据导论课程,了解Hadoop、MapReduce、HDFS、HBase等大数据基础知识。如果没有学习过大数据导论课程,建议读者先在网易云课堂学习林子雨老师主讲的大数据入门课程《大数据技术原理与应用》,该课程的两个版本在网易云课堂和中国大学MOOC学习人数超过8万人,99%网友给予了五星级最高评价。本课程以Scala作为开发Spark应用程序的编程语言,系统介绍了Spark编程的基础知识。课程共8章。第1章 大数据技术概述,第2章 Scala语言基础,第3章 Spark的设计与运行原理,第4章 Spark环境搭建和使用方法,第5章 RDD编程,第6章 Spark SQL,第7章 Spark Streaming,第8章 Spark MLlib。

10.大数据课程实验案例《网站用户购物行为分析》

官网:http://dblab.xmu.edu.cn/post/7499/

采用2000万条用户购物数据集,案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作,涵盖Linux、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用方法。案例适合高校(高职)大数据教学,可以作为学生学习大数据课程后的综合实践案例。

11.Spark课程综合实验案例:淘宝双11数据分析与预测

官网:http://dblab.xmu.edu.cn/post/8116/

本案例采用3000万条用户购物数据集,涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作,涵盖Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、Spark等系统和软件的安装和使用方法。案例适合高校(高职)大数据教学,可以作为学生学习Spark课程后的综合实践案例。

12.Spark课程综合实验案例:Spark+Kafka构建实时分析Dashboard

官网:http://dblab.xmu.edu.cn/post/8274/

本案例涉及数据预处理、消息队列发送和接收消息、数据实时处理、数据实时推送和实时展示等数据处理全流程所涉及的各种典型操作,涵盖Linux、Spark、Kafka、Flask、Flask-SocketIO、Highcharts.js、sockert.io.js、PyCharm等系统和软件的安装和使用方法。案例适合高校(高职)大数据教学,可以作为学生学习大数据课程后的综合实践案例。通过本案例,将有助于学生综合运用大数据课程知识以及各种工具软件,实现数据全流程操作。各个高校可以根据自己教学实际需求,对本案例进行补充完善。

13.MOOC课程制作流程全记录与经验分享

官网:http://dblab.xmu.edu.cn/post/10079/

完整再现了林子雨老师团队制作精品MOOC课程的全流程,分享了MOOC课程制作的成本、回报、方式方法、基本流程、详细制作过程与技巧、“录屏”方法等。

14.全国高校大数据教学研讨会精彩报告PPT集锦

(1)NDBC2016全国高校大数据教学论坛特邀大会报告PPT集合

(2)第1届全国高校大数据教学研讨会特邀大会报告PPT集合