大数据课程公共服务平台精华资源一览表

大数据课程公共服务平台

精华资源一览表

厦门大学计算机科学系  林子雨  博士/助理教授

(E-mail: ziyulin@xmu.edu.cn, 个人主页:http://www.cs.xmu.edu.cn/linziyu)

扫一扫访问本主页

祝贺《大数据技术原理与应用》MOOC课程在中国大学MOOC上线观看

1.《大数据技术原理与应用》教材

官网:http://dblab.xmu.edu.cn/post/bigdata/

林子雨老师编著的国内高校第一本系统性介绍大数据知识专业教材《大数据技术原理与应用》,教材系统论述了大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、大数据处理架构Spark、流计算、图计算、数据可视化以及大数据在互联网、生物医学和物流等各个领域的应用。在Hadoop、HDFS、HBase、MapReduce、Spark等重要章节,安排了入门级的实践操作,让读者更好地学习和掌握大数据关键技术。

2.大数据软件安装和编程实践指南

官网http://dblab.xmu.edu.cn/post/5663/

详细学习如何安装运行各种大数据软件以及如何进行初级编程实践,包括Hadoop、HDFS、HBase、MapReduce、Spark、MongoDB等安装、操作、编程指南。

3.大数据基础编程、实验和案例教程

官网:http://dblab.xmu.edu.cn/post/bigdatapractice/

步步引导,循序渐进,详尽的安装指南为顺利搭建大数据实验环境铺平道路
深入浅出,去粗取精,丰富的代码实例帮助快速掌握大数据基础编程方法
精心设计,巧妙融合,五套大数据实验题目促进理论与编程知识的消化和吸收
结合理论,联系实际,大数据课程综合实验案例精彩呈现大数据分析全流程

4.教师备课指南

官网:http://dblab.xmu.edu.cn/post/5637/

详细说明了教师如何备课,包括教学大纲、讲义PPT、授课视频、课后习题、上机题目等。

5.授课视频

官网:http://dblab.xmu.edu.cn/post/bigdata-online-course/

林子雨主讲的全套大数据课程视频,供老师上课参考。课程内容涵盖大数据、云计算和物联网概念及其相互关系、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、图计算、流计算、基于内存的大数据处理框架Spark、基于Hadoop的数据仓库Hive、大数据在不同领域的应用等。课程视频自2016年3月28日在网易云课堂正式上线以来,一直稳居热门课程榜单前列,深受广大网友欢迎,国内多家知名大数据企业、慕课网站和培训机构采用本课程视频。截至2016年12月12日,网易云课堂学习人数突破18000人,收获评价中99%为五星级最高评价,被众多网友称为“国内难得的经典课程”。

6.实验指南

官网:http://dblab.xmu.edu.cn/post/6131/

用于机房统一上机,包含题目和答案。

7.Spark入门教程(在线版)

官网:http://dblab.xmu.edu.cn/blog/spark/

Spark是当前最热门的大数据处理框架,林子雨编著《Spark入门教程》,让初学者零基础零障碍学习Spark。教程采用Scala语言编写Spark应用程序,因此,教程包括Scala入门和Spark入门两个部分的内容。

8.《Spark编程基础》教材

官网:http://dblab.xmu.edu.cn/post/spark/

本书以Scala作为开发Spark应用程序的编程语言,系统介绍了Spark编程的基础知识。全书共8章,内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Spark MLlib等。本书每个章节都安排了入门级的编程实践操作,以便读者更好地学习和掌握Spark编程方法。本书官网免费提供了全套的在线教学资源,包括讲义PPT、习题、源代码、软件、数据集、授课视频、上机实验指南等。

9.大数据课程实验案例《网站用户购物行为分析》

官网:http://dblab.xmu.edu.cn/post/7499/

采用2000万条用户购物数据集,案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作,涵盖Linux、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用方法。案例适合高校(高职)大数据教学,可以作为学生学习大数据课程后的综合实践案例。

10.Spark课程综合实验案例:淘宝双11数据分析与预测

官网:http://dblab.xmu.edu.cn/post/8116/

本案例采用3000万条用户购物数据集,涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作,涵盖Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、Spark等系统和软件的安装和使用方法。案例适合高校(高职)大数据教学,可以作为学生学习Spark课程后的综合实践案例。

11.Spark课程综合实验案例:Spark+Kafka构建实时分析Dashboard

官网:http://dblab.xmu.edu.cn/post/8274/

本案例涉及数据预处理、消息队列发送和接收消息、数据实时处理、数据实时推送和实时展示等数据处理全流程所涉及的各种典型操作,涵盖Linux、Spark、Kafka、Flask、Flask-SocketIO、Highcharts.js、sockert.io.js、PyCharm等系统和软件的安装和使用方法。案例适合高校(高职)大数据教学,可以作为学生学习大数据课程后的综合实践案例。通过本案例,将有助于学生综合运用大数据课程知识以及各种工具软件,实现数据全流程操作。各个高校可以根据自己教学实际需求,对本案例进行补充完善。

12.全国高校大数据教学研讨会精彩报告PPT集锦

(1)NDBC2016全国高校大数据教学论坛特邀大会报告PPT集合

(2)第1届全国高校大数据教学研讨会特邀大会报告PPT集合