大数据学习路线图

扫一扫手机访问本网页

从2013年至今,历经10年,厦门大学林子雨老师团队建设了目前国内高校最丰富的大数据教学资源,为高校教学提供了包括教材、讲义PPT、视频、实验、案例等在内的全方位、一站式服务,成为目前国内高校大数据教学领域具有较高影响力的团队,教材已经被国内众多高校采用,在线资源每年访问量超过400万次,累计访问量超过2500万次。“大数据学习路线图”将为大数据学习者提供轻松、高效的学习路径,帮助学习者利用厦大数据库实验室提供的全套教学资源,顺利地、一站式完成大数据的入门学习和进阶学习。

一、科普教育(通识课)

1.受众对象

适合任何专业(包括文科、理科、工科等各专业)各个年级学生学习,不需要任何计算机基础。本课程适合作为全校性公共选修课。

2.资源列表

(1)纸质教材:《大数据导论(通识课版)》(官网
(2)授课视频:林子雨主讲《大数据导论(通识课版)》MOOC视频(观看

二、导论课(专业课)

1.受众对象

适合大数据专业学生学习,不需要任何计算机基础。本课程适合作为大数据专业的导论课。也可以作为计算机专业或软件工程专业的专业选修课。

2.资源列表

(1)纸质教材:《大数据导论》(官网
(2)授课视频:林子雨主讲《大数据导论》MOOC视频(观看

三、入门学习(专业课)

1.受众对象

入门级学习,适合大数据初学者(没有任何大数据基础)。建议学习者具备一定的计算机编程知识(比如C++、Java或Python等)。

2.资源列表

(1)纸质教材:《Python程序设计基础教程(微课版)》(官网
(2)纸质教材:《数据采集与预处理》(官网
(3)纸质教材:《大数据技术原理与应用(第3版)》(官网
(4)实验指导书:《大数据基础编程、实验和案例教程(第2版)》(官网),是与《大数据技术原理与应用(第3版)》配套的实验指导书
(5)授课视频:林子雨主讲《Python程序设计基础教程(微课版)》MOOC视频(观看
(6)授课视频:林子雨主讲《大数据技术原理与应用》MOOC视频(观看
(7)案例:大数据课程实验案例“网站用户购物行为分析”(访问

3.学习路线

(1)步骤一:参照《Python程序设计基础教程(微课版)》纸质教材(官网),并观看《Python程序设计基础教程(微课版)》MOOC视频(观看),完成Python编程语言的学习。

(2)步骤二:参照《数据采集与预处理》纸质教材(官网),并观看《数据采集与预处理》MOOC视频(观看),完成数据采集与预处理知识的学习。

(3)步骤三:参照《大数据技术原理与应用(第3版)》纸质教材(官网),并观看《大数据技术原理与应用》MOOC视频(观看),完成大数据基础理论的学习。在学习过程中,可以参照与教材配套的实验指导书《大数据基础编程、实验和案例教程(第2版)》(官网),在自己电脑上搭建大数据实验环境,并完成相关上机实践操作。完成《大数据技术原理与应用(第3版)》全书内容学习以后,可以练习大数据课程实验案例“网站用户购物行为分析”(访问),对所学知识进行体统“串联”,融会贯通。

4.其他说明

(1)大数据技术原理与应用(第3版)》官网(访问)提供了教学大纲、教学进度表、讲义PPT、实验习题答案等资源的下载;如果对如何制作MOOC课程感兴趣,可以参考《林子雨:高校MOOC课程制作过程全记录与经验分享》;如果高校有培训师资需求,可以在每年的寒假和暑假报名参加由林子雨老师主讲的大数据师资培训班(报名主页)。

(2)如果读者没有购买实验指导书《大数据基础编程、实验和案例教程(第2版)》,那么,在学习《大数据技术原理与应用(第3版)》教材时,也可以访问在线的、与教材配套的《大数据软件安装和编程实践指南》(访问),在自己电脑上完成大数据环境搭建和上机实践操作。

(3)在本地电脑完成入门课程的全部内容学习以后,可以尝试在阿里云的云服务器ECS中构建大数据环境(查看具体方法),把大数据环境从本地转移到远程的“云端”。

四、进阶学习(专业课)

1.受众对象

具备一定的大数据基础知识,比如,已经学习过林子雨编著的《大数据技术原理与应用(第3版)》教材;

2.资源列表

(1)纸质教材:《Spark编程基础(Scala版 第2版)》(官网
(2)纸质教材:《Spark编程基础(Python版)》(官网
(3)纸质教材:《Flink编程基础(Scala版)》(官网
(4)在线教程:《Spark入门教程(Scala版)》(访问
(5)在线教程:《Spark入门教程(Python版)》(访问
(6)视频:《Spark编程基础(Scala版 第2版)》MOOC视频(观看
(7)视频:《Spark编程基础(Python版)》MOOC视频(观看
(8)视频:《Flink编程基础(Scala版)》MOOC视频(观看
(9)案例1:淘宝双11数据分析与预测(访问
(10)案例2: Spark+Kafka构建实时分析Dashboard(访问
(11)案例3:厦门租房信息分析展示(Python版)(访问
(12)案例4:基于TMDB数据集的电影数据分析(访问

3.学习路线

Spark可以采用Scala语言编写应用程序,也可以采用Python语言编写应用程序,因此,学习者可以根据自己的编程语言喜好,选择其中一种编程语言。

3.1 路线1:使用Scala语言编写Spark应用程序

(1)步骤一:参照《Spark编程基础(Scala版 第2版)》纸质教材(官网),或者参照《Spark入门教程(Scala版)》在线教程(访问),并观看《Spark编程基础(Scala版 第2版)》MOOC视频(观看),完成Spark技术原理与编程方法的学习。

(2)步骤二:完成《Spark编程基础(Scala版 第2版)》全书内容学习以后,可以练习Spark课程实验“案例1:淘宝双11数据分析与预测”(访问)和“案例2: Spark+Kafka构建实时分析Dashboard”(访问),对所学知识进行体统“串联”,融会贯通。

3.2 路线2:使用Python语言编写Spark应用程序

(1)步骤一:参照《Spark编程基础(Python版)》纸质教材(官网),或者参照《Spark入门教程(Python版)》在线教程(访问),并观看《Spark编程基础(Python版)》MOOC视频(观看),完成Spark技术原理与编程方法的学习。

(2)步骤二:完成《Spark编程基础(Python版)》全书内容学习以后,可以练习Spark课程实验“案例1:淘宝双11数据分析与预测”(访问)、“案例3:厦门租房信息分析展示(Python版)”(访问)和“案例4:基于TMDB数据集的电影数据分析”(访问),对所学知识进行体统“串联”,融会贯通。更多案例,可以参考“基于Python语言的Spark数据处理分析案例集锦(PySpark)(访问)”

3.3 路线3:使用Scala语言编写Flink应用程序

(1)步骤一:参照《Flink编程基础(Scala版)》纸质教材(官网),观看《Flink编程基础(Scala版)》MOOC视频(观看),完成Flink技术原理与编程方法的学习。

(2)步骤二:完成《Flink编程基础(Scala版)》全书内容学习以后,可以联系Flink课程实验“基于Scala语言的Flink数据处理分析案例集锦”(访问)。

4.其他说明

(1)如果读者是教师,可以访问《Spark编程基础(Scala版 第2版)》教材官网(访问),里面提供了讲义PPT、实验题目答案、教学大纲等资源的下载。

(2)《Spark编程基础(Scala版 第2版)》教材官网(访问)里面提供了很多纸质教材上没有的上机实验指导内容。

五、实训案例(专业课)

高校大数据实训课程样板工程主页

为了更好满足高校开设大数据实训课程的教材需求,厦门大学数据库实验室林子雨老师团队联合企业共同开发了《高校大数据实训课程系列案例》,目前已经完成开发的系列案例包括:

《电影推荐系统》(教材官网

《电信用户行为分析》(教材官网

教材相关信息,敬请关注实战案例系列教材官网(访问)!

同时,系列实战案例已经成功用于第9期全国高校大数据课程教师培训交流班(访问班级主页)。

(全文完)