第24期大数据师资培训班主页

平台LOGO透明背景

第24期全国高校大数据课程教师培训交流班主页


班级名单|培训讲师|会务组|课程表班级相册
研讨会  | 参观 | 课堂  |  课后活动  |  茶歇 |  毕业晚会晚宴 |
查询交通指南、厦门风情等内容请访问“报名主页


时间:2024年7月21日-28日

地点:中国国际信息技术(福建)产业园

扫一扫访问本网页

热烈欢迎培训班条幅1

班级名单

班主任:夏小云  老师

班长:徐杰

副班长:刘星晨

组织委员:王磊

学习委员:宁菲菲

第24期学员名单

序号 姓名 性别 单位名称
1 王建玺 平顶山学院
2 桂春 西北民族大学
3 李国基 安徽科技学院
4 李辉利 平顶山学院
5 潘可 南宁学院
6 梁威 江西财经大学
7 孙翠英 江西财经大学
8 吴佳伟 江西财经大学
9 熊小云 江西财经大学
10 张永明 江西财经大学
11 徐杰 江西财经大学
12 刘星晨 晋中信息学院
13 王磊 四川轻化工大学
14 刘莹 安徽师范大学
15 刘海英 广州航海学院
16 宁菲菲 平顶山学院
17 李平 萍乡学院
18 祖娇 重庆对外经贸学院
19 张元平 重庆对外经贸学院
20 李秋妮 空军工程大学
21 吴辉 浙江传媒学院
22 吴忠权 安庆师范大学
23 王强 成都文理学院
24 邓晓林 成都文理学院
25 华长生 江西财经大学
26 李志浩 兰州文理学院
27 刘刚 黑龙江工业学院
28 加星 东华大学
29 赵甜 广东培正学院
30 祝志芳 广东培正学院
31 杨莉 南京中医药大学
32 郑桂荣 广东金融学院

培训讲师

厦门大学计算机科学与技术系 林子雨 博士/副教授

DSC_4552副本

林子雨(1978-),男,博士,国内高校知名大数据教师,厦门大学计算机科学与技术系副教授,厦门大学数据库实验室负责人,中国计算机学会数据库专委会委员,中国计算机学会信息系统专委会委员,入选“2021年高校计算机专业优秀教师奖励计划”,荣获“2022年福建省高等教育教学成果奖特等奖(个人排名第一)”和“2018年福建省高等教育教学成果奖二等奖(个人排名第一)”,编著出版13本大数据系列教材,被国内1000多所高校采用,建设了国内高校首个大数据课程公共服务平台,平台累计网络访问量超过2500万次,成为全国高校大数据教学知名品牌,主持的课程《大数据技术原理与应用》获评“2018年国家精品在线开放课程”和“2020年国家级线上一流本科课程”,主持的课程《Spark编程基础》获评“2021年国家级线上一流本科课程”。建设的大数据系列MOOC课程,入选“2023年教育部国家智慧教育公共服务平台应用典型案例”。

会务组

序号 姓名 性别 单位名称
1 林子雨 厦门大学数据库实验室
2 夏小云 厦门大学数据库实验室
3 蔡炳跃 厦门大学信息学院实验教学中心
4 黄万嘉 厦门大学数据库实验室
5 曹基民 厦门大学数据库实验室
6 李震洋 厦门大学经济学院
7 刘昀洁 厦门大学经济学院

课程表

第24期全国高校大数据课程教师培训交流班课程表

2024年7月21日-28日

(7月21日全天注册报到,22日-28日上课)

每天6节课,上午3节,下午3节,每节课45分钟

上午:9:00-9:45;10:00-10:45;11:00-11:45

下午:2:30-3:15;3:15-3:30(茶歇);3:30-4:15;4:30-5:15

时间

课程主题

培训内容

培训讲师

第1天

722日)

模块一

大数据概述

l 高校开设大数据课程指南

l 大数据时代和大数据概念

l 大数据的影响及关键技术

l 大数据计算模式

l 代表性大数据技术

厦门大学林子雨

模块二

分布式处理架构Hadoop

l lHadoop简介

l lHadoop项目结构

l lHadoop的版本演进

l lHadoop在企业集群中的部署

l l实战:Hadoop的安装与使用

l   现场指导答疑

厦门大学林子雨

第2天

723日)

模块三

分布式文件系统HDFS原理与实践

l HDFS简介

l HDFS相关概念(块、数据节点、名称节点)

l HDFS体系结构

l HDFS存储原理

l 实战:HDFS初级编程实践

l 现场指导答疑

厦门大学林子雨

模块四

分布式数据库HBase原理与实践

l HBase简介

l HBase与传统关系数据库的对比分析

l HBase访问接口

l HBase数据模型

l HBase实现原理

l 实战:HBase安装与简单编程实践

l 现场指导答疑

厦门大学林子雨

第3天

724日)

模块五

MapReduce原理

与实践

l MapReduce简介

l MapReduce工作流程概述

l MapReduce各个执行阶段

l Shuffle过程详解

l 实例分析

l 实战:MapReduce初级编程实践

l 现场指导答疑

厦门大学林子雨

模块六

Spark设计与运行原理

l lSpark简介

l lSpark运行架构

l lRDD的设计与运行原理

l   Spark的部署模式

厦门大学林子雨

第4天

725日)

模块

Spark安装和使用方法

l lAnaconda的安装和使用方法

l l安装Spark(Local模式)

l l在pyspark中运行代码

l l使用spark-submit命令提交运行程序

l lSpark集群环境搭建(Standalone模式)

l l在集群上运行Spark应用程序

l lSpark on YARN模式

l l安装PySpark类库

l l实战:第一个Spark应用程序:WordCount(使用Python语言)

l l实战:使用开发工具PyCharm编写Spark应用程序(使用Python语言)

l   现场指导答疑

厦门大学林子雨

模块

RDD编程实践

l lRDD编程

l l键值对RDD

l l实战:数据读写(文件数据读写、读写MySQL数据库)

l l综合实例

l   现场指导答疑

厦门大学林子雨

第5天

726日)

模块

Spark SQL原理

和实践

l lSpark SQL简介

l l结构化数据DataFrame

l lDataFrame的创建和保存

l lDataFrame的基本操作

l l从RDD转换得到DataFrame

l l实战:使用Spark SQL读写数据库

l l实战:PySpark和pandas的整合

l l综合实例

l   现场指导答疑

厦门大学林子雨

模块

Spark Streaming

原理和实践

l l流计算简介

l lSpark Streaming简介

l lDStream操作概述

l l实战:输入源(文件流、套接字流、RDD队列流)

l l现场指导答疑

厦门大学林子雨

第6天

727日)

模块十一

案例:文本分类算法

性能对比实验

l (采用Python和Spark,详细介绍如何使用Hadoop和Spark技术解决实际应用问题)

l l文本预处理

l l文本表示模型

l l分类器(实战:使用逻辑斯蒂回归、决策树和随机森林算法对鸢尾花数据集进行分析)

l l分类性能

l  实战:文本分类的代码实现(加载数据集、分词、构建词向量、分类)

l  实战:文本分类算法性能对比实验

厦门大学林子雨

厦门大学林子雨

第7天

728日)

模块十二

大数据教学研讨会

共同探讨大数据课程体系建设面临的问题和对策建议,分享教学经验、方法和案例,促进成熟的大数据课程体系的快速复制传播,加快推进国内高校大数据教学水平不断提升

厦门大学林子雨

模块十三

参观

参观

培训课程全部结束

厦门大学夏小云

课堂

开班仪式

茶歇

合影

 

户外活动

答疑

课间操

安溪好演员

参观企业

研讨会

毕业晚会

 

相册