第20期大数据师资培训班主页

平台LOGO透明背景

第20期全国高校大数据课程教师培训交流班主页

2023年1月7日-12日

培训讲师:厦门大学信息学院  林子雨  博士/副教授

扫一扫访问本网页

祝贺本期培训班圆满结束!

热烈欢迎培训班条幅1

班级名单

班主任:夏小云  老师

吴荣军-班长-西南民族大学

肖俊生-副班长-河南中医药大学

代晓明-学习委员-北京信息科技大学

富春岩-组织委员-佳木斯大学

序号 姓名 性别 单位名称
1      
2      
3 肖俊生 河南中医药大学
4 刘静 北京联合大学
5 曲桢 西安理工大学
6 代晓明 北京信息科技大学
7 王刚 沧州师范学院
8 邢胜 沧州师范学院
9 张国钦 河南财政金融学院
10 卢小静 集美大学
11 林明霞 集美大学
12 邓严 汉口学院
13 郝燕利 汉口学院
14 王科秀 汉口学院
15 富春岩 佳木斯大学
16 张宁 天津仁爱学院
17 吴荣军 西南民族大学
18 杨琼 河西学院
19 李延鹏 河西学院
20 张泰年 河西学院
21 王娜 西藏民族大学
22 张银玲 黄淮学院
23 刘烨 河北经贸大学
24 宁玉梅 西安培华学院
25 张蕾 新疆财经大学
26 严新华 商洛学院

培训讲师

厦门大学计算机科学系 林子雨 博士/副教授

DSC_4552副本

林子雨,男,1978年出生,博士(毕业于北京大学),现为厦门大学计算机科学与技术系副教授,厦门大学信息学院实验教学中心主任,曾任厦门大学信息科学与技术学院院长助理、晋江市发展和改革局副局长。中国计算机学会数据库专业委员会委员,中国计算机学会信息系统专业委员会委员。入选“2016年中国大数据创新百人”和“2021年高校计算机专业优秀教师奖励计划”。国内高校首个“数字教师”提出者和建设者,厦门大学数据库实验室负责人,厦门大学云计算与大数据研究中心主要建设者和骨干成员,2013年度、2017年度和2020年度厦门大学教学类奖教金获得者,荣获2019年福建省精品在线开放课程、2022年福建省高等教育教学成果奖特等奖、2018年福建省高等教育教学成果奖二等奖、2018年国家精品在线开放课程、2020年国家级线上一流本科课程。主要研究方向为数据库、数据仓库、数据挖掘、大数据、云计算和物联网,并以第一作者身份在《软件学报》《计算机学报》和《计算机研究与发展》等国家重点期刊以及国际学术会议上发表多篇学术论文。作为项目负责人主持的科研项目包括1项国家自然科学青年基金项目(No.61303004)、1项福建省自然科学青年基金项目(No.2013J05099)和1项中央高校基本科研业务费项目(No.2011121049),主持的教改课题包括1项2016年福建省教改课题和1项2016年教育部产学协作育人项目,同时,作为课题负责人完成了国家发改委城市信息化重大课题、国家物联网重大应用示范工程区域试点泉州市工作方案、2015泉州市互联网经济调研等课题。中国高校首个“数字教师”提出者和建设者,2009年至今,“数字教师”大平台累计向网络免费发布超过1000万字高价值的研究和教学资料,累计网络访问量超过1600万次。打造了中国高校大数据教学知名品牌,编著出版了中国高校第一本系统介绍大数据知识的专业教材《大数据技术原理与应用》,并成为京东、当当网等网店畅销书籍;建设了国内高校首个大数据课程公共服务平台,为教师教学和学生学习大数据课程提供全方位、一站式服务,累计访问量超过1600万次。

陶继平201607

陶继平  厦门大学自动化系副教授

IMG_8764

陶继平,男,1980年出生,博士。2010年毕业于上海交通大学控制科学与工程专业,获得工学博士学位。现任厦门大学自动化系副教授,兼任厦门市自动学会副秘书长、厦门市物流协会信息化专业委员会委员,曾为厦门大学云计算与大数据研究中心主要建设者和骨干成员。陶继平的主要研究兴趣包括运筹与优化算法理论及其在生产调度、多机器人规划、云计算、大数据分析等方面的应用。作为项目负责人主持1项国家自然科学青年基金项目(No. 11201391),已发表学术论文20多篇。作为主要参与人参与了国家自然科学基金、福建省自然科学基金等国家及省部级课题6项,同时还参与了多项行业报告的调研与撰写工作,包括《石狮市物流园区建设方案研究报告》、《厦门市城市信息化顶层设计框架研究报告》、《厦门市云计算产业发展技术路线图》、《国家物联网重大应用示范工程重点项目——福建省物联网科学院平台实施方案》等。另外,陶继平还具有机械设计、网络开发、智能楼宇等多个行业的实际从业背景,善于从实际应用的角度理解和阐述大数据等相关信息技术。

会务组

序号 姓名 性别 单位
1 林子雨 厦门大学数据库实验室
2 夏小云 厦门大学数据库实验室
3 阮敏朝 厦门大学数据库实验室
4 黄连福 厦门大学数据库实验室
5 刘浩然 厦门大学数据库实验室

课程表

第20期全国高校大数据课程教师培训交流班课程表

2023年1月7日-12日

每天6节课,上午3节,下午3节,每节课45分钟

上午:9:00-9:45;10:00-10:45;11:00-11:45

下午:2:30-3:15;3:30-4:15;4:30-5:15

时间

课程主题

培训内容

培训讲师

第1天

模块一

 

大数据概述

l 高校开设大数据课程指南l 大数据时代和大数据概念

 

l 大数据的影响及关键技术

l 大数据计算模式

l 代表性大数据技术

厦门大学林子雨
模块二

 

分布式处理架构Hadoop

l Hadoop简介l Hadoop项目结构

 

l 实战:Hadoop的安装与使用

l 现场指导答疑

厦门大学林子雨

第2天

模块三

 

分布式文件系统HDFS原理与实践

l HDFS简介l HDFS相关概念(块、数据节点、名称节点)

 

l HDFS体系结构

l HDFS存储原理

l 实战:HDFS初级编程实践

l 现场指导答疑

厦门大学林子雨
模块四

 

分布式数据库HBase原理与实践

l HBase简介l HBase与传统关系数据库的对比分析

 

l HBase访问接口

l HBase数据模型

l HBase实现原理

l 实战:HBase安装与简单编程实践

l 现场指导答疑

厦门大学陶继平

第3天

模块五

 

MapReduce原理

与实践

l MapReduce简介l MapReduce工作流程概述

 

l MapReduce各个执行阶段

l Shuffle过程详解

l 实例分析

l 实战:MapReduce初级编程实践

l 现场指导答疑

厦门大学林子雨
模块六

 

Scala语言基础(一)

l Scala语言概述l Scala基础

 

l 类、对象、继承、特质、模式匹配

厦门大学陶继平

第4天

模块六

 

Scala语言基础(二)

l 函数定义和高阶函数l 针对集合的操作(遍历操作、map操作和flatMap操作、filter操作、reduce操作、fold操作)

 

l 函数式编程实例WordCount

厦门大学陶继平
模块七

 

Spark设计与运行原理

l Spark简介l Spark运行架构

 

l RDD的设计与运行原理

l Spark的部署模式

厦门大学林子雨

第5天

模块八

 

Spark安装和使用方法

l Spark的安装与使用l 第一个Spark应用程序:WordCount

 

l 使用开发工具IntelliJ IDEA和Eclipse编写Spark应用程序

l Spark集群环境搭建

l 在集群上运行Spark应用程序

厦门大学林子雨
模块九

 

RDD编程实践

l RDD编程l 键值对RDD

 

l 数据读写(文件数据读写、读写HBase数据)

厦门大学林子雨

第6天

模块十

 

Spark SQL原理和实践

l Spark SQL简介l DataFrame与RDD的区别

 

l DataFrame的创建

l 从RDD转换得到DataFrame

l 读取和保存数据

厦门大学林子雨
模块十一

 

Spark Streaming原理和实践

l 流计算简介l Spark Streaming简介

 

l DStream操作概述

l 输入源

l 转换操作

厦门大学林子雨

水滴实验营在线实验实训平台
本次培训班由山东省计算中心(国家超级计算济南中心)开发的水滴实验营提供云端大数据实验环境支持。

云上论坛

在大数据培训开班式上的代表班委的发言

吴荣军
(2023年1月7日)
尊敬的林老师,陶老师,夏老师,各位助教老师,各位同学:
大家上午好!
感谢培训团队和夏老师的信任,很荣幸作为第20期大数据课程教师培训交流班的代表在这里发言。两年前,我就与夏老师联系参训事宜,但因为疫情原因和其他客观原因,一直未能前往美丽的厦门,向各位老师当面请教。好事多磨,今天,我们终于迎来了云端相聚,向在大数据教学科研等方面深耕多年、成效卓著的厦门大学大数据团队请教的难得机会。线上组织这样规模的培训,非常不容易,筹划阶段要投入大量的精力,进行细致周全的课程计划、环境准备、人员安排等;通知发出后,接受报名,邮寄资料,准备会议,会场布置,实训环境调试,健全班委等;培训开始后,各项会务保障,集中授课,实训答疑等;培训结束,还继续为我们提供回放和答疑交流平台。可以说是千头万绪,我感觉团队的各位老师,尤其是班主任夏老师,举重若轻,各项事务井井有条,各种安排无微不至。会前,在慕课平台预习时,对林老师深厚的学术功底、敬业的工作态度、无私的分享精神有了初步的了解,也是深受感染。请允许我代表全体参训同学,向培训团队的各位老师、全体工作同志热情周到的辛勤付出,致以衷心的感谢!
我们来自五湖四海各位参训同学,既是专业上的同行,又是职业上的同道。可谓是有缘千里来相会。培训中,我们将互相学习,共同提高。七天的线上相聚,虽然短暂,但是我们学成以后,都继续共同担负着为党育人、为国育才的神圣使命,我相信,这份温暖的同学情谊会成为我们未来的工作中一份宝贵的财富。非常高兴与大家相识相聚,期待与同学们的切磋交流。
最后是祝愿,希望同学们在各位老师的悉心指导下,既在理论上得到大幅提升,又在技能上获得显著提高,培训收获满满。大家在参训过程中,如遇到任何问题,随时可以联系班主任夏老师和班委。期待我们共同度过一段美妙的提升之旅!
谢谢大家!

班主任寄语-夏小云

雅斯贝尔斯说:“教育的本质意味着:一棵树摇动另一棵树,一朵云推动另一朵云,一个灵魂唤醒另一个灵魂。”

真正的教育始于一个人为理想所鼓舞,影响其他群体,培养更多的人,希望在大数据的教育之路,志同道合的我们在20期的缘起之时,携手同行,共同推动大数据教育迈上新的台阶。