第26期全国高校大数据课程教师培训交流班
（Hadoop+Spark综合班，寒假，厦门，2025年1月12日-19日）
报名主页
正在报名中……
报名请联系：夏小云老师 手机和微信是18695661071 E-mail: xiaoyunxia@xmu.edu.cn
厦门大学 林子雨 主讲
授课方法、课程资源、实验平台一站式培训
为高校教师在短期内顺利开设大数据课程铺平道路
过去8年已经累计为全国500多所高校培养900余位大数据教师
扫码访问本网页
(图 培训班在厦门大学信息学院门口合影)
访问第21期大数据师资培训班主页了解精彩培训细节
培训特色
- 零基础学习。参加本次培训班的老师不需要具备任何大数据技术基础，培训期间会系统讲解大数据技术的原理和实践。课程采用Python语言编写Spark程序，学习门槛低。
- 提供高质量教材。采用厦门大学林子雨老师主编的《大数据技术原理与应用（第4版）》、《Spark编程基础（Python版，第2版）》作为培训教材，该教材已经被国内1000余所高校采用，受到广大一线教师的认可和好评；
- 优秀教师授课。由教材作者、全国高校知名大数据教师、教育部高等学校计算机类教指委2021年高校计算机专业优秀教师奖励计划入选者、2022年福建省高等教育教学成果奖特等奖获得者——厦门大学计算机系林子雨老师亲自主讲；林子雨老师具有丰富的授课经验和培训经验，已经为国内500余所高校培训了800余位大数据教师。
- 配套MOOC课程被认定为“国家级线上一流本科课程”。由林子雨老师主讲的两门大数据课程被认定为“国家级线上一流本科课程”。其中，《大数据技术原理与应用》MOOC课程获得“2018年国家精品在线开放课程”和“2020年国家级线上一流本科课程”；《Spark编程基础》MOOC课程获得“2023年国家级线上一流本科课程”。
- 获得2门大数据核心课程教学能力。参加培训的教师可一次性获得2门大数据核心课程的教学能力，分别是《大数据技术原理与应用》和《Spark编程基础》；
- 提供在线实验云平台。培训全程无需老师自行搭建实验环境，提供与课程配套的在线实验云平台，助力老师高效完成实操。
- 全程助教实时答疑。有多位老师和助教给与现场指导答疑，助力教师实战通关;
- 提供课程全部配套教学资源。本次培训将会提供与林子雨老师教材配套的丰富教学资源（讲义PPT、教学大纲、课程思政、MOOC视频、实验指南、技术博客等），助力老师回校后顺利开课。
培训目标
（1）使参加学员全面掌握大数据相关技术及教学方法，帮助各高校在大数据专业课程体系建设提供全方位、强有力的教学资源支持。
（2）全面掌握Hadoop的架构原理和使用场景，深入理解Hadoop技术架构,对Hadoop运作机制有清晰全面的认识，可以独立安装及使用Hadoop环境。
（3）将系统介绍Spark知识体系、授课方法、实验环境搭建、基础编程、高校大数据课程公共服务平台资源使用指南等方面的内容，旨在帮助参加培训的教师快速建立对Spark技术体系的整体性认识，为高效备课和顺利开课打下坚实基础。
（4）掌握1个大数据综合案例，并具备把大数据案例应用到学生实习实训课程的授课能力。
时间地点
注册报到：2025年1月12日（周日）全天
培训时间：2025年1月13日（周一）—19日（周日），共7天
培训地点：厦门
培训内容
课程表
|
时间 |
课程主题 |
培训内容 |
培训讲师 |
|
第1天 |
模块一： 大数据概述 |
l 大数据时代 l 大数据概念 l 大数据的影响 l 大数据关键技术 l 大数据计算模式 l 代表性大数据技术 |
厦门大学 林子雨 |
|
|
模块二： 分布式处理架构Hadoop |
l Hadoop简介 l Hadoop项目结构 l Hadoop的版本演进 l Hadoop在企业集群中的部署 l 实战：Hadoop的安装与使用 l 现场指导答疑 |
厦门大学 林子雨 |
|
第2天 |
模块三： 分布式文件系统HDFS原理与实践 |
l 计算机集群结构 l 分布式文件系统的结构 l 分布式文件系统的设计需求 l HDFS简介 l HDFS相关概念（块、数据节点、名称节点） l HDFS体系结构 l HDFS存储原理 l 实战：HDFS初级编程实践 l 现场指导答疑 |
厦门大学 林子雨 |
|
|
模块四： 分布式数据库HBase原理与实践 |
l HBase简介 l HBase与传统关系数据库的对比分析 l HBase访问接口 l HBase数据模型 l HBase实现原理 l 实战：HBase安装与简单编程实践 l 现场指导答疑 |
厦门大学 林子雨 |
|
第3天 |
模块五： MapReduce原理与实践 |
l MapReduce简介 l MapReduce工作流程概述 l MapReduce各个执行阶段 l Shuffle过程详解 l 实例分析 l 实战：MapReduce初级编程实践 l 现场指导答疑 |
厦门大学 林子雨 |
|
|
模块六： Spark设计与运行原理 |
l Spark简介 l Spark运行架构 l RDD的设计与运行原理 l Spark的部署模式 |
厦门大学 林子雨 |
|
第4天 |
模块七： Spark安装和使用方法 |
l Anaconda的安装和使用方法 l 安装Spark（Local模式） l 在pyspark中运行代码 l 使用spark-submit命令提交运行程序 l Spark集群环境搭建（Standalone模式） l 在集群上运行Spark应用程序 l Spark on YARN模式 l 安装PySpark类库 l 实战：第一个Spark应用程序：WordCount（使用Python语言） l 实战：使用开发工具PyCharm和Intellij IDEA编写Spark应用程序（使用Python语言） l 现场指导答疑 |
厦门大学 林子雨 |
|
|
模块八： RDD编程实践 |
l RDD编程 l 键值对RDD l 实战：数据读写（文件数据读写、读写MySQL数据库） l 综合实例 l 现场指导答疑 |
厦门大学 林子雨 |
|
第5天 |
模块九： Spark SQL原理和实践 |
l Spark SQL简介 l 结构化数据DataFrame l DataFrame的创建和保存 l DataFrame的基本操作 l 从RDD转换得到DataFrame l 实战：使用Spark SQL读写数据库 l 实战：PySpark和pandas的整合 l 综合实例 l 现场指导答疑 |
厦门大学 林子雨 |
|
|
模块十： Spark Streaming原理和实践 |
l 流计算简介 l Spark Streaming简介 l DStream操作概述 l 实战：输入源（文件流、套接字流、RDD队列流） l 实战：转换操作（DStream无状态转换操作、DStream有状态转换操作） l 现场指导答疑 |
厦门大学 林子雨 |
|
第6天 |
模块十一： 文本分类相关技术（实战） |
（备注：模块十一和模块十二合在一起是一个完整案例，采用Python和Spark，详细介绍如何使用Spark技术解决实际应用问题） l 文本预处理 l 文本表示模型 l 分类器（实战：使用逻辑斯蒂回归、决策树和随机森林算法对鸢尾花数据集进行分析） l 分类性能 l 实战：文本分类的代码实现（加载数据集、分词、构建词向量、分类） l 现场指导答疑 |
厦门大学 林子雨 |
|
|
模块十二： 文本分类算法性能对比实验（实战） |
（备注：模块十一和模块十二合在一起是一个完整案例，采用Python和Spark，详细介绍如何使用Spark技术解决实际应用问题） l 把数据集加载到HDFS中 l 创建数据库 l 新建项目 l 测试运行 l 现场指导答疑 |
厦门大学 林子雨 |
|
第7天 |
模块十三： 大数据教学研讨会 |
共同探讨大数据课程体系建设面临的问题和对策建议，分享教学经验、方法和案例，促进成熟的大数据课程体系的快速复制传播，加快推进国内高校大数据教学水平不断提升 |
厦门大学 林子雨 |
|
|
模块十四： 参观企业 |
参观大数据企业 培训课程全部结束 |
厦门大学夏小云 |
报名方式
联系人：夏小云老师 18695661071（手机和微信）
E-mail:xiaoyunxia@xmu.edu.cn
培训班为学员统一安排住宿和餐饮，费用自理
住宿餐饮
本次培训班住宿统一安排在【 厦门春光酒店】，培训地点教室也在该酒店会议室，单间每人每天300元/天，双人合住每人每天200元/天，包含简单的三餐，开住宿费发票。下图为酒店室内布局。
历史培训班精彩记录
