第20期大数据师资培训班报名主页（线上培训，Hadoop+Spark综合班，寒假，2023年1月7日-12日）

林子雨 4580

第20期全国高校大数据课程教师培训交流班

（Hadoop+Spark综合班，寒假，线上培训，2023年1月7日-12日）

报名主页

全国高校知名大数据教师厦门大学林子雨老师主讲

小班制，高品质

授课方法、课程资源、实验平台一站式培训

为高校教师在短期内顺利开设大数据课程铺平道路

正在报名中……

报名请联系夏老师

联系人：夏老师  手机和微信是18695661071   E-mail:  xiaoyunxia@xmu.edu.cn

课程表  |  往期培训班  |  学员评价

DSC_4601副本

大数据教师培训班第1期班级主页1

大数据教师培训班第2期班级主页

大数据教师培训班第3期班级主页

第20期线上培训班课程表

时间 培训内容 主讲教师
第1天 模块一：大数据概述

  • 大数据时代
  • 大数据概念
  • 大数据的影响
  • 大数据关键技术
  • 大数据计算模式
  • 代表性大数据技术
 厦门大学林子雨
模块二：分布式处理架构Hadoop

  • Hadoop简介
  • Hadoop项目结构
  • Hadoop的版本演进
  • Hadoop在企业集群中的部署
  • 实战：Hadoop的安装与使用
  • 现场指导答疑
  厦门大学林子雨
第2天 模块三：分布式文件系统HDFS原理与实践

  • 计算机集群结构
  • 分布式文件系统的结构
  • 分布式文件系统的设计需求
  • HDFS简介
  • HDFS相关概念（块、数据节点、名称节点）
  • HDFS体系结构
  • HDFS存储原理
  • 实战：HDFS初级编程实践
  • 现场指导答疑

模块四：分布式数据库HBase原理与实践

  • HBase简介
  • HBase与传统关系数据库的对比分析
  • HBase访问接口
  • HBase数据模型
  • HBase实现原理
  • 实战：HBase安装与简单编程实践
  • 现场指导答疑
 厦门大学林子雨

厦门大学陶继平
第3天 模块五：MapReduce原理与实践

  • MapReduce简介
  • MapReduce工作流程概述
  • MapReduce各个执行阶段
  • Shuffle过程详解
  • 实例分析
  • 实战：MapReduce初级编程实践
  • 现场指导答疑

模块六：Scala语言基础（一）

  • Scala语言概述
  • Scala基础
  • 类、对象、继承、特质、模式匹配
 厦门大学林子雨

厦门大学陶继平
第4天 模块七：Scala语言基础（二）

  • 函数定义和高阶函数
  • 针对集合的操作
  • 遍历操作、map操作和flatMap操作、filter操作、reduce操作、fold操作
  • 函数式编程实例WordCount

模块八：Spark设计与运行原理

  • Spark简介
  • Spark运行架构
  • RDD的设计与运行原理
  • Spark的部署模式
 厦门大学陶继平

厦门大学林子雨
第5天 模块九：Spark安装和使用方法

  • Spark的安装与使用
  • 第一个Spark应用程序：WordCount
  • 使用开发工具Intellij idea和Eclipse编写Spark应用程序
  • Spark集群环境搭建
  • 在集群上运行Spark应用程序

模块十：RDD编程实践

  • RDD编程
  • 键值对RDD
  • 数据读写（文件数据读写、读写HBase数据）
 厦门大学林子雨
第6天 模块十一：Spark SQL原理和实践

  • Spark SQL简介
  • DataFrame与RDD的区别
  • DataFrame的创建
  • 从RDD转换得到DataFrame
  • 读取和保存数据（读写Parquet、通过JDBC连接数据库）

模块十二：Spark Streaming原理和实践

  • 流计算简介
  • Spark Streaming简介
  • DStream操作概述
  • 输入源（文件流、套接字流、RDD队列流、Apache Kafka）
  • 转换操作（DStream无状态转换操作、DStream有状态转换操作）
 厦门大学林子雨
厦门大学数据库实验室

往届线上培训班

第15期线上培训班风采

（上图  2020年7月29日晚举办在线的大数据教师研讨会）

学员评价

黄智霖-厦门华夏学院：首先感谢林老师、夏老师和陶老师以及所有助教们精心打磨课程，非常高兴能参加咱们这个培训班，让我觉得收获满满。
        记得今年上半年子雨老师来我们学校做宣讲的时候，去听了一下，就此与大数据结缘。不曾想有办培训班，就带着学习的心态报班参加此次培训，曾根据实验室的文章自己做了一个案例，尽管跟着做能顺利完成，但还是有疑惑。此次培训，一一解答了心中的疑惑，给您点赞。
        培训一开始就让人觉得安排特别到位，夏老师事事都安排得妥妥的，由于快递的原因，教材没能收到也及时地安排书商重新发货用顺丰的速度解决我们迫切想看书的心情，给您点赞。
        由于本周学校还处于上班期间，所以都只能利用晚上的时间进行学习，学习中遇到的问题我们的助教王雅南老师都及时回复耐心指导。虽然课程还有一些在学习中，但已经收获满满。您总是第一时间解答我的问题，给您点赞。
       回看学习陶老师的Scala课程时，视频中的你为了和我们互动，特意提问了一下，但是可能由于种种原因没有收到回复。同样作为一名教师的我，觉得此时此刻应该和陶老师说声抱歉，抱歉没办法在线和您实时互动，也说一句老师我一直都在认真听，尽管是回看，但正是因为听了你讲的课，我能够快速的掌握scala的基础知识，手动给您点赞。
       最后，非常荣幸和在座的各位老师成为同学，尽管短暂！如果有机会来厦门华厦学院，我带你们逛校园。

欧阳武汉职业技术学院：感谢林老师和陶老师这几天的讲课，非常精彩。也感谢班主任夏老师的这几天的辛苦工作。同时也感谢我的助教周伟敬同学的及时答疑。