第15期大数据师资培训班报名主页(线上培训,Hadoop+Spark综合班,暑假,2020年7月25日-30日)

第15期全国高校大数据课程教师培训交流班

(Hadoop+Spark综合班,暑假,线上培训,2020年7月25日-30日)

报名主页

名额已满,报名已经结束

因为疫情影响无法线下培训,本次培训采取线上培训

全国高校知名大数据教师厦门大学林子雨老师主讲

小班制,高品质

授课方法、课程资源、实验平台一站式培训

为高校教师在短期内顺利开设大数据课程铺平道路


DSC_4601副本

大数据教师培训班第1期班级主页1

大数据教师培训班第2期班级主页

大数据教师培训班第3期班级主页

第15期线上培训班课程表

时间 培训内容 主讲教师
第1天 模块一:大数据概述

  • 大数据时代
  • 大数据概念
  • 大数据的影响
  • 大数据关键技术
  • 大数据计算模式
  • 代表性大数据技术
厦门大学林子雨
模块二:分布式处理架构Hadoop

  • Hadoop简介
  • Hadoop项目结构
  • Hadoop的版本演进
  • Hadoop在企业集群中的部署
  • 实战:Hadoop的安装与使用
  • 现场指导答疑
 厦门大学林子雨
第2天 模块三:分布式文件系统HDFS原理与实践

  • 计算机集群结构
  • 分布式文件系统的结构
  • 分布式文件系统的设计需求
  • HDFS简介
  • HDFS相关概念(块、数据节点、名称节点)
  • HDFS体系结构
  • HDFS存储原理
  • 实战:HDFS初级编程实践
  • 现场指导答疑

模块四:分布式数据库HBase原理与实践

  • HBase简介
  • HBase与传统关系数据库的对比分析
  • HBase访问接口
  • HBase数据模型
  • HBase实现原理
  • 实战:HBase安装与简单编程实践
  • 现场指导答疑
厦门大学林子雨

厦门大学陶继平

第3天 模块五:MapReduce原理与实践

  • MapReduce简介
  • MapReduce工作流程概述
  • MapReduce各个执行阶段
  • Shuffle过程详解
  • 实例分析
  • 实战:MapReduce初级编程实践
  • 现场指导答疑

模块六:Scala语言基础(一)

  • Scala语言概述
  • Scala基础
  • 类、对象、继承、特质、模式匹配
厦门大学林子雨

厦门大学陶继平

第4天 模块七:Scala语言基础(二)

  • 函数定义和高阶函数
  • 针对集合的操作
  • 遍历操作、map操作和flatMap操作、filter操作、reduce操作、fold操作
  • 函数式编程实例WordCount

模块八:Spark设计与运行原理

  • Spark简介
  • Spark运行架构
  • RDD的设计与运行原理
  • Spark的部署模式
厦门大学陶继平

厦门大学林子雨

第5天 模块九:Spark安装和使用方法

  • Spark的安装与使用
  • 第一个Spark应用程序:WordCount
  • 使用开发工具Intellij idea和Eclipse编写Spark应用程序
  • Spark集群环境搭建
  • 在集群上运行Spark应用程序

模块十:RDD编程实践

  • RDD编程
  • 键值对RDD
  • 数据读写(文件数据读写、读写HBase数据)
厦门大学林子雨
第6天 模块十一:Spark SQL原理和实践

  • Spark SQL简介
  • DataFrame与RDD的区别
  • DataFrame的创建
  • 从RDD转换得到DataFrame
  • 读取和保存数据(读写Parquet、通过JDBC连接数据库)

模块十二:Spark Streaming原理和实践

  • 流计算简介
  • Spark Streaming简介
  • DStream操作概述
  • 输入源(文件流、套接字流、RDD队列流、Apache Kafka)
  • 转换操作(DStream无状态转换操作、DStream有状态转换操作)
厦门大学林子雨
厦门大学数据库实验室