厦大数据库实验室博客

总结、分享、收获

实验室主页

Shell MongoDB Storm Redis HBase VirturalBox Kafka 大数据 大数据技术原理与应用 Zeppelin R NoSQL 数据可视化 大数据，Spark Hadoop MapReduce 林子雨 Pregel Unix环境高级编程 MySQL Unix Scala 信息图 Spark 数据仓库 Java d3.js kettle 图计算 sqoop Maven 机器学习 LaTex Linux CentOS flink Ubuntu 数据挖掘 hama Python HDFS Hive

Spark2.1.0入门：机器学习工作流(ML Pipelines)(Python版)

【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
返回Spark教程首页
推荐纸质教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》

一个典型的机器学习过程从数据收集开始，要经历多个步骤，才能得到需要的输出。这非常类似于流水线式工作，即通常会包含源数据ETL（抽取、转化、加载），数据预处理，指标提取，模型训练与交叉验证，新数据预测等步骤。
继续阅读

Spark上机练习题：统计人口平均年龄

本部分Spark上机练习题，是与林子雨编著《Spark编程基础》教程（官网）配套的题目，在学习完《Spark编程基础》第5章RDD编程的内容以后，可以顺利完成本题目。

【题目】Spark上机练习题：统计人口平均年龄

继续阅读

林子雨老师 大数据

Spark入门：DStream输出操作(Python版)

【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
返回Spark教程首页
推荐纸质教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》

在Spark应用中，外部系统经常需要使用到Spark DStream处理后的数据，因此，需要采用输出操作把DStream的数据输出到数据库或者文件系统中。
继续阅读

Spark2.1.0+入门：DStream转换操作(Python版)

【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
返回Spark教程首页
推荐纸质教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》

DStream转换操作包括无状态转换和有状态转换。
无状态转换：每个批次的处理不依赖于之前批次的数据。
有状态转换：当前批次的处理需要使用之前批次的数据或者中间结果。有状态转换包括基于滑动窗口的转换和追踪状态变化的转换(updateStateByKey)。
继续阅读

© 2014 厦大数据库实验室