Author: Ruan Rongcheng

macOS 流计算Storm安装教程

【版权声明:本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】

Storm 是目前使用最为广泛的开源流计算框架,可用于实时日志分析、个性化推荐、实时监控等应用场景中。本指南将介绍 Storm 的安装与基本使用。请务必仔细阅读完厦门大学林子雨编著的《大数据技术原理与应用》第8章节,再结合本指南进行学习。

继续阅读

macOS 分布式文件系统HDFS 学习指南

【版权声明:本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】

本指南介绍Hadoop分布式文件系统HDFS,并详细指引读者对HDFS文件系统的操作实践。请务必仔细阅读完厦门大学林子雨编著的《大数据技术原理与应用》第3章节,再结合本指南进行学习。

继续阅读

使用Intellij Idea编写Spark应用程序(Scala+SBT)


点击这里观看厦门大学林子雨老师主讲《大数据技术原理与应用》授课视频
【版权声明】博客内容由厦门大学数据库实验室拥有版权,未经允许,请勿转载!
返回Spark教程首页
对Scala代码进行打包编译时,可以采用Maven,也可以采用SBT,相对而言,业界更多使用SBT。之前有篇博客我们介绍了使用Intellij Idea编写Spark应用程序(Scala+Maven),采用的是Maven工具。今天这篇博客同样是使用Intellij Idea编写Spark应用程序,但是使用的是SBT工具。下面开始我们的教程。
继续阅读

Spark2.1.0入门:Spark GraphX 算法实例

【版权声明】博客内容由厦门大学数据库实验室拥有版权,未经允许,请勿转载!
返回Spark教程首页
GraphX 中自带一系列图算法来简化分析任务。这些算法存在于org.apache.spark.graphx.lib包中,可以被Graph通过GraphOps直接访问。本章节主要介绍GraphX中主要的三个算法。
继续阅读

Spark2.1.0入门:Spark GraphX 简介

【版权声明】博客内容由厦门大学数据库实验室拥有版权,未经允许,请勿转载!
返回Spark教程首页

GraphX是Spark用来图和分布式图计算的新组件。GraphX通过引入属性图:顶点和边均有属性的有向多重图,来扩充Spark的RDD.为了支持这种图计算,GraphX 开发了一组基础功能操作。GraphX仍在不断扩充图算法,用来简化图计算的分析任务。
本章节主要介绍GraphX的核心抽象模型---属性图,并通过实例介绍如何构造一个图。
继续阅读

淘宝双11数据分析与预测课程案例—步骤四:利用Spark预测回头客行为

《淘宝双11数据分析与预测课程案例—步骤四:利用Spark预测回头客》

开发团队:厦门大学数据库实验室 联系人:林子雨老师ziyulin@xmu.edu.cn

版权声明:版权归厦门大学数据库实验室所有,请勿用于商业用途;未经授权,其他网站请勿转载

本教程介绍大数据课程实验案例“淘宝双11数据分析与预测”的第五个步骤,利用Spark预测回头客。在实践本步骤之前,请先完成该实验案例的第一个步骤——本地数据集上传到数据仓库Hive第二个步骤——Hive数据分析,和第三个步骤:将数据从Hive导入到MySQL,这里假设你已经完成了前面的这四个步骤。
继续阅读

淘宝双11数据分析与预测课程案例—步骤五:利用ECharts进行数据可视化分析

《淘宝双11数据分析与预测课程案例—步骤五:利用ECharts进行数据可视化分析》

开发团队:厦门大学数据库实验室 联系人:林子雨老师ziyulin@xmu.edu.cn

版权声明:版权归厦门大学数据库实验室所有,请勿用于商业用途;未经授权,其他网站请勿转载

本教程介绍大数据课程实验案例“淘宝双11数据分析与预测”的第四个步骤,利用ECharts进行数据可视化分析。在实践本步骤之前,请先完成该实验案例的第一个步骤——本地数据集上传到数据仓库Hive第二个步骤——Hive数据分析第三个步骤:将数据从Hive导入到MySQL第四个步骤:利用Spark预测回头客行为。这里假设你已经完成了前面的这四个步骤。
继续阅读

淘宝双11数据分析与预测课程案例-步骤三:将数据从Hive导入到MySQL

《淘宝双11数据分析与预测课程案例—步骤三:将数据从Hive导入到MySQL》

开发团队:厦门大学数据库实验室 联系人:林子雨老师 ziyulin@xmu.edu.cn

版权声明:版权归厦门大学数据库实验室所有,请勿用于商业用途;未经授权,其他网站请勿转载

本教程介绍大数据课程实验案例“淘宝双11数据分析与预测”的第三个步骤,将数据从Hive导入到MySQL。从数据导入到MySQL是为了后续数据可视化,服务端读取MySQL中的数据,渲染到前端ECharts页面。在实践本步骤之前,请先完成该实验案例的第一个步骤——本地数据集上传到数据仓库Hive,和第二个步骤——Hive数据分析。这里假设你已经完成了前面的这两个步骤。
继续阅读