其他

Spark+Kafka构建实时分析Dashboard案例——步骤三:Spark Streaming实时处理数据(python版本)

返回本案例首页

该版本是原先教程的python版本。

查看前一步骤操作步骤二:数据处理和Python操作Kafka
查看scala版本scala版本:Spark Streaming实时处理数据

《Spark+Kafka构建实时分析Dashboard案例——步骤三:Spark Streaming实时处理数据(python版本)》

开发团队:厦门大学数据库实验室 联系人:林子雨老师ziyulin@xmu.edu.cn

版权声明:版权归厦门大学数据库实验室所有,请勿用于商业用途;未经授权,其他网站请勿转载

本教程介绍大数据课程实验案例“Spark+Kafka构建实时分析Dashboard”的第三个步骤,Spark Streaming实时处理数据。在本篇博客中,将介绍如何利用Spark Streaming实时接收处理Kafka数据以及将处理后的结果发给的Kafka。

继续阅读

交互式Python爬虫分析实例

先前的文章展示了爬虫分析,并使用pyecharts画图。这篇文章在先前文章的基础上,增加了在线控制模块。总体的做法就是,把爬虫分析功能放在后台,在后台开启一个服务端,接收客户端的命令后,开启爬虫分析,然后将最后的结果展示在客户端。

继续阅读

Hue的安装及配置

Hue的简介

Hue全称Hadoop User Experience,是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。它的强大之处在于,界面非常友好简洁,通过使用它我们可以直接在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job,执行Hive的SQL语句,浏览HBase数据库等。笔者参考官方网站的文章——How to build Hue on Ubuntu写了这篇博文,来简单的介绍一下,Hue的安装和配置,以及Hue实现的几个简单案例。

继续阅读

Kettle的安装和使用

Kettle简介

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。
Kettle是“Kettle E.T.T.L. Envirnonment“只取首字母的缩写,这意味着它被设计用来帮助你实现你的 ETTL 需要:抽取、转换、装入和加载数据;翻译成中文名称应该叫水壶,名字的起源是开发者希望把各种数据放到一个壶里然后以一种指定的格式流出。
Spoon 是一个图形用户界面,它允许你运行转换或者任务,其中转换是用 Pan 工具来运行,任务是用 Kitchen 来运行。Pan 是一个数据转换引擎,它可以执行很多功能,例如:从不同的数据源读取、操作和写入数据。Kitchen 是一个可以运行利用 XML 或数据资源库描述的任务。通常任务是在规定的时间间隔内用批处理的模式自动运行。
继续阅读