该版本是原先教程的python版本。
查看前一步骤操作步骤二：数据处理和Python操作Kafka
查看scala版本scala版本：Spark Streaming实时处理数据
《Spark+Kafka构建实时分析Dashboard案例——步骤三：Spark Streaming实时处理数据(python版本)》
开发团队：厦门大学数据库实验室 联系人：林子雨老师ziyulin@xmu.edu.cn
版权声明：版权归厦门大学数据库实验室所有，请勿用于商业用途；未经授权，其他网站请勿转载
本教程介绍大数据课程实验案例“Spark+Kafka构建实时分析Dashboard”的第三个步骤，Spark Streaming实时处理数据。在本篇博客中，将介绍如何利用Spark Streaming实时接收处理Kafka数据以及将处理后的结果发给的Kafka。
Flask网页开发学习指南
交互式Python爬虫分析实例
先前的文章展示了爬虫分析，并使用pyecharts画图。这篇文章在先前文章的基础上，增加了在线控制模块。总体的做法就是，把爬虫分析功能放在后台，在后台开启一个服务端，接收客户端的命令后，开启爬虫分析，然后将最后的结果展示在客户端。
厦门租房信息分析展示（pycharm+python爬虫+pyspark+pyecharts）
【版权声明】版权所有，严禁转载，严禁用于商业用途，侵权必究。
作者：厦门大学计算机系2016级研究生 魏亮
指导老师：厦门大学计算机科学系数据库实验室 林子雨 博士/副教授
相关教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》（访问教材官网）
相关案例：基于Python语言的Spark数据处理分析案例集锦（PySpark）
本篇博客将实现一个系列程序，从厦门小鱼网爬取租房租金信息，然后利用spark的python版本进行简单分析，并利用echarts的python版本展示分析结果，此外还会简单介绍pycharm的工程建立，所以本篇将分为四个部分。
继续阅读
使用Pycharm开发Spark应用程序（以WordCount为例）
本篇博客将给大家介绍怎么在PyCharm上编写运行WordCount程序。
继续阅读
通知：关闭网站3天（6月2日-4日）
由于厦大进行校园网维护，本站将在2018年6月2日-4日关闭3天，6月5日起恢复正常访问，给您造成的不便，敬请谅解。
R无法安装RMySQL程序包解决方案
在R的交互环境下利用 install.packages("RMySQL")在线安装RMySQL程序包出现如下错误：
继续阅读
Hue的安装及配置
Hue的简介
Hue全称Hadoop User Experience，是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。它的强大之处在于，界面非常友好简洁，通过使用它我们可以直接在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等。笔者参考官方网站的文章——How to build Hue on Ubuntu写了这篇博文，来简单的介绍一下，Hue的安装和配置，以及Hue实现的几个简单案例。
Kettle的安装和使用
Kettle简介
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
Kettle是“Kettle E.T.T.L. Envirnonment“只取首字母的缩写，这意味着它被设计用来帮助你实现你的 ETTL 需要：抽取、转换、装入和加载数据；翻译成中文名称应该叫水壶，名字的起源是开发者希望把各种数据放到一个壶里然后以一种指定的格式流出。
Spoon 是一个图形用户界面，它允许你运行转换或者任务，其中转换是用 Pan 工具来运行，任务是用 Kitchen 来运行。Pan 是一个数据转换引擎，它可以执行很多功能，例如：从不同的数据源读取、操作和写入数据。Kitchen 是一个可以运行利用 XML 或数据资源库描述的任务。通常任务是在规定的时间间隔内用批处理的模式自动运行。
继续阅读
Python：高阶函数-filter
【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！版权所有，侵权必究！
[返回Python教程首页]
继续阅读