【版权声明】版权所有,严禁转载,严禁用于商业用途,侵权必究。
作者:厦门大学计算机系2016级研究生 魏亮
指导老师:厦门大学计算机科学系数据库实验室 林子雨 博士/副教授
相关教材:林子雨、郑海山、赖永炫编著《Spark编程基础(Python版)》(访问教材官网)
相关案例:基于Python语言的Spark数据处理分析案例集锦(PySpark)
本篇博客将实现一个系列程序,从厦门小鱼网爬取租房租金信息,然后利用spark的python版本进行简单分析,并利用echarts的python版本展示分析结果,此外还会简单介绍pycharm的工程建立,所以本篇将分为四个部分。
继续阅读
使用Pycharm开发Spark应用程序(以WordCount为例)
本篇博客将给大家介绍怎么在PyCharm上编写运行WordCount程序。
继续阅读
采用Node.js+Express+Jade实现用户注册登录功能
Node.js是一个JavaScript运行环境,发布于2009年5月,由Ryan Dahl开发,实质是对Chrome V8引擎进行了封装。V8引擎执行Javascript的速度非常快,性能非常好。 Node.js是一个基于Chrome JavaScript运行时建立的平台,用于方便地搭建响应速度快、易于扩展的网络应用。Node.js使用事件驱动、非阻塞I/O模型,具备轻量和高效的特点,非常适合在分布式设备上运行数据密集型的实时应用。请参考另一篇博客完成Node.js的安装。这里假设已经完成Node.js的安装。
继续阅读
使用Node.js连接MySQL数据库
假设已经在MySQL数据库中创建了一个名称为“test”的数据库,这个数据库中有一个student表,这个表有sno和sname两个字段。现在要创建Node.js应用服务器,查询MySQL数据库student表的信息并显示到网页上。
继续阅读
Flume_Kafka_SparkStreaming实现词频统计
任务描述
配置Kafka和Flume,把Flume Source类别设置为netcat,绑定到localhost的33333端口,通过“telnet localhost 33333”命令向Flume Source发送消息,然后,让Flume把消息发送给Kafka,并让Kafa发送消息到Spark Streaming,Spark Streaming组件收到各种单词消息后,对单词进行词频统计,在屏幕上打印出每个单词出现了几次。
继续阅读
通知:关闭网站3天(6月2日-4日)
由于厦大进行校园网维护,本站将在2018年6月2日-4日关闭3天,6月5日起恢复正常访问,给您造成的不便,敬请谅解。
在Windows系统中安装Docker
本教程版权归厦门大学数据库实验室所有,由厦门大学林子雨老师亲自撰写,转载请注明出处,请勿用于商业用途。
本教程介绍如何在Windows系统中安装Docker。
继续阅读
为ECS中的Ubuntu14.04安装中文语言支持
返回《在阿里云中搭建大数据实验环境》首页
提示:本教程是一个系列文章,请务必按照本教程首页中给出的各个步骤列表,按照先后顺序一步步进行操作,本博客假设你已经顺利完成了之前的操作步骤。
Ubuntu14.04默认配置下,只有英文环境,没有中文,因此,需要进行相关配置。
继续阅读
在ECS实例的Ubuntu系统中安装MySQL5.7
返回《在阿里云中搭建大数据实验环境》首页
提示:本教程是一个系列文章,请务必按照本教程首页中给出的各个步骤列表,按照先后顺序一步步进行操作,本博客假设你已经顺利完成了之前的操作步骤。
MySQL是非常流行的关系数据库,在企业中得到了广泛的应用,大数据应用中,会涉及到Spark和MySQL之间的交互,以及Hadoop和MySQL之间的交互。本博客介绍如何在ECS实例的Ubuntu系统中安装MySQL。
继续阅读
在ECS实例的Ubuntu系统中安装HBase
返回《在阿里云中搭建大数据实验环境》首页
提示:本教程是一个系列文章,请务必按照本教程首页中给出的各个步骤列表,按照先后顺序一步步进行操作,本博客假设你已经顺利完成了之前的操作步骤。
HBase是Hadoop生态系统中的一个组件,是一种分布式数据库,可以支持数百万列、超过10亿行的数据的存储。本博客介绍如何在ECS实例的Ubuntu系统中安装HBase。
继续阅读