厦大数据库实验室博客

总结、分享、收获

实验室主页

flink d3.js Unix hama CentOS Linux 图计算 数据仓库 Storm Java Redis 大数据 数据挖掘 HBase Maven Kafka Hadoop Pregel Hive Spark 信息图 大数据技术原理与应用 林子雨 Scala LaTex NoSQL MongoDB 机器学习 Ubuntu Zeppelin kettle Shell Python HDFS MySQL VirturalBox R sqoop MapReduce 数据可视化 Unix环境高级编程 大数据，Spark 逻辑回归

Spark+Kafka构建实时分析Dashboard案例（2022年9月V2.0版）——步骤一：实验环境准备

返回本案例首页
《Spark+Kafka构建实时分析Dashboard案例——步骤一：实验环境准备》
开发团队：厦门大学数据库实验室 联系人：林子雨老师 ziyulin@xmu.edu.cn

版权声明：版权归厦门大学数据库实验室所有，请勿用于商业用途；未经授权，其他网站请勿转载

本教程介绍大数据课程实验案例“Spark+Kafka构建实时分析Dashboard案例”的第一个步骤，实验环境准备工作，有些软件的安装在相应的章节还会介绍。

继续阅读

Spark+Kafka构建实时分析Dashboard案例介绍（2022年9月V2.0版）

返回本案例首页
《Spark+Kafka构建实时分析Dashboard案例介绍》

开发团队：厦门大学数据库实验室 联系人：林子雨老师ziyulin@xmu.edu.cn

版权声明：版权归厦门大学数据库实验室所有，请勿用于商业用途；未经授权，其他网站请勿转载

本教程介绍大数据课程实验案例“Spark+Kafka构建实时分析Dashboard”。在本篇博客中，将要介绍本案例的总体架构，包括案例整体的运行流程以及每个过程具体执行内容。

继续阅读

Kafka和Structured Streaming的组合使用（Spark 3.2.0）

本文节选自林子雨编著《Spark编程基础（Scala版）》（教材官网：http://dblab.xmu.edu.cn/post/spark/）

作者：厦门大学计算机科学与技术系 林子雨 博士/副教授
E-mail: ziyulin@xmu.edu.cn

Structured Streaming是用来进行流计算的组件，可以把Kafka（或Flume）作为数据源，让Kafka（或Flume）产生数据发送给Structured Streaming应用程序，Structured Streaming应用程序再对接收到的数据进行实时处理，从而完成一个典型的流计算过程。这里仅以Kafka为例进行介绍。这里使用的软件版本是：kafka_2.12-2.6.0，Spark3.2.0（Scala版本是2.12.15）。
继续阅读

Kafka和Spark Streaming的组合使用（Spark 3.2.0）

本文节选自林子雨编著《Spark编程基础（Scala版）》（教材官网：http://dblab.xmu.edu.cn/post/spark/）

作者：厦门大学计算机科学与技术系 林子雨 博士/副教授
E-mail: ziyulin@xmu.edu.cn

Spark Streaming是用来进行流计算的组件，可以把Kafka（或Flume）作为数据源，让Kafka（或Flume）产生数据发送给Spark Streaming应用程序，Spark Streaming应用程序再对接收到的数据进行实时处理，从而完成一个典型的流计算过程。这里仅以Kafka为例进行介绍。这里使用的软件版本是：kafka_2.12-2.6.0，Spark3.2.0（Scala版本是2.12.15）。
继续阅读

Flink的设计与运行原理

本网页内容节选自林子雨编著《Flink编程基础（Scala版）》（教材官网），版权所有，侵权必究
第3章 Flink的设计与运行原理
近年来，流处理这种应用场景在企业中变得越来越频繁，由此带动了企业数据架构开始由传统数据处理架构、大数据Lambda架构向流处理架构演变。Flink就是一种具有代表性的开源流处理架构，具有十分强大的功能，它实现了Google Dataflow流计算模型，是一种兼具高吞吐、低延迟和高性能的实时流计算框架，并且同时支持批处理和流处理。Flink的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及“精确一次”的状态一致性保障等。Flink不仅可以运行在包括 YARN、Mesos、Kubernetes等在内的多种资源管理框架上，还支持在裸机集群上独立部署。Flink目前已经在全球范围内得到了广泛的应用，大量企业已经开始大规模使用Flink作为企业的分布式大数据处理引擎。
本章首先给出Flink简介，并探讨为什么选择Flink以及Flink的典型应用场景；然后介绍Flink的统一数据处理、技术栈、工作原理、编程模型和应用程序结构；最后介绍Flink中的数据一致性。（节选自林子雨编著《Flink编程基础（Scala版）》）
继续阅读

林子雨老师 大数据

Zeppelin安装与使用教程

Zeppelin是Apache基金会下的一个开源框架，它提供了一个数据可视化的框架，是一个基于web的notebook。后台支持接入多种数据引擎，比如jdbc、spark、hive等。同时也支持多种语言进行交互式的数据分析，比如Scala、SQL、Python等等。本文从安装和使用两部分来介绍Zeppelin。
继续阅读

© 2014 厦大数据库实验室