厦大数据库实验室博客

总结、分享、收获

实验室主页

Kafka VirturalBox Hadoop kettle MySQL Scala Maven Linux Storm CentOS Pregel Python 大数据，Spark R 机器学习 Unix环境高级编程 Hive Zeppelin flink 大数据技术原理与应用 LaTex 大数据 Spark MapReduce 数据可视化 MongoDB 数据挖掘 Shell Unix Ubuntu

Author: 林子雨老师

Win10如何获得管理员权限

使用Windows10操作系统的时候，由于普通用户的权限受到一些限制，无法完成一些操作，有时候需要启用管理员用户登录系统。这里介绍如何在Win10系统中启用管理员用户。
继续阅读

林子雨老师 其他

在Windows10操作系统中安装MySQL8.0.30数据库

本教程是为林子雨编著《数据采集与预处理》（教材官网）第2.3节MySQL数据库的安装与使用编写的配套教程。之所以撰写本教程，是因为，《数据采集与预处理》教材中提供的MySQL数据库安装方法，在Windows7操作系统中可以顺利执行，但是，在Windows10操作系统中，会遇到安装失败的情况。因此，编写了本教程，可以帮助教材使用者顺利完成在Windows10操作系统中安装MySQL8.0.30数据库。

继续阅读

Kafka和Structured Streaming的组合使用（Spark 3.2.0）

本文节选自林子雨编著《Spark编程基础（Scala版）》（教材官网：http://dblab.xmu.edu.cn/post/spark/）

作者：厦门大学计算机科学与技术系 林子雨 博士/副教授
E-mail: ziyulin@xmu.edu.cn

Structured Streaming是用来进行流计算的组件，可以把Kafka（或Flume）作为数据源，让Kafka（或Flume）产生数据发送给Structured Streaming应用程序，Structured Streaming应用程序再对接收到的数据进行实时处理，从而完成一个典型的流计算过程。这里仅以Kafka为例进行介绍。这里使用的软件版本是：kafka_2.12-2.6.0，Spark3.2.0（Scala版本是2.12.15）。
继续阅读

Kafka和Spark Streaming的组合使用（Spark 3.2.0）

本文节选自林子雨编著《Spark编程基础（Scala版）》（教材官网：http://dblab.xmu.edu.cn/post/spark/）

作者：厦门大学计算机科学与技术系 林子雨 博士/副教授
E-mail: ziyulin@xmu.edu.cn

Spark Streaming是用来进行流计算的组件，可以把Kafka（或Flume）作为数据源，让Kafka（或Flume）产生数据发送给Spark Streaming应用程序，Spark Streaming应用程序再对接收到的数据进行实时处理，从而完成一个典型的流计算过程。这里仅以Kafka为例进行介绍。这里使用的软件版本是：kafka_2.12-2.6.0，Spark3.2.0（Scala版本是2.12.15）。
继续阅读

Flink的设计与运行原理

本网页内容节选自林子雨编著《Flink编程基础（Scala版）》（教材官网），版权所有，侵权必究
第3章 Flink的设计与运行原理
近年来，流处理这种应用场景在企业中变得越来越频繁，由此带动了企业数据架构开始由传统数据处理架构、大数据Lambda架构向流处理架构演变。Flink就是一种具有代表性的开源流处理架构，具有十分强大的功能，它实现了Google Dataflow流计算模型，是一种兼具高吞吐、低延迟和高性能的实时流计算框架，并且同时支持批处理和流处理。Flink的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及“精确一次”的状态一致性保障等。Flink不仅可以运行在包括 YARN、Mesos、Kubernetes等在内的多种资源管理框架上，还支持在裸机集群上独立部署。Flink目前已经在全球范围内得到了广泛的应用，大量企业已经开始大规模使用Flink作为企业的分布式大数据处理引擎。
本章首先给出Flink简介，并探讨为什么选择Flink以及Flink的典型应用场景；然后介绍Flink的统一数据处理、技术栈、工作原理、编程模型和应用程序结构；最后介绍Flink中的数据一致性。（节选自林子雨编著《Flink编程基础（Scala版）》）
继续阅读

林子雨老师 大数据
© 2014 厦大数据库实验室