厦大数据库实验室博客

总结、分享、收获

实验室主页

Python 大数据，Spark 林子雨 kettle NoSQL Shell Maven Spark Ubuntu Scala 数据仓库 Linux Unix flink Java 机器学习 R MySQL 大数据技术原理与应用 d3.js Storm VirturalBox HBase MongoDB HDFS LaTex Hadoop Kafka MapReduce Zeppelin Unix环境高级编程 数据可视化 数据挖掘 Pregel Redis Hive CentOS hama sqoop 大数据 图计算 信息图

Flink的设计与运行原理

本网页内容节选自林子雨编著《Flink编程基础（Scala版）》（教材官网），版权所有，侵权必究
第3章 Flink的设计与运行原理
近年来，流处理这种应用场景在企业中变得越来越频繁，由此带动了企业数据架构开始由传统数据处理架构、大数据Lambda架构向流处理架构演变。Flink就是一种具有代表性的开源流处理架构，具有十分强大的功能，它实现了Google Dataflow流计算模型，是一种兼具高吞吐、低延迟和高性能的实时流计算框架，并且同时支持批处理和流处理。Flink的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及“精确一次”的状态一致性保障等。Flink不仅可以运行在包括 YARN、Mesos、Kubernetes等在内的多种资源管理框架上，还支持在裸机集群上独立部署。Flink目前已经在全球范围内得到了广泛的应用，大量企业已经开始大规模使用Flink作为企业的分布式大数据处理引擎。
本章首先给出Flink简介，并探讨为什么选择Flink以及Flink的典型应用场景；然后介绍Flink的统一数据处理、技术栈、工作原理、编程模型和应用程序结构；最后介绍Flink中的数据一致性。（节选自林子雨编著《Flink编程基础（Scala版）》）
继续阅读

林子雨老师 大数据

Zeppelin安装与使用教程

Zeppelin是Apache基金会下的一个开源框架，它提供了一个数据可视化的框架，是一个基于web的notebook。后台支持接入多种数据引擎，比如jdbc、spark、hive等。同时也支持多种语言进行交互式的数据分析，比如Scala、SQL、Python等等。本文从安装和使用两部分来介绍Zeppelin。
继续阅读

© 2014 厦大数据库实验室