厦大数据库实验室博客

总结、分享、收获

实验室主页

Python hama kettle Hive Hadoop Java 逻辑回归 d3.js Ubuntu Storm flink HDFS Linux Spark Maven MapReduce Zeppelin 信息图 NoSQL 大数据 数据可视化 Pregel sqoop MySQL R LaTex Scala Unix环境高级编程 数据仓库 大数据，Spark 数据挖掘 CentOS HBase MongoDB 机器学习 Shell 图计算 Redis 林子雨 Unix VirturalBox 大数据技术原理与应用 Kafka

Kettle的安装和使用

Kettle简介

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
Kettle是“Kettle E.T.T.L. Envirnonment“只取首字母的缩写，这意味着它被设计用来帮助你实现你的 ETTL 需要：抽取、转换、装入和加载数据；翻译成中文名称应该叫水壶，名字的起源是开发者希望把各种数据放到一个壶里然后以一种指定的格式流出。
Spoon 是一个图形用户界面，它允许你运行转换或者任务，其中转换是用 Pan 工具来运行，任务是用 Kitchen 来运行。Pan 是一个数据转换引擎，它可以执行很多功能，例如：从不同的数据源读取、操作和写入数据。Kitchen 是一个可以运行利用 XML 或数据资源库描述的任务。通常任务是在规定的时间间隔内用批处理的模式自动运行。
继续阅读

用Node.js搭建一个简易的Web端文件词频统计动态网页

本教程将教导大家如何用Node.js语言搭建一个Web端文件词频统计动态网页。

教程需求

在网页中指定词频文件路径，利用网页点击提交，提交后程序自动运行WordCount的MapReduce程序的JAR包，对HDFS中的文件进行词频统计，并把统计结果显示在网页上。
继续阅读

HIVE-分区表详解以及实例

本文转自“博客园”，林子雨老师收藏到厦门大学数据库实验室博客中，原文链接地址是https://www.cnblogs.com/kouryoushine/p/7801924.html
HIVE中的分区表是什么，我们先看操作，然后再来体会。
继续阅读

在Eclipse中创建Dynamic Web Project

在学习大数据综合案例时，需要使用网页来呈现数据挖掘结果，因此，需要在Ubuntu中搭建Tomcat服务器，提供网页服务。同时，需要在Eclipse中建立网页项目Dynamic Web Project。Eclipse默认是不包含这个Web插件的，无法创建Dynamic Web Project，因此，需要额外安装相关插件，才能顺利创建Dynamic Web Project。本指南将引导读者一步步完成该过程。
继续阅读

在Ubuntu16.04中安装Tomcat8

Tomcat 服务器是一个免费的开放源代码的Web 应用服务器，属于轻量级应用服务器，在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试JSP 程序的首选。对于一个初学者来说，可以这样认为，当在一台机器上配置好Apache 服务器，可利用它响应HTML（标准通用标记语言下的一个应用）页面的访问请求。
继续阅读

© 2014 厦大数据库实验室