数据库

Ubuntu安装Sqoop

Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目。
继续阅读

Ubuntu安装MySQL及常用操作

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,目前属于 Oracle 旗下产品。MySQL 最流行的关系型数据库管理系统,在 WEB 应用方面MySQL是最好的 RDBMS (Relational Database Management System,关系数据库管理系统) 应用软件之一。
继续阅读

Ubuntu安装hive,并配置mysql作为元数据库

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
继续阅读

Ubuntu下开启MongoDB用户权限

【版权声明:本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】

本教程详细指导大家如何开启并设置用户权限。MongoDB默认是没有开启用户权限的,如果直接在公网服务器上如此搭建MongoDB,那么所有人都可以直接访问并修改数据库数据了。 其实MongoDB本身有非常详细的安全配置准则,显然开发者也是想到了,然而他是将安全的任务推给用户去解决,这本身的策略就是偏向易用性的,对于安全性,则得靠边站了。
继续阅读

Ubuntu下MongoDB安装与使用教程

【版权声明:本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】

本指南介绍了MongoDB,并详细指引读者在Ubuntu下MongoDB的安装和使用。目前第一版教材上没有收纳本章内容,可以直接使用本教程进行学习。本教程在Ubuntu14.04下测试通过。
继续阅读

HBase的安装与运行

HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)。欲了解HBase的官方资讯,请访问HBase官方网站

继续阅读

Redis安装与运行

本篇博客将介绍在Window系统下如何安装和使用Redis,Ubuntu系统安装和使用Redis可以参考链接http://dblab.xmu.edu.cn/blog/1513/#more-1513

Redis简介

  Redis是一个key-value存储系统,即键值对非关系型数据库,和Memcached类似,目前正在被越来越多的互联网公司采用。本教程只是简易的教程,指导大家如何安装运行Redis以及简单地操作Redis。如果要深入学习Redis,可以参考文章末尾的链接。

  Redis 是一个高性能的key-value数据库。 redis的出现,很大程度补偿了memcached这类keyvalue存储的不足,在部分场合可以对关系数据库起到很好的补充作用。它提供了Python,Ruby,Erlang,PHP客户端,使用很方便。

继续阅读