Hadoop下载页面提供两种下载文件包,一个是已经编译好的(32位)Hadoop压缩包,另一个是Hadoop-src源代码压缩包。一般我们直接下载Hadoop压缩包直接使用即可。但是在Ubuntu 64位上成功运行Hadoop或执行Hadoop Shell命令,都会出现以下提醒:
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
这是因为官网提供的Hadoop压缩包是32位,而我们使用Linux系统是64位,这就导致系统本地库不一致的提醒。当然这个提醒,并不会影响Hadoop的正常使用。要解决这个方法,只需要下载Hadoop官网提供Hadoop-src源代码压缩包在本地64位系统上重新编译即可。
继续阅读
查看HDFS文件系统数据的三种方法
【版权声明:本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】
继续阅读
Ubuntu下MongoDB的安装(离线安装方式)
【版权声明:本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】
本教程详细指导大家如何在离线状态下安装MongoDB。如果网络状态极差,而已经从MongoDB官网下载了MongoDB的安装包,可以参考本教程。
继续阅读
Ubuntu下开启MongoDB用户权限
【版权声明:本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】
本教程详细指导大家如何开启并设置用户权限。MongoDB默认是没有开启用户权限的,如果直接在公网服务器上如此搭建MongoDB,那么所有人都可以直接访问并修改数据库数据了。 其实MongoDB本身有非常详细的安全配置准则,显然开发者也是想到了,然而他是将安全的任务推给用户去解决,这本身的策略就是偏向易用性的,对于安全性,则得靠边站了。
继续阅读
Ubuntu下MongoDB安装与使用教程
【版权声明:本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】
本指南介绍了MongoDB,并详细指引读者在Ubuntu下MongoDB的安装和使用。目前第一版教材上没有收纳本章内容,可以直接使用本教程进行学习。本教程在Ubuntu14.04下测试通过。
继续阅读
Linux Shell中的管道命令
Shell中管道命令操作符为"|",仅能处理前面的一个指令传出的正确输出信息,也就是标准输出的信息(没法处理错误信息)。然后传递给下一个命令,作为标准的输入。
macOS 安装Hbase-伪分布式配置
【版权声明:本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】
本指南详细指引读者在macOS系统环境下安装Hbase。请务必仔细阅读完厦门大学林子雨编著的《大数据技术原理与应用》第4章节,再结合本指南进行学习。
HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为 Java。它是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,为 Hadoop 提供类似于BigTable 规模的服务。因此,它可以容错地存储海量稀疏的数据。
本教程将指导如何在苹果macOS系统安装Hbase。
macOS 安装Hadoop教程-单机-伪分布式配置
【版权声明:本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】
本指南详细指引读者在macOS系统环境下安装Hadoop。请务必仔细阅读完厦门大学林子雨编著的《大数据技术原理与应用》第2章节,再结合本指南进行学习。
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算.本教程将指导如何用苹果macOS系统安装Hadoop。
解决Hadoop启动时,没有启动datanode
Hadoop在多次运行下列指令:
hadoop namenode -format
sbin/start-dfs.sh
经常会出现没有启动datanode的情况。
运行命令:
jps
发现没有datanode线程。
现给出原因和解决方案
macOS 安装Homebrew和常用命令
熟悉Ubuntu的同学一定了解ubuntu的apt-get命令。这强大的软件包管理系统使得在Ubuntu系统下安装软件十分方便。macOS系统同样拥有此类的软件包管理系统Homebrew. Homebrew 在macOS系统中安装hadoop、hbase起到重要作用。