林子雨编著《大数据基础编程、实验和案例教程》教材第4章的代码

大数据学习路线图

林子雨编著《大数据基础编程、实验和案例教程》(教材官网)教材中的代码,在纸质教材中的印刷效果不是很好,可能会影响读者对代码的理解,为了方便读者正确理解代码或者直接拷贝代码用于上机实验,这里提供全书配套的所有代码。
查看教材所有章节的代码

第4章 HDF操作方法和基础编程

教材第88页

(温馨提示:代码框上方的复制代码按钮,也就是“两张A4纸图标”,用鼠标点击复制代码按钮,就可以把代码框中的代码复制到粘贴板,粘贴到其他地方。但是,有的浏览器可能不支持该功能)

  1. cd /usr/local/hadoop
  2. ./sbin/start-dfs.sh
Shell 命令
  1. cd /usr/local/hadoop
  2. ./bin/hdfs dfs
Shell 命令

教材第89页

  1. ./bin/hdfs dfs -help put
Shell 命令

教材第90页

  1. cd /usr/local/hadoop
  2. ./bin/hdfs dfs -mkdir -p /user/hadoop
Shell 命令
  1. ./bin/hdfs dfs -ls .
Shell 命令
  1. ./bin/hdfs dfs -ls /user/hadoop
Shell 命令
  1. ./bin/hdfs dfs -ls
Shell 命令
  1. ./bin/hdfs dfs -mkdir input
Shell 命令
  1. ./bin/hdfs dfs -mkdir /input
Shell 命令

教材第91页

  1. ./bin/hdfs dfs -rm -r /input
Shell 命令
Hadoop
Spark
XMU DBLAB
  1. ./bin/hdfs dfs -put /home/hadoop/myLocalFile.txt input
Shell 命令
  1. ./bin/hdfs dfs -ls input
Shell 命令
  1. ./bin/hdfs dfs -cat input/myLocalFile.txt
Shell 命令
  1. ./bin/hdfs dfs -get input/myLocalFile.txt /home/hadoop/下载
Shell 命令

教材第92页

  1. cd ~
  2. cd 下载
  3. ls
  4. cat myLocalFile.txt
Shell 命令
  1. ./bin/hdfs dfs -cp input/myLocalFile.txt /input
Shell 命令

教材第98页

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class HDFSFileIfExist {
    public static void main(String[] args){
        try{
            String fileName = "test";
            Configuration conf = new Configuration();
            conf.set("fs.defaultFS", "hdfs://localhost:9000");
            conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
            FileSystem fs = FileSystem.get(conf);
            if(fs.exists(new Path(fileName))){
                System.out.println("文件存在");
            }else{
                System.out.println("文件不存在");
            }

        }catch (Exception e){
            e.printStackTrace();
        }
    }
}
  1. cd /usr/local/hadoop
  2. ./sbin/start-dfs.sh
Shell 命令

教材第100页

  1. cd /usr/local/hadoop
  2. mkdir myapp
Shell 命令

教材第102页

  1. cd /usr/local/hadoop/myapp
  2. ls
Shell 命令
  1. cd /usr/local/hadoop
  2. ./bin/hadoop jar ./myapp/HDFSExample.jar
Shell 命令