林子雨编著《大数据基础编程、实验和案例教程》教材第4章的代码

大数据学习路线图

林子雨编著《大数据基础编程、实验和案例教程》(教材官网)教材中的代码,在纸质教材中的印刷效果不是很好,可能会影响读者对代码的理解,为了方便读者正确理解代码或者直接拷贝代码用于上机实验,这里提供全书配套的所有代码。
查看教材所有章节的代码

第4章 HDF操作方法和基础编程

教材第88页

(温馨提示:代码框上方的复制代码按钮,也就是“两张A4纸图标”,用鼠标点击复制代码按钮,就可以把代码框中的代码复制到粘贴板,粘贴到其他地方。但是,有的浏览器可能不支持该功能)

cd /usr/local/hadoop
./sbin/start-dfs.sh
cd /usr/local/hadoop
./bin/hdfs dfs

教材第89页

 ./bin/hdfs dfs -help put

教材第90页

cd /usr/local/hadoop
./bin/hdfs dfs -mkdir -p /user/hadoop
 ./bin/hdfs dfs -ls .
 ./bin/hdfs dfs -ls /user/hadoop
 ./bin/hdfs dfs -ls
./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -mkdir /input

教材第91页

./bin/hdfs dfs -rm -r /input
Hadoop
Spark
XMU DBLAB
 ./bin/hdfs dfs -put /home/hadoop/myLocalFile.txt  input
./bin/hdfs dfs -ls input
./bin/hdfs dfs -cat input/myLocalFile.txt
./bin/hdfs dfs -get input/myLocalFile.txt  /home/hadoop/下载

教材第92页

cd ~
cd 下载
ls
cat myLocalFile.txt
 ./bin/hdfs dfs -cp input/myLocalFile.txt  /input

教材第98页

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class HDFSFileIfExist {
    public static void main(String[] args){
        try{
            String fileName = "test";
            Configuration conf = new Configuration();
            conf.set("fs.defaultFS", "hdfs://localhost:9000");
            conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
            FileSystem fs = FileSystem.get(conf);
            if(fs.exists(new Path(fileName))){
                System.out.println("文件存在");
            }else{
                System.out.println("文件不存在");
            }

        }catch (Exception e){
            e.printStackTrace();
        }
    }
}
cd /usr/local/hadoop
./sbin/start-dfs.sh

教材第100页

cd /usr/local/hadoop
mkdir myapp

教材第102页

cd /usr/local/hadoop/myapp
ls
cd /usr/local/hadoop
./bin/hadoop jar ./myapp/HDFSExample.jar