林子雨编著《大数据基础编程、实验和案例教程》(教材官网)教材中的代码,在纸质教材中的印刷效果不是很好,可能会影响读者对代码的理解,为了方便读者正确理解代码或者直接拷贝代码用于上机实验,这里提供全书配套的所有代码。
查看教材所有章节的代码
第4章 HDF操作方法和基础编程
教材第88页
(温馨提示:代码框上方的复制代码按钮,也就是“两张A4纸图标”,用鼠标点击复制代码按钮,就可以把代码框中的代码复制到粘贴板,粘贴到其他地方。但是,有的浏览器可能不支持该功能)
cd /usr/local/hadoop
./sbin/start-dfs.sh
cd /usr/local/hadoop
./bin/hdfs dfs
教材第89页
./bin/hdfs dfs -help put
教材第90页
cd /usr/local/hadoop
./bin/hdfs dfs -mkdir -p /user/hadoop
./bin/hdfs dfs -ls .
./bin/hdfs dfs -ls /user/hadoop
./bin/hdfs dfs -ls
./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -mkdir /input
教材第91页
./bin/hdfs dfs -rm -r /input
Hadoop
Spark
XMU DBLAB
./bin/hdfs dfs -put /home/hadoop/myLocalFile.txt input
./bin/hdfs dfs -ls input
./bin/hdfs dfs -cat input/myLocalFile.txt
./bin/hdfs dfs -get input/myLocalFile.txt /home/hadoop/下载
教材第92页
cd ~
cd 下载
ls
cat myLocalFile.txt
./bin/hdfs dfs -cp input/myLocalFile.txt /input
教材第98页
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class HDFSFileIfExist {
public static void main(String[] args){
try{
String fileName = "test";
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
FileSystem fs = FileSystem.get(conf);
if(fs.exists(new Path(fileName))){
System.out.println("文件存在");
}else{
System.out.println("文件不存在");
}
}catch (Exception e){
e.printStackTrace();
}
}
}
cd /usr/local/hadoop
./sbin/start-dfs.sh
教材第100页
cd /usr/local/hadoop
mkdir myapp
教材第102页
cd /usr/local/hadoop/myapp
ls
cd /usr/local/hadoop
./bin/hadoop jar ./myapp/HDFSExample.jar