hdfs配置

标签:ast   config   usr   machine   命令   plugins   启动   ssh免密登录   一个   

二  HDFS部署      
主要步骤如下:
1. 配置Hadoop的安装环境;
2. 配置Hadoop的配置文件;
3. 启动HDFS服务;
4. 验证HDFS服务可用。
1‘  查看是否存在hadoop安装目录   ls /usr/cstor/hadoop  如果没有,利用工具从本地导入hadoop安装文件。
   查看jdk是否存在,如果没有同上方法导入  
2’  确认集群服务器之间可SSH免密登录
   使用ssh工具登录到每一台服务器,执行命令ssh 主机名,确认每台集群服务器均可SSH免密登录。方法查看我的博客 >> 
3‘  查看hadoop_env.sh 文件,此文件只需修改JAVA_HOME
      用vim编辑器修改此文件,将export JAVA_HOME=${JAVA_HOME}改为jdk的目录,例如在我的电脑上是export JAVA_HOME=/usr/local/jdk1.7.0_79/
4’  指定HDFS主节点
      此处需要配置文件 core-site.xml ,查看该文件,并标签之间修改如图所示的配置:     
5‘  拷贝该配置到集群其他子集上,首先查看你的集群所有子集
    输入命令  for x in cat ~/data/2/machines ; do echo $x ; scp -r /usr/cstor/hadoop/etc $x:/usr/cstor/hadoop ; done;  实现拷贝
6’  启动HDFS节点
      首先在master服务器上格式化主节点hdfs namenode -format
      其次配置slaves文件,将localhost修改为slave1~3;   
      最后在hadoop安装目录下统一启动HDFS;
      用jps 命令在各个子集检验是否启动节点成功;
7‘hdfs配置成功后可以在client上向HDFS上传文件:
   
三 、读写HDFS文件
1’   配置client服务器classpath
     (1) 使用ssh工具登录client服务器,执行命令vi /etc/profile,编辑该文件。Linux 中/etc/profile文件的改变会涉及到系统的环境,也就是有关Linux环境变量。修改设置Classpath的目的,在于告诉Java执行环境,在哪些目录下可以找到您所要执行的Java程序(.class文件)。

(2) 执行命令source /etc/profile,使刚才的环境变量修改生效;
2’  在client服务器编写HDFS写程序
(1)在client服务器上执行命令vi WriteFile.java,编写HDFS写文件程序: WriteFile.java
(2)编译并打包HDFS写程序
 使用javac编译刚刚编写的代码,并使用jar命令打包为hdpAction.jar
(3)执行HDFS写程序
在client服务器上使用hadoop jar命令执行hdpAction.jar:
查看是否已生成weather.txt文件,若已生成,则查看文件内容是否正确:
3‘  在client服务器编写HDFS读程序
(1)在client服务器上执行命令vi ReadFile.java,编写HDFS读WriteFile.txt文件程序:  ReadFile.java
(2)编译文件并打包,然后执行;

四  配置eclipase Hadoop插件并进行打包上传
1’  首先下载eclipse hadoop插件,解压为jar文件,将其放置在eclipse文件位置的plugins文件夹下,例如D:\eclipse-standard-kepler-SR2-win32\eclipse\plugins
2‘  配置本地的hadoop环境,需下载hadoop组件
3’  打开eclipase新建project查看是否已经有Map/Reduce Project的选项。第一次新建Map/Reduce项目时,需要指定hadoop解压后的位置(即第二部组件解压的位置),在新建时项目填写界面右中间有hadoop的路径填写;
4’  编写java文件,例如上述的ReadFile.java
5‘  打包成jar文件,右击项目的export的jar file,然后选择所需的文件打包成jar文件,(此步骤是重点)
6’  使用WinSCP、XManager或其它SSH工具的sftp工具上传刚刚生成的hdpAction.jar包至client服务器(我用的是工具),并在client服务器上使用hadoop jar命令执行hdpAction.jar,查看程序运行结果。  
   >运行该jar文件  hadoop jar ~/hdpAction.jar ReadFile

1 新建一个maven项目
打印根目录下的文件的名字
添加pom依赖
pom.xml代码
2 测试
TestHDFS.java
复制代码
package cn.itcast.hdfs;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
public class TestHDFS {
public static void main(String[] args) throws IOException {
Configuration conf = new Configuration();
//1首先需要一个hdfs的客户端对象
conf.set(“fs.defaultFS”, “hdfs://mini1:9000”);
FileSystem fs = FileSystem.get(conf);
RemoteIterator listFiles = fs.listFiles(new Path("/"), false);
//通过迭代器可以遍历出我们hdfs文件系统的根目录下的文件
while (listFiles.hasNext()) {
LocatedFileStatus fileStatus = listFiles.next();
Path path = fileStatus.getPath();
String fileName = path.getName();
System.out.println(fileName);
}
}
}
复制代码
运行结果如下图
在这里插入图片描述
在这里插入图片描述

 

参考博客:https://blog.csdn.net/weixin_44184668/article/details/90382414?

hdfs配置

标签:ast   config   usr   machine   命令   plugins   启动   ssh免密登录   一个   

原文地址:https://www.cnblogs.com/wsq666/p/14187632.html

版权声明:完美者 发表于 2020-12-30 11:10:24。
转载请注明:hdfs配置 | 完美导航

暂无评论

暂无评论...