Hadoop环境搭建

技术文章 1年前 (2020) 完美者
1,570 0

标签:bin   成功   bcd   font   seve   local   ssh   red   去掉   

Hadoop环境搭建

安装前准备

查看防火墙状态,若处于激活(inaction)状态,关闭防火墙

sudo ufw status

查看时间服务器是否运行,若NTP尚未安装就运行安装命令

dpkg -l | grep ntp			#检查是否安装
apt-get install ntp			#NTP安装

安装ssh和设置免密登录

1.安装ssh服务

ssh服务端openssh-server默认没有安装,所以要安装ssh服务

apt-get install openssh-server 	#安装ssh服务
/etc/init.d/ssh restart			#重启ssh服务

可以用 dpkg –l|grep ssh 查看是否有sever已经安装

安装后可以使用 ssh localhost 登录本机,发现登录时需要密码.

2.下面我们要设置免密登录.
  1. exit 退出刚才的ssh,进入 ~/.ssh 目录

  2. ssh-keygen -t rsa 生成密钥

  3. cat ./id_rsa.pub >> authorized_keys 将密钥追加到授权中

至此,免密登录设置完成,再次使用 ssh localhost 登录本机,就会发现不再提示输入密码,免密登录设置完成

安装Java

  1. 下载并解压压缩包

    tar -zxvf jdk-8u181-linux-x64.tar.gz -C ~

  2. 配置jdk环境变量

    vi ~/.bashrc

打开之后在末尾添加

export JAVA_HOME=~/jdk1.8.0_1712   	#自己的版本
export JRE_HOME=${JAVA_HOME}/jre	#
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/1ib
export PATH=${JAVA_HOME}/bin:$PATH

刷新使配置生效

source ~/.bashrc
  1. 检验是否安装成功

    java -version

Hadoop伪分布式安装

  1. 下载并解压Hadoop压缩包

    tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local

  2. 进入解压目录,将hadoop-2.7.3文件夹名称改成hadoop

    mv hadoop-2.7.3 hadoop

  3. 修改文件夹权限

    chown -R wz /usr/local/hadoop

  4. 修改配置文件 hadoop-env.sh

配置文件在路径/usr/local/hadoop/etc/hadoop下,在配置文件中找到export JAVA_HOME,修改为下:

# The java implementation to use.
export JAVA_HOME=/home/hadoop/jdk1.8.0_ 171		#cd ${JAVA_HOME} ; pwd
  1. 修改配置文件 core-site.xml

<configuration></configuration>之间增加如下图的内容:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
  1. 修改hdfs-site.xml文件,在<configuration></configuration>之间增加如下内容:


    dfs.replication


    1

    dfs.namenode.name.dir


    file:/usr/local/hadoop/tmp/dfs/name

    dfs.datanode.data.dir


    file:/usr/local/hadoop/tmp/dfs/data

    dfs.http.address


    0.0.0.0:50070

  2. 进入/usr/local/hadoop路径,输入如下指令进行格式化

    ./bin/hdfs namenode -format

  3. 验证是否安装成功

    ./sbin/start-dfs.sh #启动hdfs进程
    jps #查看进程(三个进程)

  4. 配置环境变量

为了可以在任意目录下使用hadoop命令,我们需要在-/.bashrc目录下配置hadoop的环境变量,使用vi命令打开/.bashrc文件:

$ vi ~/.bashre

在文件末尾添加如下代码,保存退出

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
source ~/.bashrc		#使配置生效
hadoop version			#验证

FAQ

  1. 编辑时按方向键出现ABCD: 更新vi编辑器

    apt-get install vim

  2. 执行./bin/hdfs namenode -format时报错:
    /home/wz/jdk1.8.0_181‘: not a valid identifier
    Error: JAVA_HOME is not set and could not be found.

打开/usr/local/hadoop/etc/hadoop/hadoop-env.sh去掉 JAVA_HOME之前的空格

Hadoop环境搭建

标签:bin   成功   bcd   font   seve   local   ssh   red   去掉   

原文地址:https://www.cnblogs.com/zhenwu9/p/13650189.html

版权声明:完美者 发表于 2020-09-17 21:43:01。
转载请注明:Hadoop环境搭建 | 完美导航

暂无评论

暂无评论...