Centos7 安装CDH6.3.2 集群

标签:hue   x86   sysconfig   util   led   保存   pass   创建数据库   增加   

CDH软件准备

cdh6下载地址 https://archive.cloudera.com/cdh6/6.3.2/parcels/

技术图片

cm6下载地址 https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/

 

 

技术图片

 

 

 

 一、操作系统

1、虚拟机设置  设置VMnet8,NAT模式

技术图片

 

 技术图片

 

 虚拟机网络设置

技术图片

2、系统安装

     系统最小安装,设置IP地址,设置主机名称 ,如果未设置下面步骤也可处理

     主机名  IP

     cdh01  192.168.230.101

     cdh02  192.168.230.102

     cdh03  192.168.230.102

3、系统设置 (每一台主机)

1)设置主机名

查看当前名称
hostname
设置主机名称(重启后失效)
hostname cdh01


设置主机名称 (永久修改)
vi /etc/hostname
重新生效
reboot

 2)设置虚拟机固定IP

#修改虚拟机IP
vi /etc/sysconfig/network-scripts/ifcfg-ens33

#重启
service network restart

查看IP
ip addr

技术图片

 

3)关闭防火墙

关闭防火墙
systemctl stop firewalld.service
禁止开机启动
systemctl disable firewalld.service
查看防火墙状态
firewall-cmd --state

开启防火墙命令
systemctl start firewalld.service

技术图片

 

 4)配置主机映射

vi /etc/hosts
文件最后加入
192.168.230.101 cdh01
192.168.230.102 cdh02
192.168.230.103 cdh03

5)Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30

临时修改:
sysctl vm.swappiness=10
cat /proc/sys/vm/swappiness
这里的修改已经生效,但是如果我们重启了系统,又会变成30.

永久修改:

在/etc/sysctl.conf 文件里添加如下参数:
vm.swappiness=10
或者:
echo vm.swappiness=10>> /etc/sysctl.conf

6)启用透明大页面压缩设置

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
以禁用此设置,然后将同一命令添加到 
/etc/rc.local 
等初始化脚本中,以便在系统重启时予以设置。
vi /etc/rc.local

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

 

4、设置SSH免密码登陆

参考 https://www.cnblogs.com/xuchen0117/p/12443347.html

 

二、软件安装

1、JDK安装 安装位置  /usr/java/jdk版本号. (所有节点)

参考 https://www.cnblogs.com/xuchen0117/p/12939391.html

2、NTP安装 (所有节点)

参考 https://www.cnblogs.com/xuchen0117/p/13455470.html

3、HTTPD安装  (主节点)

参考 https://www.cnblogs.com/xuchen0117/p/13455585.html

安装后将CM6文件复制,并能在浏览器访问

#进入httpd目录
cd /var/www/html/ 

#创建目录cm6,上传文件
mkdir cm6

最终效果与文件

技术图片

4、createrepo安装 (主节点)

参考 https://www.cnblogs.com/xuchen0117/p/13455585.html

安装后

#进入到cm6安装包的httpd资源位置
cd /var/www/html/cm6
#创建yum源的描述meta,执行后多一个文件夹
createrepo .

[root@cdh03 cloudera-repos]# cd /var/www/html
[root@cdh03 html]# mkdir cm6 
[root@cdh03 html]# cd cm6
[root@cdh03 cm6]# createrepo .
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 1 pkgs
Spawning worker 2 with 1 pkgs
Spawning worker 3 with 1 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
[root@cdh03 cm6]# 

 

每台服务器上增加以下内容到文件: 

[root@cdh03 cm6]# cat /etc/yum.repos.d/cloudera-repo.repo
[cloudera-repo]
name=cloudera-repo
baseurl=http://192.168.43.103/cm6/
enabled=1
gpgcheck=0

查看yum配置是否生效

yum clean all && yum makecache
yum clean all
yum repolis

[root@cdh03 cm6]# yum clean all
已加载插件:fastestmirror
正在清理软件源: base cloudera-repo extras updates
Cleaning up list of fastest mirrors
[root@cdh03 cm6]# yum repolist
已加载插件:fastestmirror
Determining fastest mirrors
 * base: mirrors.nju.edu.cn
 * extras: mirror01.idc.hinet.net
 * updates: mirror01.idc.hinet.net
base                                                                                            | 3.6 kB  00:00:00     
cloudera-repo                                                                                   | 2.9 kB  00:00:00     
http://mirror01.idc.hinet.net/centos/7.8.2003/extras/x86_64/repodata/repomd.xml: [Errno 12] Timeout on http://mirror01.idc.hinet.net/centos/7.8.2003/extras/x86_64/repodata/repomd.xml: (28, ‘Operation too slow. Less than 1000 bytes/sec transferred the last 30 seconds‘)
正在尝试其它镜像。
extras                                                                                          | 2.9 kB  00:00:00     
updates                                                                                         | 2.9 kB  00:00:00     
(1/5): cloudera-repo/primary_db                                                                 | 6.6 kB  00:00:00     
(2/5): base/7/x86_64/group_gz                                                                   | 153 kB  00:00:00     
(3/5): updates/7/x86_64/primary_db                                                              | 3.8 MB  00:00:01     
(4/5): base/7/x86_64/primary_db                                                                 | 6.1 MB  00:00:05     
(5/5): extras/7/x86_64/primary_db                                                               | 206 kB  00:01:15     
源标识                                                 源名称                                                    状态
base/7/x86_64                                          CentOS-7 - Base                                           10,070
cloudera-repo                                          cloudera-repo                                                  4
extras/7/x86_64                                        CentOS-7 - Extras                                            413
updates/7/x86_64                                       CentOS-7 - Updates                                         1,112
repolist: 11,599
[root@cdh03 cm6]#

 

5、MySql安装 (主节点)

MySql5.7 参考 https://www.cnblogs.com/xuchen0117/p/13470690.html (本文使用MySql5.7.30)

MySql8 参考 https://www.cnblogs.com/xuchen0117/p/13456037.html

注:CDH官方给的有一份推荐的MySQL的配置内容

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
symbolic-links = 0
key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M
#log_bin should be on a disk with enough free space.
#Replace /var/lib/mysql/mysql_binary_log with an appropriate path for your
#system and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log
#In later versions of MySQL, if you enable the binary log and do not set
#a server_id, MySQL will not start. The server_id must be unique within
#the replicating group.
server_id=1
binlog_format = mixed
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M
# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
sql_mode=STRICT_ALL_TABLES

创建CDH所需要的数据库 

根据所需要安装的服务参照下表创建对应的数据库以及数据库用户,数据库必须使用utf8编码,创建数据库时要记录好用户名及对应密码

服务名 数据库名 用户名
Cloudera Manager Server scm scm
Activity Monitor amon amon
Reports Manager rman rman
Hue hue hue
Hive Metastore Server metastore hive
Sentry Server sentry sentry
Cloudera Navigator Audit Server nav nav
Cloudera Navigator Metadata Server navms navms
Oozie oozie oozie

创建数据库及对应用户

# scm
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO scm@% IDENTIFIED BY scm;

# amon
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON amon.* TO amon@% IDENTIFIED BY amon;

# rman
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON rman.* TO rman@% IDENTIFIED BY rman;

# hue
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; 
GRANT ALL ON hue.* TO hue@% IDENTIFIED BY hue;

# hive
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON metastore.* TO hive@% IDENTIFIED BY hive;

# sentry
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;   
GRANT ALL ON sentry.* TO sentry@% IDENTIFIED BY sentry;

# nav
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;      
GRANT ALL ON nav.* TO nav@% IDENTIFIED BY nav;

# navms
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON navms.* TO navms@% IDENTIFIED BY navms;

# oozie
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON oozie.* TO oozie@% IDENTIFIED BY oozie;

# flush
FLUSH PRIVILEGES;

注:MySql8.0命令注意

MySQL 8.0已经不支持下面这种命令写法
grant all privileges on *.* to root@"%" identified by ".";

all privileges:表示将所有权限授予给用户。也可指定具体的权限,如:SELECT、CREATE、DROP等。
on:表示这些权限对哪些数据库和表生效,格式:数据库名.表名,这里写“*”表示所有数据库,所有表。如果我要指定将权限应用到test库的user表中,可以这么写:test.user
to:将权限授予哪个用户。格式:”用户名”@”登录IP或域名”。%表示没有限制,在任何主机都可以登录。比如:”yangxin”@”192.168.0.%”,表示yangxin这个用户只能在192.168.0IP段登录
identified by:指定用户的登录密码

正确的写法是先创建用户
CREATE USER root@% IDENTIFIED BY Hadoop3!;
再给用户授权
grant all privileges on *.* to root@% ;

CREATE USER scm@% IDENTIFIED BY scm;
grant all privileges on scm.* to scm@% ;
CREATE USER amon@% IDENTIFIED BY amon;
grant all privileges on amon.* to amon@% ;
CREATE USER rman@% IDENTIFIED BY rman;
grant all privileges on rman.* to rman@% ;

CREATE USER hue@% IDENTIFIED BY hue;
grant all privileges on hue.* to hue@% ;
CREATE USER metastore@% IDENTIFIED BY metastore;
grant all privileges on metastore.* to metastore@% ;
CREATE USER sentry@% IDENTIFIED BY sentry;
grant all privileges on sentry.* to sentry@% ;

CREATE USER nav@% IDENTIFIED BY nav;
grant all privileges on nav.* to nav@% ;
CREATE USER navms@% IDENTIFIED BY navms;
grant all privileges on navms.* to navms@% ;
CREATE USER oozie@% IDENTIFIED BY oozie;
grant all privileges on oozie.* to oozie@% ;

注意:用户赋权问题

#创建表
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

#创建用户并赋权
 GRANT ALL ON scm.* TO scm@% IDENTIFIED BY scm;
报错:
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
查看权限规则
SHOW VARIABLES LIKE validate_password%;

#查看权限是否正确
SHOW GRANTS FOR myscm@%;
+------------------------------------------------+
| Grants for myscm@%                             |
+------------------------------------------------+
| GRANT USAGE ON *.* TO myscm@%              |
| GRANT ALL PRIVILEGES ON `scm`.* TO myscm@% |
+------------------------------------------------+

关于 mysql 密码策略相关参数;
1)、validate_password_length  固定密码的总长度;
2)、validate_password_dictionary_file 指定密码验证的文件路径;
3)、validate_password_mixed_case_count  整个密码中至少要包含大/小写字母的总个数;
4)、validate_password_number_count  整个密码中至少要包含阿拉伯数字的个数;
5)、validate_password_policy 指定密码的强度验证等级,默认为 MEDIUM;
关于 validate_password_policy 的取值:
0/LOW:只验证长度;
1/MEDIUM:验证长度、数字、大小写、特殊字符;
2/STRONG:验证长度、数字、大小写、特殊字符、字典文件;
6)、validate_password_special_char_count 整个密码中至少要包含特殊字符的个数;set global validate_password_policy=LOW;set global validate_password_length=1;
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO myscm@% IDENTIFIED BY myscm;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON metastore.* TO metastore@% IDENTIFIED BY metastore;

6、MySql驱动

将Mysql驱动包mysql-connector-java-8.0.16.jar拷贝到每台服务器下的目录: /usr/share/java/  并修改名称

cp mysql-connector-java-8.0.16.jar /usr/share/java/mysql-connector-java.jar

 

 

三、CDH安装 (只在CM Server节点)

1、安装Cloudera Manager Server

# 安装 cm manager(只需在server节点安装)
yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

[root@cdh03 software]# yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
已加载插件:fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirrors.nju.edu.cn
 * extras: mirror01.idc.hinet.net
 * updates: mirror01.idc.hinet.net
正在解决依赖关系
--> 正在检查事务
---> 软件包 cloudera-manager-agent.x86_64.0.6.3.1-1466458.el7 将被 安装
cloudera-repo/filelists_db                                                                      | 102 kB  00:00:00     
--> 正在处理依赖关系 python-psycopg2,它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
base/7/x86_64/filelists_db                                                                      | 7.1 MB  00:00:02     
--> 正在处理依赖关系 psmisc,它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
--> 正在处理依赖关系 portmap,它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
--> 正在处理依赖关系 openssl-devel,它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
--> 正在处理依赖关系 mod_ssl,它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
--> 正在处理依赖关系 cyrus-sasl-plain,它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
--> 正在处理依赖关系 cyrus-sasl-gssapi,它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
--> 正在处理依赖关系 bind-utils,它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
updates/7/x86_64/filelists_db                                                                   | 2.1 MB  00:00:00     
--> 正在处理依赖关系 MySQL-python,它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
--> 正在处理依赖关系 /lib/lsb/init-functions,它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
extras/7/x86_64/filelists_db                                                                    | 217 kB  00:01:34     
--> 正在处理依赖关系 libpq.so.5()(64bit),它被软件包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64 需要
---> 软件包 cloudera-manager-daemons.x86_64.0.6.3.1-1466458.el7 将被 安装
---> 软件包 cloudera-manager-server.x86_64.0.6.3.1-1466458.el7 将被 安装
--> 正在检查事务
---> 软件包 MySQL-python.x86_64.0.1.2.5-1.el7 将被 安装
--> 正在处理依赖关系 libmysqlclient.so.18(libmysqlclient_18)(64bit),它被软件包 MySQL-python-1.2.5-1.el7.x86_64 需要
--> 正在处理依赖关系 libmysqlclient.so.18()(64bit),它被软件包 MySQL-python-1.2.5-1.el7.x86_64 需要
---> 软件包 bind-utils.x86_64.32.9.11.4-16.P2.el7_8.6 将被 安装
--> 正在处理依赖关系 bind-libs-lite(x86-64) = 32:9.11.4-16.P2.el7_8.6,它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要
--> 正在处理依赖关系 bind-libs(x86-64) = 32:9.11.4-16.P2.el7_8.6,它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要
--> 正在处理依赖关系 liblwres.so.160()(64bit),它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要
--> 正在处理依赖关系 libisccfg.so.160()(64bit),它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要
--> 正在处理依赖关系 libisc.so.169()(64bit),它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要
--> 正在处理依赖关系 libirs.so.160()(64bit),它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要
--> 正在处理依赖关系 libdns.so.1102()(64bit),它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要
--> 正在处理依赖关系 libbind9.so.160()(64bit),它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要
--> 正在处理依赖关系 libGeoIP.so.1()(64bit),它被软件包 32:bind-utils-9.11.4-16.P2.el7_8.6.x86_64 需要
---> 软件包 cyrus-sasl-gssapi.x86_64.0.2.1.26-23.el7 将被 安装
---> 软件包 cyrus-sasl-plain.x86_64.0.2.1.26-23.el7 将被 安装
---> 软件包 mod_ssl.x86_64.1.2.4.6-93.el7.centos 将被 安装
---> 软件包 openssl-devel.x86_64.1.1.0.2k-19.el7 将被 安装
--> 正在处理依赖关系 zlib-devel(x86-64),它被软件包 1:openssl-devel-1.0.2k-19.el7.x86_64 需要
--> 正在处理依赖关系 krb5-devel(x86-64),它被软件包 1:openssl-devel-1.0.2k-19.el7.x86_64 需要
---> 软件包 postgresql-libs.x86_64.0.9.2.24-4.el7_8 将被 安装
---> 软件包 psmisc.x86_64.0.22.20-16.el7 将被 安装
---> 软件包 python-psycopg2.x86_64.0.2.5.1-4.el7 将被 安装
---> 软件包 redhat-lsb-core.x86_64.0.4.1-27.el7.centos.1 将被 安装
--> 正在处理依赖关系 redhat-lsb-submod-security(x86-64) = 4.1-27.el7.centos.1,它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要
--> 正在处理依赖关系 spax,它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要
--> 正在处理依赖关系 /usr/bin/time,它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要
--> 正在处理依赖关系 /usr/bin/lpr,它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要
--> 正在处理依赖关系 /usr/bin/lp,它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要
--> 正在处理依赖关系 /usr/bin/bc,它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要
--> 正在处理依赖关系 /usr/bin/batch,它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要
--> 正在处理依赖关系 /usr/bin/at,它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要
--> 正在处理依赖关系 /bin/ed,它被软件包 redhat-lsb-core-4.1-27.el7.centos.1.x86_64 需要
---> 软件包 rpcbind.x86_64.0.0.2.0-49.el7 将被 安装
--> 正在处理依赖关系 libtirpc >= 0.2.4-0.7,它被软件包 rpcbind-0.2.0-49.el7.x86_64 需要
--> 正在处理依赖关系 libtirpc.so.1()(64bit),它被软件包 rpcbind-0.2.0-49.el7.x86_64 需要
--> 正在检查事务
---> 软件包 GeoIP.x86_64.0.1.5.0-14.el7 将被 安装
--> 正在处理依赖关系 geoipupdate,它被软件包 GeoIP-1.5.0-14.el7.x86_64 需要
---> 软件包 at.x86_64.0.3.1.13-24.el7 将被 安装
---> 软件包 bc.x86_64.0.1.06.95-13.el7 将被 安装
---> 软件包 bind-libs.x86_64.32.9.11.4-16.P2.el7_8.6 将被 安装
--> 正在处理依赖关系 bind-license = 32:9.11.4-16.P2.el7_8.6,它被软件包 32:bind-libs-9.11.4-16.P2.el7_8.6.x86_64 需要
---> 软件包 bind-libs-lite.x86_64.32.9.11.4-16.P2.el7_8.6 将被 安装
---> 软件包 cups-client.x86_64.1.1.6.3-43.el7 将被 安装
---> 软件包 ed.x86_64.0.1.9-4.el7 将被 安装
---> 软件包 krb5-devel.x86_64.0.1.15.1-46.el7 将被 安装
--> 正在处理依赖关系 libkadm5(x86-64) = 1.15.1-46.el7,它被软件包 krb5-devel-1.15.1-46.el7.x86_64 需要
--> 正在处理依赖关系 libverto-devel,它被软件包 krb5-devel-1.15.1-46.el7.x86_64 需要
--> 正在处理依赖关系 libselinux-devel,它被软件包 krb5-devel-1.15.1-46.el7.x86_64 需要
--> 正在处理依赖关系 libcom_err-devel,它被软件包 krb5-devel-1.15.1-46.el7.x86_64 需要
--> 正在处理依赖关系 keyutils-libs-devel,它被软件包 krb5-devel-1.15.1-46.el7.x86_64 需要
---> 软件包 libtirpc.x86_64.0.0.2.4-0.16.el7 将被 安装
---> 软件包 mariadb-libs.x86_64.1.5.5.65-1.el7 将被 安装
---> 软件包 redhat-lsb-submod-security.x86_64.0.4.1-27.el7.centos.1 将被 安装
---> 软件包 spax.x86_64.0.1.5.2-13.el7 将被 安装
---> 软件包 time.x86_64.0.1.7-45.el7 将被 安装
---> 软件包 zlib-devel.x86_64.0.1.2.7-18.el7 将被 安装
--> 正在检查事务
---> 软件包 bind-license.noarch.32.9.11.4-16.P2.el7_8.6 将被 安装
---> 软件包 geoipupdate.x86_64.0.2.5.0-1.el7 将被 安装
---> 软件包 keyutils-libs-devel.x86_64.0.1.5.8-3.el7 将被 安装
---> 软件包 libcom_err-devel.x86_64.0.1.42.9-17.el7 将被 安装
---> 软件包 libkadm5.x86_64.0.1.15.1-46.el7 将被 安装
---> 软件包 libselinux-devel.x86_64.0.2.5-15.el7 将被 安装
--> 正在处理依赖关系 libsepol-devel(x86-64) >= 2.5-10,它被软件包 libselinux-devel-2.5-15.el7.x86_64 需要
--> 正在处理依赖关系 pkgconfig(libsepol),它被软件包 libselinux-devel-2.5-15.el7.x86_64 需要
--> 正在处理依赖关系 pkgconfig(libpcre),它被软件包 libselinux-devel-2.5-15.el7.x86_64 需要
---> 软件包 libverto-devel.x86_64.0.0.2.5-4.el7 将被 安装
--> 正在检查事务
---> 软件包 libsepol-devel.x86_64.0.2.5-10.el7 将被 安装
---> 软件包 pcre-devel.x86_64.0.8.32-17.el7 将被 安装
--> 解决依赖关系完成

依赖关系解决

=======================================================================================================================
 Package                              架构             版本                              源                       大小
=======================================================================================================================
正在安装:
 cloudera-manager-agent               x86_64           6.3.1-1466458.el7                 cloudera-repo            10 M
 cloudera-manager-daemons             x86_64           6.3.1-1466458.el7                 cloudera-repo           1.1 G
 cloudera-manager-server              x86_64           6.3.1-1466458.el7                 cloudera-repo            11 k
为依赖而安装:
 GeoIP                                x86_64           1.5.0-14.el7                      base                    1.5 M
 MySQL-python                         x86_64           1.2.5-1.el7                       base                     90 k
 at                                   x86_64           3.1.13-24.el7                     base                     51 k
 bc                                   x86_64           1.06.95-13.el7                    base                    115 k
 bind-libs                            x86_64           32:9.11.4-16.P2.el7_8.6           updates                 156 k
 bind-libs-lite                       x86_64           32:9.11.4-16.P2.el7_8.6           updates                 1.1 M
 bind-license                         noarch           32:9.11.4-16.P2.el7_8.6           updates                  90 k
 bind-utils                           x86_64           32:9.11.4-16.P2.el7_8.6           updates                 259 k
 cups-client                          x86_64           1:1.6.3-43.el7                    base                    152 k
 cyrus-sasl-gssapi                    x86_64           2.1.26-23.el7                     base                     41 k
 cyrus-sasl-plain                     x86_64           2.1.26-23.el7                     base                     39 k
 ed                                   x86_64           1.9-4.el7                         base                     72 k
 geoipupdate                          x86_64           2.5.0-1.el7                       base                     35 k
 keyutils-libs-devel                  x86_64           1.5.8-3.el7                       base                     37 k
 krb5-devel                           x86_64           1.15.1-46.el7                     base                    272 k
 libcom_err-devel                     x86_64           1.42.9-17.el7                     base                     32 k
 libkadm5                             x86_64           1.15.1-46.el7                     base                    179 k
 libselinux-devel                     x86_64           2.5-15.el7                        base                    187 k
 libsepol-devel                       x86_64           2.5-10.el7                        base                     77 k
 libtirpc                             x86_64           0.2.4-0.16.el7                    base                     89 k
 libverto-devel                       x86_64           0.2.5-4.el7                       base                     12 k
 mariadb-libs                         x86_64           1:5.5.65-1.el7                    base                    759 k
 mod_ssl                              x86_64           1:2.4.6-93.el7.centos             base                    113 k
 openssl-devel                        x86_64           1:1.0.2k-19.el7                   base                    1.5 M
 pcre-devel                           x86_64           8.32-17.el7                       base                    480 k
 postgresql-libs                      x86_64           9.2.24-4.el7_8                    updates                 234 k
 psmisc                               x86_64           22.20-16.el7                      base                    141 k
 python-psycopg2                      x86_64           2.5.1-4.el7                       base                    132 k
 redhat-lsb-core                      x86_64           4.1-27.el7.centos.1               base                     38 k
 redhat-lsb-submod-security           x86_64           4.1-27.el7.centos.1               base                     15 k
 rpcbind                              x86_64           0.2.0-49.el7                      base                     60 k
 spax                                 x86_64           1.5.2-13.el7                      base                    260 k
 time                                 x86_64           1.7-45.el7                        base                     30 k
 zlib-devel                           x86_64           1.2.7-18.el7                      base                     50 k

事务概要
=======================================================================================================================
安装  3 软件包 (+34 依赖软件包)

总下载量:1.1 G
安装大小:1.4 G

完成后  /opt/cloudera/ 目录会有文件生成

技术图片

 

 建立CM的数据库(执行初始化脚本)

技术图片

 

sh scm_prepare_database.sh mysql scm scm scm 

技术图片

2、配置本地Parcel存储库

Cloudera Manager Server安装完成后,进入到本地Parcel存储库目录:
cd /opt/cloudera/parcel-repo
将CDH文件上传到此目录

#最终/opt/cloudera/parcel-repo目录内容如下:
  [root@cdh03 parcel-repo]# ll
  总用量 2033432
  -rw-r--r-- 1 root root 2082186246 8月 8 01:53 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
  -rw-r--r-- 1 root root 40 8月 8 01:52 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
  -rw-r--r-- 1 root root 64 8月 8 01:52 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256
  -rw-r--r-- 1 root root 33887 8月 8 01:52 manifest.json

3、启动ClouderaManagerServer,并登录到ClouderaManager管理控制台

#可以查看执行情况
journalctl -xe

1) 启动ClouderaManagerServer ,启动时,会创建SCM表

systemctl start cloudera-scm-server

2)  等待ClouderaManagerServer启动几分钟。要观察启动过程,请在ClouderaManagerServer主机上运行以下命令

sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

当看到这个日志条目时,Cloudera Manager管理控制台准备就绪:

2020-08-11 12:28:49,440 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.

3)  在web浏览器中

 技术图片

 

 4) 登录到Cloudera Manager管理控制台。默认凭据是:
Username: admin
Password: admin

 

欢迎页面

首先是Cloudera Manager的欢迎页面,点击页面右下角的【继续】按钮进行下一步:

技术图片

接受条款

勾选接受条款,点击【继续】进行下一步:

技术图片

 

 

第二个欢迎界面

选择版本以后会出现第二个欢迎界面,不过这个是安装集群的欢迎页:

技术图片

选择主机

这一步是要搜索并选择用于安装CDH集群的主机,在主机名称后面的输入框中输入各个节点的hostname,中间使用英文逗号分隔开,然后点击搜索,在结果列表中勾选要安装CDH的节点即可:

技术图片

 

 技术图片

 

 

指定存储库

Cloudera Manager Agent

这里选择自定义,填写上面使用httpd搭建好的Cloudera Manager YUM 库URL

技术图片

 

 

CDH and other software

如果之前的【配置本地Parcel存储库】步骤操作无误的话,这里会自动选择【使用Parcel】,并加载出CDH版本,确认无误后点击【继续】:

技术图片

JDK安装选项

这一步骤就不再勾选安装JDK了,因为在环境准备部分已经安装过了。取消勾选,然后继续:

技术图片

SSH登录配置

用于配置集群主机之间的SSH登录,填写root用户的密码,根据集群配置填写合适的【同时安装数量】值即可:

技术图片

安装Agent

到这一步会自动进行节点Agent的安装,稍等一会儿,即可安装完成:

技术图片

 

 技术图片

安装Parcels

这一步同样是自动安装,分配步骤的速度主要取决于网络环境,耐心等待即可:

技术图片

 

 技术图片 

主机检查

等待检查完成即可:

技术图片

 

 技术图片

 

 查看明细

技术图片

 

 技术图片

 

 注意问题

1、Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf,以在重启后保存该设置。您可以继续进行安装,但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响:

解决方案

2、已启用透明大页面压缩,可能会导致重大性能问题。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置,然后将同一命令添加到 /etc/rc.local 等初始化脚本中,以便在系统重启时予以设置。以下主机将受到影响:

解决方案

3、时间不同步

解决方案

执行后,再次检查

技术图片

安装CDH集群

选择服务类型

技术图片

角色分配

CDH会自动给出一个角色分配,如果觉得不合理,我们可以手动调整一下,注意角色分配均衡:

技术图片

数据库设置

安装HIVE,只要配置HIVE数据库配置

技术图片

 

审核更改

技术图片

 

 技术图片

 

 开始安装

技术图片

 

 技术图片

 

 安装完成

技术图片

 

 

 

设置外部可以访问虚拟机

技术图片

 

 技术图片

 

 

 

 

Centos7 安装CDH6.3.2 集群

标签:hue   x86   sysconfig   util   led   保存   pass   创建数据库   增加   

原文地址:https://www.cnblogs.com/xuchen0117/p/13492803.html

版权声明:完美者 发表于 2020-08-13 12:43:59。
转载请注明:Centos7 安装CDH6.3.2 集群 | 完美导航

暂无评论

暂无评论...