投稿
  1. 购宝Home
  2. 投稿

阿里云端口开放无效（阿里云服务器80端口开启方法）

柳 • • 投稿

吐血整理，搭建了两遍，亲测可用！！！
我买的是阿里云2C4G的服务器，使用的是CentOS 7.7版本。在搭建过程中踩了不少坑，本篇文章希望对大家有用

CentOS 7.7安装Docker

查看内核版本（使用root用户登陆）

uname-a

把yum包更新到最新

yumupdate

安装需要的软件包

yuminstall-yyum-utilsdevice-mapper-persistent-datalvm2

设置yum源

sudoyum-config-manager--add-repohttps://download.docker.com/linux/centos/docker-ce.repo

创建目录

cd/mnt
mkdirdocker
cddocker

可以查看所有仓库中所有docker版本，并选择特定版本安装

yumlistdocker-ce--showduplicates|sort-r

安装Docker，命令：yum install docker-ce-版本号

yuminstalldocker-ce-18.06.3.ce

启动并加入开机启动

systemctlstartdocker
systemctlenabledocker

验证安装是否成功(有client和service两部分表示docker安装启动都成功了)

dockerversion

Ubuntu 18.04 安装Docker

创建目录

cd/mnt
mkdirdocker
cddocker

下载

wgethttps://mirrors.aliyun.com/docker-ce/linux/ubuntu/dists/bionic/pool/stable/amd64/containerd.io_1.2.6-3_amd64.deb
wgethttps://mirrors.aliyun.com/docker-ce/linux/ubuntu/dists/bionic/pool/stable/amd64/docker-ce-cli_19.03.9~3-0~ubuntu-bionic_amd64.deb
wgethttps://mirrors.aliyun.com/docker-ce/linux/ubuntu/dists/bionic/pool/stable/amd64/docker-ce_19.03.9~3-0~ubuntu-bionic_amd64.deb

安装

sudodpkg-i*.deb

启动

servicedockerstart

生成服务器、Hadoop镜像

获取centos7镜像

dockerpullcentos

查看镜像列表

dockerimages

安装SSH

cd/mnt/docker
mkdirssh
cdssh
viDockerfile

内容

FROMcentos
MAINTAINERdys

RUNyuminstall-yopenssh-serversudo
RUNsed-i's/UsePAMyes/UsePAMno/g'/etc/ssh/sshd_config
RUNyuminstall-yopenssh-clients

RUNecho"root:1234"|chpasswd
RUNecho"rootALL=(ALL)ALL">>/etc/sudoers
RUNssh-keygen-tdsa-f/etc/ssh/ssh_host_dsa_key
RUNssh-keygen-trsa-f/etc/ssh/ssh_host_rsa_key

RUNmkdir/var/run/sshd
EXPOSE22
CMD["/usr/sbin/sshd","-D"]

保存并退出

执行构建镜像的命令，新镜像命名为 centos7-ssh

dockerbuild-t="centos7-ssh".

基于 centos7-ssh 这个镜像启动三个容器

dockerrun-d--name=centos7.sshcentos7-ssh
dockerrun-d--name=centos7.ssh2centos7-ssh
dockerrun-d--name=centos7.ssh3centos7-ssh

构建Hadoop镜像

创建目录

cd/mnt/docker
mkdirhadoop
cdhadoop

下载jar包

//下载hadoop，构建镜像时使用
wgethttps://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
//下载jdk，构建镜像时使用
wget--no-cookies--no-check-certificate--header"Cookie:gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;oraclelicense=accept-securebackup-cookie""http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"

编辑DockerFile

viDockerfile

内容

FROMcentos7-ssh
ADDjdk-8u141-linux-x64.tar.gz/usr/local/
RUNmv/usr/local/jdk1.8.0_141/usr/local/jdk1.8
ENVJAVA_HOME/usr/local/jdk1.8
ENVPATH$JAVA_HOME/bin:$PATH

ADDhadoop-2.9.2.tar.gz/usr/local
RUNmv/usr/local/hadoop-2.9.2/usr/local/hadoop
ENVHADOOP_HOME/usr/local/hadoop
ENVPATH$HADOOP_HOME/bin:$PATH

RUNyuminstall-ywhichsudo

保存并退出

执行构建命令

dockerbuild-t="hadoop".

运行容器

dockerrun--namehadoop0--hostnamehadoop0-d-P-p50070:50070-p8088:8088hadoop
dockerrun--namehadoop1--hostnamehadoop1-d-Phadoop
dockerrun--namehadoop2--hostnamehadoop2-d-Phadoop

Hadoop 集群搭建

配置ll命令

vim~/.bashrc

内容

增加下面的配置

aliasll='ls-l'

保存退出

重新加载

source~/.bashrc

安装vim、net-tools

yuminstallnet-tools
yuminstallvim

修改每台服务器的 /etc/hosts

使用ifconfig命令查看自己的IP，改为自己服务器的IP

172.18.0.5hadoop0
172.18.0.6hadoop1
172.18.0.7hadoop2

修改时区

rm-rf/etc/localtime
ln-s/usr/share/zoneinfo/Asia/Shanghai/etc/localtime

SSH无密码登陆

在每台服务器上都执行以下命令，执行后会有多个输入提示，不用输入任何内容，全部直接回车即可

ssh-keygen

输入下面命令时，需要用到上面设置的密码1234

ssh-copy-id-i/root/.ssh/id_rsa-p22root@hadoop0
ssh-copy-id-i/root/.ssh/id_rsa-p22root@hadoop1
ssh-copy-id-i/root/.ssh/id_rsa-p22root@hadoop2

安装配置 hadoop

在 master 中执行

cd/usr/local/hadoop
mkdirtmphdfs
mkdirhdfs/datahdfs/name

配置core-site.xml

vim/usr/local/hadoop/etc/hadoop/core-site.xml

在 块儿中添加：

<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop0:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>

配置hdfs-site.xml

vim/usr/local/hadoop/etc/hadoop/hdfs-site.xml

在 块儿中添加：

<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop0:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

配置mapred-site.xml

这个文件默认不存在，需要从 mapred-site.xml.template 复制过来

cp/usr/local/hadoop/etc/hadoop/mapred-site.xml.template/usr/local/hadoop/etc/hadoop/mapred-site.xml

编辑文件

vim/usr/local/hadoop/etc/hadoop/mapred-site.xml

在 块儿中添加：

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop0:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop0:19888</value>
</property>

配置yarn-site.xml

vim/usr/local/hadoop/etc/hadoop/yarn-site.xml

在 块儿中添加：

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop0:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop0:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop0:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop0:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop0:8088</value>
</property>

配置slaves

vim/usr/local/hadoop/etc/hadoop/slaves

删除已有内容，添加：

hadoop1
hadoop2

配置hadoop-env.sh

vim/usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到 export JAVA_HOME=${JAVA_HOME}，改为自己JAVA_HOME的绝对路径

exportJAVA_HOME=/usr/local/jdk1.8

复制文件到 hadoop1,hadoop2

scp-r/usr/local/hadoophadoop1:/usr/local
scp-r/usr/local/hadoophadoop2:/usr/local

设置 hadoop 环境变量

在每台服务器上都执行：

vim~/.bashrc

增加内容

exportPATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

保存退出，重新加载资源

source~/.bashrc

启动 hadoop

在master启动hadoop，从节点会自动启动

初始化

hdfsnamenode-format

启动

hadoop-daemon.shstartnamenode
hadoop-daemon.shstartdatanode
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.shstarthistoryserver

测试

如果您使用的也是阿里云服务器，那需要在阿里云客户端调整安全组，阿里云默认只开放22端口，所以需要把50070、8088都开通阿里云使用Docker搭建Hadoop集群阿里云使用Docker搭建Hadoop集群

端口号.png

浏览器中访问：

http://服务器IP:50070/

阿里云使用Docker搭建Hadoop集群阿里云使用Docker搭建Hadoop集群

图片1.png

http://服务器IP:8088/

hdfs 操作

hdfsdfs-mkdir-p/usr/local/hadoop/input
hdfsdfs-put/usr/local/hadoop/etc/hadoop/kms*.xml/usr/local/hadoop/input

http://服务器IP:50070/，在文件浏览页面查看阿里云使用Docker搭建Hadoop集群阿里云使用Docker搭建Hadoop集群

验证hdfs.png

mapreduce 操作

hadoopjar/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jargrep/usr/local/hadoop/input/usr/local/hadoop/output'dfs[a-z.]+'

阿里云使用Docker搭建Hadoop集群阿里云使用Docker搭建Hadoop集群

验证mapreduce.png

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，请发送邮件至624739273@qq.com举报，一经查实，本站将立刻删除。
Like (0)
柳的头像柳
0 0

相关推荐

发表回复

Please Login to Comment
微信
微信
SHARE
TOP
话费电费9折起
要想花得少,就用购宝。话费电费9折起，官方公众号：购宝