[bigdata-012]部署CDH5 Hadoop 的伪分布式容器

发布时间：2020-12-31 01:09:56 所属栏目：大数据来源：网络整理

导读：1. CDH 伪分布式容器所谓伪分布式，就是在一个容器里，部署Hadoop集群的所有功能节点，主要用于开发和测试。 ? 2. 选择Hadoop镜像的两个条件： ??? 跟host做端口映射。 ??? 伪分布式Hadoop。 ? 3. pull image ??? docker pull ingensi/hadoop-cdh-pseudo:

1. CDH 伪分布式容器

所谓伪分布式，就是在一个容器里，部署Hadoop集群的所有功能节点，主要用于开发和测试。

2. 选择Hadoop镜像的两个条件： ??? 跟host做端口映射。 ??? 伪分布式Hadoop。

3. pull image ??? docker pull ingensi/hadoop-cdh-pseudo:cdh5 ??? 该镜像帮助文档： https://hub.docker.com/r/ingensi/hadoop-cdh-pseudo/

4. 运行这个镜像 docker run --name dck-hadoop-cdh5? -d -p 8020:8020 -p 50070:50070 -p 50470:50470 -p 8030:8030 -p 8031:8031 -p 8032:8032 -p 8033:8033 -p 8088:8088? ingensi/hadoop-cdh-pseudo:cdh5 这个命令，将HDFS namenode和YARN resourcemanager的端口和host的端口做了映射，暂时不对datanode,nodemanager,historyserver做端口映射，因为从对外功能上而言，对namenode和resourcemanager做映射就足够使用了。

5. 运行容器bash docker exec -it dck-hadoop-cdh5 bash

6. 在bash检查下进程 ps axu 能看到多个hadoop进程。也就是： USER?????? PID %CPU %MEM??? VSZ?? RSS TTY????? STAT START?? TIME COMMAND
hdfs????? 2339? 0.1? 2.8 1560444 229784 ?????? Sl?? 03:48?? 0:16 /usr/java/jdk1.7.0_65/bin/java -Dproc_namenode -Xmx1000m -Dhadoop.log.dir=/usr/lib/hadoop/logs -Dhadoop.log.file=hadoop.log
hdfs????? 2410? 0.1? 2.5 1543052 208128 ?????? Sl?? 03:48?? 0:16 /usr/java/jdk1.7.0_65/bin/java -Dproc_datanode -Xmx1000m -Dhadoop.log.dir=/usr/lib/hadoop/logs -Dhadoop.log.file=hadoop.log
yarn????? 2487? 0.5? 3.3 1735864 274596 ?????? Sl?? 03:48?? 0:50 /usr/java/jdk1.7.0_65/bin/java -Dproc_resourcemanager -Xmx1000m -Dhadoop.log.dir=/usr/lib/hadoop-yarn/logs -Dyarn.log.dir=/
yarn????? 2726? 0.3? 2.8 1588472 234676 ?????? Sl?? 03:48?? 0:29 /usr/java/jdk1.7.0_65/bin/java -Dproc_nodemanager -Xmx1000m -server -Dhadoop.log.dir=/usr/lib/hadoop-yarn/logs -Dyarn.log.d
mapred??? 2795? 0.1? 2.8 1561336 231624 ?????? Sl?? 03:48?? 0:12 /usr/java/jdk1.7.0_65/bin/java -Dproc_historyserver -Xmx1000m -Dhadoop.log.dir=/usr/lib/hadoop/logs -Dhadoop.log.file=hadoo
它们分别对应如下Hadoop功能节点：

HDFS: 1 namenode and 1 datanode
YARN: 1 resourcemanager,1 nodemanager and 1 historyserver (mapreduce)

7. 测试hdfs是否正常 ??? 切换到hdfs用户 ??? su hdfs ??? cd

??? 用vi编辑一个简单文本文件，任意输入两行即可。 ??? vi readme

??? 在hdfs上创建一个目录，以存放readme文件 ??? hdfs dfs -mkdir -p /user/hdfs/test

??? 将readme文件复制到这个目录 ? ? hdfs dfs -put readme /user/hdfs/test

??? 显示这个文件的内容 ??? hdfs dfs -cat /user/hdfs/test/readme

??? 如果上述步骤均能顺利执行，表明分布式文件系统功能正常。 ??? ??? 进一步测试，可以重启容器，或者主机，观察hadoop hdfs变化，重测上述流程。

（编辑：安卓应用网_ASP源码网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!