ruoyu-chen / hadoop-docker Goto Github PK

我在服务器按照说明运行集群后，CPU 100%，有遇到过吗？

怎么单独用其他的application访问内部的hbase数据库,ip地址端口怎么暴露出来?

org.apache.hadoop.hdfs.server.protocol.DisallowedDatanodeException: Datanode denied communication with namenode because hostname cannot be resolved (ip=172.17.0.1, hostname=172.17.0.1): DatanodeRegistration(0.0.0.0:50010, datanodeUuid=9b235124-3b0c-4bfc-bf8c-b421fcd1ee57, infoPort=50075, infoSecurePort=0, ipcPort=50020, storageInfo=lv=-56;cid=CID-0aa8d0a2-aad0-4e07-a361-36b926bc2a9d;nsid=888616734;c=0)
at org.apache.hadoop.hdfs.server.blockmanagement.DatanodeManager.registerDatanode(DatanodeManager.java:863)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:4528)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.registerDatanode(NameNodeRpcServer.java:1285)
at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolServerSideTranslatorPB.registerDatanode(DatanodeProtocolServerSideTranslatorPB.java:96)
at org.apache.hadoop.hdfs.protocol.proto.DatanodeProtocolProtos$DatanodeProtocolService$2.callBlockingMethod(DatanodeProtocolProtos.java:28752)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:616)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:969)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2049)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2045)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2045)
^C

参考了很多其他的Dockerfile，使用Apache原生Hadoop最多，
不过在生产环境CDH用的还是比较多的，想知道为什么用Docker搭建的时候Apache的Hadoop反而更常用了？

作者有qq群吗？一起学习下？

我刚刚从业大数据。 主要使用 Spark, Kafka, Scala, PostgresQL.

我可不可以参与你这个 github 项目？学习，然后也慢慢作出贡献。

数据节点什么的都正常 yarn一跑东西就死了.....dfs也会死，如果起了spark都会死，非得重启，有时候hdfs ls都很卡。有时候cpu很高，大部分时候cpu 内存都不高 就是负载异常高 有时候能到三四百 系统直接卡死

有两个branch，一个centos6，一个centos7，但是README文件都是centos6

java.io.IOException: Cannot create directory /works/dfs/name/current
at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.clearDirectory(Storage.java:337)
at org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:548)
at org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:569)
at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:161)
at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:991)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1429)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1554)
17/05/19 17:15:52 ERROR namenode.NameNode: Failed to start namenode.
java.io.IOException: Cannot create directory /works/dfs/name/current
at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.clearDirectory(Storage.java:337)
at org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:548)
at org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:569)
at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:161)
at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:991)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1429)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1554)
17/05/19 17:15:52 INFO util.ExitUtil: Exiting with status 1

老师有没有进一步打算集成Flink image呢？

执行docker-compose exec spark-master jar cv0f /code/spark-libs.jar -C /root/spark/jars/ .
报错：
put: File /user/spark/share/lib/spark-libs.jar.COPYING could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.

rpc error: code = 2 desc = oci runtime error: exec failed: container_by peer""

　　如题，启动一个container时docker会自动分配一个IP，请问您是如何保证master存的三个slave的映射不变的呢？

请问是不是少安装zk了，这样是只能启动hadoop和hive，hbase需要zk

Suggestions:
二进制文件(tar.gz)改为wget或用户自己下载，否则会出标题错误。
可配置hadoop.version, spark.version等，除非配置方法大变，有新版本（或需要老版本）时只需修改此值即可。

你好，我在编译hadoop时会报如下错误
gzip: stdin: not in gzip format
tar: Child returned status 1
tar: Error is not recoverable: exiting now
ERROR: Service 'hadoop' failed to build: The command '/bin/sh -c wget https://github.com/ruoyu-chen/hadoop-docker/raw/master/dist/hadoop-2.7.2.tar.gz && tar -xzvf hadoop-2.7.2.tar.gz -C /root/ && mv /root/hadoop-2.7.2 $HADOOP_HOME && rm -rf hadoop-2.7.2.tar.gz && rm -rf $HADOOP_HOME/bin/.cmd && rm -rf $HADOOP_HOME/sbin/.cmd && rm -rf $HADOOP_HOME/sbin/all && rm -rf $HADOOP_CONF_DIR/.cmd && rm -rf $HADOOP_CONF_DIR/.template && rm -rf $HADOOP_CONF_DIR/*.example && wget https://github.com/ruoyu-chen/hadoop-docker/raw/master/dist/protobuf.tar.gz && tar -xzvf protobuf.tar.gz -C /root/ && rm -rf protobuf.tar.gz' returned a non-zero code: 2

我手动解压远dist目录下的gz包和用命令手动下载的包都报同样的错误，请问是不是那个文件有不完整导致的？

我把docker环境配到了云主机上，成功之后在浏览器访问50070端口能正常 其他的端口全都无法访问到ui界面 但是telnet端口号是可以连通的，是什么原因 求解答

先感谢这个repo ，非常方便的就搭建了一个集群。
希望抽空能把hive，hbase的配置完善了，
谢谢！

您好，能将mysql hive hadoop对外映射的端口 写到readme中么

在执行测试程序wordCount时，出现了

Input path does not exist: hdfs://hadoop-master:54310/in的错误

没有找到hbase