SpringCloud基础框架搭建 –7 集成hadoop相关应用-环境

这是系列搭建springcloud基础框架的文章,内容包括集成shiro、Mysql主从、seata、activiti、drools、hadoop大数据常用组件、keepalive+nginx https配置等;

https://blog.csdn.net/cczxcce/article/details/111170945?ydreferer=aHR0cHM6Ly9jbi5iaW5nLmNvbS8%3D

参考实例;
https://blog.csdn.net/yuyuyuyo/article/details/119181123 (案例)
https://blog.csdn.net/weixin_46293354/article/details/111500903 (大数据思考,组件介绍)
https://blog.csdn.net/u010158540/article/details/116945862 (大数据实例)
————–
Mac 上安装;
1)直接在 mac 的 docker desktop 安装centos,不能使用 systemctl,提示 d-bus 找不到目录,或都权限禁止的问题;
2)使用 privileged 或 /sbin/init、/usr/sbin/init 也是一样;
使用在 mac 上安装 vmware fushion 13 (网上上找序列号sn,可用)
3)使用 iterm2 访问 vmware centos7,类似 xshell 工具;

登录命令: ssh root@xxx.xxx.xxx.xxx (回车,输入登录密码)
Hadoop 安装参考 :docker 安装 hadoop .note 以及 docker 搭建 hadoop+spark环境第一步.note
出现问题:
1)配置好本地 hadoop 容器,作为基础镜像 commit在本地;docker images 有该imag镜像,不需 push 远程仓库;
2)使用该基础镜像,如果不用安装其他软件,就不需要指定 -v ;
3)只需要在 masnter 的 run 命令,指定 50070 映射端口,slave1,slave2 不需要;
4)ssh 免密登录,只需要master 到 slavex,不用配置 slavex 到 master;
5)hadoop SHUTDOWN_MSG: Shutting down NameNode at master/172.17.0.2

这是master 执行 /.hdfs namenode -format 最后的提示,这个不影响
6)可能会出现 master 上 ssh slave1,然后连接到 slave2 的情况,好像只能全都重启;
7)可能也得将容器内 /etc/hosts 上 localhost 的记录注释掉;
8)当服务器或容器关闭重启后,如果是正常关闭的,只需 /sbin/start-all.sh 即可,不必再 format;

怎么从 mac 本地拷文件到 vmware centos上
1)安装 lrzsz 不行;
2)可行:在 vmware centos 上 安装 openssh-clients,可以使用 scp 命令;

然后在mac上执行 scp {file} {虚拟机ip:172.16.59.128}/usr/local/softs/ ;
查看 容器映射端口;

docker ps -a
docker port 容器id;

欢迎您的到来,感谢您的支持!

为您推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注