hadoop伪分布式集群搭建--------来瞅瞅吧
作者:神秘网友
发布时间:2020-09-23 05:02:36
hadoop伪分布式集群搭建--------来瞅瞅吧
hadoop伪分布式集群搭建--------来瞅瞅吧一、基础操作
- 上传：
yum install lrzsz -y ------可以下载上传操作指令
rz -------可以进行上传文件 - 解压：
tar -zxvf jdk
tar -zxvf hadoop-2.6.5.tar.gz
如果是克隆多台机器 network中的主机名一定要修改
vim /etc/sysconfig/network
二、配置文件
- 配置jdk环境变量
vim /etc/profile
export JAVA_HOME=/opt/software/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile-----------让环境变量生效
注：用户变量 .bashrc
系统变量 /etc/profile
- 配置hadoop环境变量
bin-----系统的操作命令（文件的增删改查）
sbin----系统的管理命令（集群的启动、关闭）
进入到hadoop-2.6.5文件中 使用etc/hadoop-----配置信息
（1）slaves-----节点（Datenode）
（2）hdfs-site.xml
<property>
<name>dfs.replication</name> //设置备份个数
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name> //secondaryNamenode
<value>node01:50090</value>
</property>
（3）core-site.xml
<property>
<name>fs.defaultFS</name> //nameNode
<value>hdfs://node01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name> //nameNode启动后产生的信息
<value>/var/abc/hadoop/local</value>
</property>
（4）把*-env.sh结尾的文件内部所有的javaHome路径改为绝对路径
注：node01记得换成自己主机名
- 配置免密登录
在根目录中
ssh-keygen -t rsa（一直回车）
ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] （需要输入登录时的密码）
-----node01自己的主机名
三、实现完成搭建
- 格式化
hdfs namenode -format 让所有文件生效（建议只格式化一次）
- 启动命令
你的hadoop中sbin的路径下，执行./start-dfs.sh
例如：/opt/software/hadoop-2.6.5/hadoop/sbin ./start-dfs.sh
- 查看是否成功
通过自己电脑的浏览器输入地址
你的ip+50070
例如：192.168.222.130:50070
浏览器显示以下图片信息便是成功
