分布式服务器集群搭建分布式存储系统

实验环境：系统：win7内存：8G(因要开虚拟机，内存建议不低于8G)硬盘：建议固态虚拟机：VMware12Linux：Centos7jdk1.7.0_67hadoop-2.5.0.tar.gz

1.安装VMware虚拟机环境

2.安装Centos操作系统

3.修改主机名配置网络

4.配置ssh无密码登录

5.上传jdk配置环境变量

6.上传hadoop配置环境变量

7.修改hadoop配置文件

8.格式化namenode9.启动hadoop并测试1安装VMware虚拟机环境这一步很简单，直接下载安装包下一步，安装成功之后打开输入注册码

5A02H-AU243-TZJ49-GTC7K-3C61NGA1T2-4JF1P-Y-GDWEZ-XYAY8FY1M8-6LG0H-080KP-YDPXT-NVRV2ZA3R8-0QD0M-489GP-Y5PNX-PL2A6FZ5XR-A3X16-H819Q-RFNNX-XG2EAZU5NU-2XWD2-Z-WMP5G-NUHV6VC58A-42Z8H-488ZP-8FXZX-YGRW8

2安装Centos操作系统我这里安装了3台Linux，一台作为namenode，两台作为datanode，使用的是Centos764位，建议使用Centos，原因很简单，免费开源，属于重量级Linux,更接近生产环境，当然用其它版本也是可以的。下载地址：/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-.iso安装过程很简单这里就不详述了。还是要推荐下我自己创建的大数据学习交流Qun:有大佬有资料，进Qun聊邀请码填写南风（必填）有学习路线的分享公开课，听完之后就知道怎么学大数据了

3.修改主机名配置网络namenode:masterdatanode:slave1slave2

执行以下命令vi/etc/hostname将localhost改为master另外两台分别改为slave1和slave2接着执行以下命令vi/etc/hosts将三台linux的ip和主机名加进去192.168.149.138master192.168.149.139slave.168.149.140slave2以上地址根据自己主机填写

ssh-keygen上一步执行完之后将会生成公钥和私钥cd~/.ssh在.ssh目录执行ll命令会看到id_rsa和id-rsa.pub两个文件，第一个是私钥，第二个是公钥然后执行ssh-copy-id-i/root/.ssh/id_rsa.pubroot@192.168.149.139ssh-copy-id-i/root/.ssh/id_rsa.pubroot@192.168.149.140这样就把公钥拷到了另外两台linux上然后测试是否成功ssh192.168.149.139如果不要密码则配置成功

执行以下命令tar-zxvfjdk1.7.0_67vi/etc/profile将Java环境变量配置好之后source/etc/profile让配置生效查看是否配好java-version

执行以下命令tar-zxvfhadoop-2.5.0.tar.gzmvhadoop-2.5.0.tar.gzhadoop重命名配置hadoop环境变量同Java。PATH路径分别为bin和sbin查看是否成功hadoopversion

7修改hadoop配置文件需要修改的文件有hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml

fs.default.namehdfs://master:hadoop.tmp.dir/usr/local/hadoop/tmp10hdfs-site.xml

mapreduce.framework.nameyarnyarn-site.xml

yarn.resourcemanager.hostnamemasteryarn.nodemanager.aux-servicesmapreduce_shuffle10注意：配置完成后别忘了把master上的hadoop拷贝到slave1和slave2上，使用命令：scp-r/usr/local/haoopslave1:/usr/local/

8格式化namenode执行以下命令hadoopnamenode-formatstart-dfs.shstart-yarn.sh

jps如结果如下则表示搭建成功ResourceManagerJpsNameNodeNodeManagerSecondaryNameNodeslave1和slave2上执行以下命令测试jpsNodeManagerDataNodeJps

上帝会不会开电灯:黑马程序员-全国已开设20所分校,自营分校遍布一线城市及省会城市,服务30余万学员,包括JavaEE,Python,人工智能,HTML