hadoop服务器硬件配置学习hadoop电脑需要什么配置


如何为Hadoop集群选择合适的硬件

选择机器配置的第一步是了解你的运营团队已经管理的硬件类型。运营团队往往有新机器采购方面的看法,他们倾向于已经熟悉的硬件。Hadoop不是唯一的可以享受规模效益好处的系统。如果你不知道你的工作负载特点,记住第一个Hadoop集群采用平衡的硬件选择方案。

请教一下,hadoop fs.data.dir的配置问题,假如说各个数据结点硬盘数都不一样的情况下,如何配置!??

这个参数是本地生效的,就是说配置的参数仅在本节点生效。你datanode1可以配置3个路径(分别是3块盘下的),datanode2可以配置10个路径。
如datanode1上配置
<property>
<name>dfs.data.dir</name>
<value>/home/u/hdfs/data1,/home/u/hdfs/data2,/home/u/hdfs/data3</value>
</property>
datanode2上配置
<property>
<name>dfs.data.dir</name>
<value>/data0,/data1,/data2,/data3,/data4,/data5,/data6,/data7,/data8,/data9</value>
</property>

hadoop客户端该如何配置

hadoop客户端只需要能够访问hadoop master即可(namenode jobtracker)。

学习hadoop电脑需要什么配置

如果只是安装开源的hadoop的话,cpu 8核,内存8g,磁盘16g应该就可以了