本文共 623 字,大约阅读时间需要 2 分钟。
本节书摘来自华章出版社《Hadoop集群与安全》一书中的第1章,第1.4节,作者 (美)Danil Zburivsky Sudheesh Narayanan,更多章节内容可以访问云栖社区“华章计算机”公众号查看
构建Hadoop集群是一项复杂的任务,其中包含了诸多步骤。在规划集群中最容易遗漏的一步是总结集群所要处理的工作负载。正如本章所述,理解所构建的集群类型有利于我们合理规划以及选择正确的硬件配置。Hadoop最初是针对商业硬件进行设计的,但是现在它被更多的公司所采纳并且使用案例与Yahoo!以及Facebook这样的互联网巨头不同。这些公司有着不同的目标以及资源,因此需要相应地规划自己的Hadoop集群。我们经常可以看到在小型集群中包含了更多功能强劲的节点,以此节约数据中心的面积并且控制集群的耗电量。
Hadoop不断地在加入新的特性以及核心的生态系统项目。通常这些变化都会对核心Hadoop组件以及版本产生影响,同时新版本始终都不提供对旧版本的兼容性。最终用户有多种可供选择的Hadoop发行版,它们都对组件进行了良好地整合,甚至还提供了某些新增的特性。通常我们都倾向于选择最新以及特性最为丰富的Hadoop版本,但是从稳定性角度来说,我们最好选择在实践中已经使用过的版本并且确保它具有良好的可靠性。这样会为我们节省不少的麻烦。下一章将讨论安装和配置核心Hadoop组件的细节。请卷起你的袖管,我们准备要大干一场了!转载地址:http://ajpfx.baihongyu.com/