游客

标题:Hadoop集群搭建
正文:
一、目的本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。二、先决条件1.确保在你集群中的每个节点上都安装了所有必需软件。2.获取Hadoop软件包。三、安装安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves。我们用HADOOP_HOME指代安装的根路径。通常，集群里的所有机器的HADOOP_HOME路径相同。四、配置接下来描述了如何配置Hadoop集群。1、配置文件对Hadoop的配置通过conf/目录下的两个重要配置文件完成：1.hadoop-default.xml - 只读的默认配置。2.hadoop-site.xml - 集群特有的配置。要了解更多关于这些配置文件如何影响Hadoop框架的细节，请看这里。此外，通过设置conf/hadoop-env.sh中的变量为集群特有的值，你可以对bin/目录下的Hadoop脚本进行控制。2、集群配置要配置Hadoop集群，你需要设置Hadoop守护进程的运行环境和Hadoop守护进程的运行参数。Hadoop守护进程指NameNode/DataNode 和JobTracker/TaskTracker。2.1、配置Hadoop守护进程的运行环境管理员可在conf/hadoop-env.sh脚本内对Hadoop守护进程的运行环境做特别指定。至少，你得设定JAVA_HOME使之在每一远端节点上都被正确设置。管理员可以通过配置选项HADOOP_*_OPTS来分别配置各个守护进程。 下表是可以配置的选项。守护进程 配置选项NameNode HADOOP_NAMENODE_OPTSDataNode HADOOP_DATANODE_OPTSSecondaryNamenode HADOOP_SECONDARYNAMENODE_OPTSJobTracker HADOOP_JOBTRACKER_OPTSTaskTracker HADOOP_TASKTRACKER_OPTS例如，配置Nameno
[<<][[1]][2][3][>>]

查看评论(0)
发表评论



首页