摩杰斯公司部落格

 一、目的

本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。

二、先决条件

1.确保在你集群中的每个节点上都安装了所有必需软件。

2.获取Hadoop软件包。

三、安装

安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。

通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves。

...

 本节是使用centos 6.5的配置过程：
设备：两台 centos6 OS 安装的时候选择的是"Basic Server"软件配置包。

系统是CentOS6.5，假设NFS Server IP为192.168.1.2，NFS Clinet IP为192.168.0.100。

1.服务端安装NFS：

yum install nfs-utils protmap rpcbind

nfs-utils包提供了NFS服务器程序和相应的管理工具。
...

 逻辑卷管理器（LVM）让磁盘空间管理更为便捷。如果一个文件系统需要更多的空间，可以在它的卷组中将空闲空间添加到其逻辑卷中，而文件系统可以根据你的意愿调整大小。如果某个磁盘启动失败，用于替换的磁盘可以使用卷组注册成一个物理卷，而逻辑卷扩展可以将数据迁移到新磁盘而不会丢失数据。

在Linux中创建LVM存储
在如今，每台服务器空间都会因为我们的需求增长而不断扩展。逻辑卷可以用于RAID，SAN。单个物理卷将会被加入组以创建卷组，在卷组中，我们需要切割空间以创建逻辑卷。在使用逻辑卷时，我们可以使用某些命令来跨磁盘、跨逻辑卷扩展，或者减少逻辑卷大小，而不用重新格式化和重新对当前磁盘分区。卷可以跨磁盘抽取数据，这会增加I/O数据量。

 本文以RedHat9.0和i386平台为例，剖析了从用户打开电源直到屏幕出现命令行提示符的整个Linux启动过程。并且介绍了启动中涉及到的各种文件。

　　阅读Linux源代码，无疑是深入学习Linux的最好方法。在本文对Linux启动过程的介绍中，我们也尝试从源代码的视角来更深入的剖析Linux的启动过程，所以其中也简单涉及到部分相关的Linux源代码，Linux启动这部分的源码主要使用的是C语言，也涉及到了少量的汇编。而启动过程中也执行了大量的shell(主要是bash shell)所写脚本。为了方便读者阅读，笔者将整个Linux启动过程分成以下几个部分逐一介绍，大家可以参考下图：

 系统环境：CentOS-6.5
安装方式：rpm安装
软件：jdk-7-linux-i586.rpm
下载地址：http://www.Oracle.com/technetwork/java/javase/downloads/index.html

检验系统原版本
[root@localhost ~]# java -version
java version "1.7.0_24"
...

 命令：curl
在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具，可以说是一款很强大的http命令行工具。它支持文件的上传和下载，是综合传输工具，但按传统，习惯称url为下载工具。

语法：# curl [option] [url]

常见参数：
-A/--user-agent <string> 设置用户代理发送给服务器
-b/--cookie <name=string/file> cookie字符串或文件读取位置
...