大数据01：Hadoop环境搭建

发表于 | 分类于

本系列简要记录Hadoop相关的知识点及遇到的问题。

说明

到文章发表为止，Hadoop的主要分支是2.7.X和2.8.X，二者在基本配置没有任何差别，但实际测试中，2.7分支的最新版2.7.4出现了诸多莫名其妙的问题，如内存不够无法启动，SSH掉线等。所以使用2.8.1版本进行搭建。但请注意2.8.1的Release Note，不要用于商用版本。

Please note that 2.8.x release line continues to be not yet ready for production use. Critical issues are being ironed out via testing and downstream adoption. Production users should wait for a subsequent release in the 2.8.x line.

所有操作都在Linux上进行，所以需要有一定的Linux操作经验。

环境

Key Value
操作系统 CentOS6.9
安装方式 Minimal
CPU 1处理器 2内核
内存 1024M
硬盘 20GB
分区 Swap: 2G; /home: 20G; /: 18G

操作记录

(1) 添加Hadoop用户并设置为sudoer.

1
# visudo

去掉%wheel ALL=(ALL) ALL的#注释(98行)。

1
2
3
# useradd hadoop -G wheel
# passwd hadoop
# su hadoop -

(2) 配置网络及防火墙

1
$ sudo vi /etc/sysconfig/network-script/ifcfg-eth0

其中ONBOOT修改为yes，BOOTPROTO修改为none，ARPCHECK及网络相关的内容，为新增内容。内容参考如下。

1
2
3
4
5
6
7
8
9
10
11
12
DEVICE=eth0
HWADDR=00:0C:29:EC:04:2B
TYPE=Ethernet
UUID=f6cd105c-e861-46dd-9f74-c9194fcce20b
ONBOOT=yes
NM_CONTROLLED=yes
ARPCHECK=no
BOOTPROTO=none
IPADDR=192.168.80.30
PREFIX=24
GATEWAY=192.168.80.1
DNS1=192.168.80.1

1
$ sudo vi /etc/sysconfig/network

修改域名为NN。

1
HOSTNAME=NN

关闭防火墙。

1
$ sudo chkconfig iptables off

重启。

1
$ sudo reboot

(3) SSH配置

1
2
3
4
$ mkdir .ssh
$ echo [publick_key] >> .ssh/authorized_keys
$ chmod 700 .ssh
$ chmod 600 .ssh/authorized_keys

publick_key修改为客户端(如Windows)的共有key的内容。

1
$ sudo vi /etc/sysconfig/ssh/sshd_config

修改如下内容。

1
2
3
UseDNS no
GSSAPIAuthentication no
MaxStartups 100

1
$ sudo service sshd restart

(4) Yum源配置
使用本地CDROM作为Yum源。

1
2
$ sudo rm -rf /etc/yum.repos.d/*
$ sudo vi /etc/yum.repos.d/cdrom.repo

内容如下。

1
2
3
4
5
[cdrom]
name=cdrom
baseurl=file:///media/
enable=1
gpgcheck=0

1
$ sudo mount /dev/cdrom /media

也可以用iso文件进行挂载。

1
$ sudo mount -o loop [.iso] /mdeia

重建Yum缓存。

1
$ sudo yum clean all && sudo yum makecache

(5) 安装SSH客户端

1
$ sudo yum install -y openssh-clients

如果本文对你有所帮助，请小额赞助。
~~ EOF ~~