Hadoop1 集群安装实验-白红宇

Hadoop1 集群安装实验

阅读量：5226 次

发布时间：2019-06-14

本文共 4018 字，大约阅读时间需要 13 分钟。

集群机器准备

机器名	机器IP	用途
hadoop	192.168.147.100	namenode、secondaryNamenode、JobTracter
hadoop1	192.168.147.101	datanode、tacktracter
hadoop2	192.168.147.102	datanode、tacktracter

1：配置静态IP地址

重启网卡命令：service network restart

验证：ifconfig

2：修改主机名称

2.1、修改当前会话中的主机名命令：hostname hadoop

2.2、修改配置文件中的主机名：vi /etc/sysconfig/network

验证：重启机器后查看主机名

3：hostname与IP绑定

命令：vi /etc/hosts 增加一行内容：192.168.147.100 hadoop

验证：ping hadoop

4：关闭防火墙

命令：service iptables stop

验证：service iptables status

5：关闭防火墙的自动运行

命令：chkconfig iptables off

验证：chkconfig --list | grep iptables

6：SSH配置

具体步骤见SSH无密码验证登录的实现

7：安装JDK

7.1、执行命令 chmod u+x jdk-6u24-linux-i586.bin，赋予执行权限

7.2、执行命令 ./jdk-6u24-linux-i586.bin 解压缩

7.3、执行命令 mv jdk1.6.0_24 jdk 重新命名

7.4、执行命令 vi /etc/profile 增加两行内容

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

7.5、执行命令 source /etc/profile 使配置立即生效

验证：执行命令 java -version

8：在namenode上安装hadoop（在hadoop用户下）

8.1、执行命令 tar -zxvf hadoop-1.1.2.tar.gz 解压

8.2、执行命令 mv hadoop-1.1.2 hadoop 重命名

8.3、执行命令 sudo vi /etc/profile 配置环境变量

export HADOOP_HOME=

/home/hadoop/app/hadoop

export PATH=.:$HADOOP_HOME:$JAVA_HOME/bin:$PATH

执行命令 source /etc/profile 使配置立即生效

8.4、修改6个配置文件：

1、修改$HADOOP_HOME/conf/hadoop-env.sh 增加JAVA_HOME=/usr/local/jdk

2、修改$HADOOP_HOME/conf/core-site.xml 增加内容：

1 
        
          2     
         
           3         
          
           fs.default.name
           4         
          
           hdfs://hadoop:9000
           5         
          
           change your own hostname
           6     
          7     
         
           8         
          
           fs.checkpoint.dir
           9         
          
           /home/hadoop/data/hadoop/hdfs/namesecondary
          10     
         11     
         
          12         
          
           hadoop.tmp.dir
          13         
          
           /home/hadoop/data/hadoop/tmp
          14     
         15

View Code

3、修改$HADOOP_HOME/conf/hdfs-site.xml 增加内容：

1 
        
          2     
         
           3         
          
           dfs.replication
           4         
          
           1
           5     
          6     
         
           7         
          
           dfs.permissions
           8         
          
           false
           9     
         10     
         
          11         
          
           dfs.name.dir
          12         
          
           /home/hadoop/data/hadoop/hdfs/name
          13     
         14     
         
          15         
          
           dfs.data.dir
          16         
          
           /home/hadoop/data/hadoop/hdfs/data
          17     
         18     
         
          19         
          
           dfs.http.address
          20         
          
           hadoop:50070
          21     
         22   
         
          23         
          
           dfs.secondary.http.address
          24         
          
           hadoop:50090
          25   
         26

View Code

4、修改$HADOOP_HOME/conf/mapred-site.xml 增加内容：


               
                    
             
              mapred.job.tracker
                     
             
              hadoop:9001
                     
             
              change your own hostname