查看“Hadoop 搭建”的源代码

'''修改主机名'''<br>
 hostnamectl set-hostname master<br>
 hostnamectl set-hostname slave1<br>
 hostnamectl set-hostname slave2<br>

'''配置hosts映射'''<br>
 vi /etc/hosts<br>
 172.16.1.3 master<br>
 172.16.1.4 slave1<br>
 172.16.1.5 slave2<br>
<br>
'''关闭防火墙(省略)'''<br>
 systemctl stop firewalld<br>
 systemctl disable firewalld<br>

'''时间同步'''<br>
 tzselect 5 9 1 1<br>
写入到export<br>
 vi /etc/ntp.conf<br>
 server 127.127.1.0<br>
 fudge 127.127.1.0 stratum 10<br>
'''重启ntp'''<br>

'''从节点同步(不要启动ntp)'''<br>
 ntpdate master<br>

'''SSH免密'''<br>
 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa<br>
 cat id_dsa.pub >> authorized_keys<br>
 scp  /root/.ssh/authorized_keys root@slave1:/root/.ssh/authorized_keys<br>
 scp  /root/.ssh/authorized_keys root@slave2:/root/.ssh/authorized_keys<br>
<br>
 ssh localhost 被动生成.ssh文件(由于权限问题自动生成)<br>
 ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa<br>
 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys<br>
如果A想 免密登录到B：<br>
A:  ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa<br>
B: cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys<br>
结论：B包含了A的公钥，A就可以免密的登录了<br>
排错方法：公钥信息清除: ssh-keygen -R IP<br>
'''JDK配置'''<br>
 vi /etc/profile<br>
 export JAVA_HOME=/usr/java<br>
 export PATH=$PATH:$JAVA_HOME/bin<br>
'''测试java'''<br>
 java -version<br>

'''Zookeeper配置'''<br>
 tar –zxvf /opt/soft/zookeeper-3.4.10.tar.gz –C /usr/zookeeper  解压zookeeper<br>
将zoo_sample.cfg文件拷贝一份，命名为为“zoo.cfg”<br>
 cd /usr/zookeeper/conf/zoo.cfg
 zoo.cfg文件配置
 tickTime=2000
 initLimit=10
 syncLimit=5
 dataDir=/usr/zookeeper/zookeeper-3.4.10/zkdata
 clientPort=2181
 dataLogDir=/usr/zookeeper/zookeeper-3.4.10/zkdatalog
 server.1=master:2888:3888
 server.2=slave1:2888:3888
 server.3=slave2:2888:3888

在zookeeper的目录中，创建zkdata和zkdatalog两个文件夹。Zkdatalog文件夹，是为了指定zookeeper产生日志指定相应的路径
 mkdir zkdata
 mkdir zkdatalog
进入zkdata文件夹，创建文件myid
 echo “1” > myid   master
 echo “2” > myid   slave1
 echo “2” > myid   slave2

'''环境变量zookeeper'''
 export ZOOKEEPER_HOME=///
 export PATH=$PATH:$ZOOKEEPER_HOME/bin
启动：zkServer.sh start
状态：zkServer.sh status
'''Zookeeper排错'''
关闭服务，杀掉进程///////已经生成的文件(version-2等)，进行删除
重新开启服务  (zoo.cfg    myid ---------对应关系修改)
'''Hadoop搭建'''

hadoop-env.sh
'''配置JDK环境变量'''
 export JAVA_HOME=/绝对路径 
 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

'''core-site.xml 核心配置'''

//默认文件系统是什么 namenode通信
//定义什么端口在哪里启动namenode
//定义namenode在哪里
//master表示主机名称
<!--配置master为主节点，端口为9000 -->
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>


<!-- HDFS工作目录的设置-->
    <!--其它一些目录是以这个临时目录为基本目录的,如dfs.name.dir和dfs.name.edits.dir等,如果文件清空，hadoop中的数据会全部丢失-->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
</property>


'''hdfs-site.xml配置'''
//副本的数量是多少
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

//配置 namenode元数据存放位置
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
</property>

//配置datanode块数据存放位置
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
</property>


'''mapred-site.xml配置'''

    <property>  
            <name>mapreduce.framework.name</name>  
            <value>yarn</value>  
    </property>

'''yarn-site.xml配置'''
    <!-- 指定mapreduce的shuffle-->  
    <property>  
             <name>yarn.nodemanager.aux-services</name>  
             <value>mapreduce_shuffle</value>  
    </property>  
    <!-- 指定resourcemanager的ip地址-->  
    <property>  
            <name>yarn.resourcemanager.hostname</name>
            <value>localhost</value>
    </property>





初始化：hdfs namenode -format

创建目录
   并初始化一个空的fsimage
   VERSION
        CID






vim '''core-site.xml'''
<configuration>
<property>
  <name>fs.default.name</name>
   <value>hdfs://master:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
   <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
  <name>io.file.buffer.size</name>
   <value>131072</value>
</property>
<property>
  <name>fs.checkpoint.period</name>
   <value>60</value>
</property>
<property>
  <name>fs.checkpoint.size</name>
   <value>67108864</value>
</property>
</configuration>





5.使用vim命令编辑'''yarn-site.xml'''文件，并在配置文件中加入以下内容：
<configuration>
<property>
 <name>yarn.resourcemanager.address</name>
   <value>master:18040</value>
 </property>
 <property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>master:18030</value>
 </property>
 <property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>master:18088</value>
 </property>
 <property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>master:18025</value>
 </property>
 <property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>master:18141</value>
 </property>
 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
 <property>
  <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>

<!-- Site specific YARN configuration properties -->

</configuration>


　　7. 使用vim命令编辑'''hdfs-site.xml'''文件，并在配置文件中加入以下内容：
<configuration>
<property>
 <name>dfs.replication</name>
   <value>2</value>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
   <final>true</final>
</property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
   <final>true</final>
 </property>
 <property>
  <name>dfs.namenode.secondary.http-address</name>
   <value>master:9001</value>
 </property>
 <property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>dfs.permissions</name>
   <value>false</value>
 </property>
</configuration>
8. 使用vim命令编辑'''mapred-site.xml'''文件，并在配置文件中加入以下内容：
cp mapred-site.xml.template mapred-site.xml
然后对其进行编辑，并在配置文件中加入以下内容：
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
'''格式化Hadoop并开启集群'''
master中格式化hadoop

输入hadoop namenode -format
进行hadoop的格式化操作