HDFS

概念介绍

TODO

配置

设置全局配置文件core-site.xml

<configuration>
    <property>
    <!-- 设置 NameNode 节点地址 -->
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.56.101:9000</value>
    </property>    
    <!-- 临时文件目录（TODO，中间结果是否保存在临时文件中？） -->
　　　<property>
　　　　　　<name>hadoop.tmp.dir</name>
　　　　　　<value>/home/hadoop/tmp</value>
　　　　</property>
</configuration>

本例中只使用了能让 Hadoop 集群运行起来的最小配置，更多关于 core-site.xml 的配置项可以参考 https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/core-default.xml。

配置 hdfs-site.xml，修改HDFS文件系统的对应参数:

<configuration>

        <!-- 设置 namenode 数据存放的位置，可以设置多个目录，主要是用于备份，生产环境中，一台服务器往往有多个磁盘，设置多个目录主要是为了数据的备份，避免由于磁盘损坏造成的数据丢失。多个目录用“,”分割，各个目录中存放内容完全一样，主要（） -->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/home/hadoop/dfs/namenode,/mnt/disk2/dfs/namenode</value>
        </property>

          <property>
              <!-- 冗余副本数量 -->
              <name>dfs.replication</name>
              <value>2</value>
        </property>

          <!-- hadoop2 默认 128m--> 
           <property>
             <name>dfs.blocksize</name>
             <value>32m</value>
         </property>

          <!-- Namenode web管理界面地址 -->
        <property>
                <name>dfs.http.address</name>
                <value>192.168.56.101:50070</value>
        </property>
</configuration>

TODO

更多关于 hdfs-site.xml 配置可以参考 https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml。

重启

$ ./sbin/start-dfs.sh (TODO)
Starting namenodes on [vm1]
vm1: namenode running as process 21796. Stop it first.
192.168.56.109: datanode running as process 8196. Stop it first.
192.168.56.107: datanode running as process 8755. Stop it first.
192.168.56.108: datanode running as process 8426. Stop it first.
Starting secondary namenodes [0.0.0.0]
0.0.0.0: secondarynamenode running as process 22007. Stop it first.

TODO