Hadoop伪分布式安装及配置-HDFS

前言

正所谓完事开头难，我想接触大数据，却没有相应的分布式环境，那么就用单机伪分布式开始学习吧，这篇主要记录Hadoop伪分布式初始环境的搭建及HDFS的配置。

环境：

• centos7
• jdk1.7.0_79
• hadoop-2.6.0-cdh5.7.0

步骤：

设置主机名及新用户

• 修改主机名
  $ hostnamectl set-hostname hadoop000

• 新增hadoop用户并指定根目录
  $ useradd -d /home/hadoop -m hadoop

• 修改密码
  $ passwd hadoop

安装jdk

• 解压
  $ tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app/

• 添加环境变量~/.bash_profile:
  export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH

• 配置生效
  $ source ~/.bash_profile

配置ssh免密登录

• 安装ssh
  $ yum install ssh

• 生成密钥
  $ ssh-keygen -t rsa

• 存储公钥
  $ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

配置hadoop

下面的配置均在~/app/hadoop-2.6.0-cdh5.7.0/目录下

• 解压
  $ tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz.tar -C ~/app/

• 配置etc/hadoop/hadoop-env.sh:
  export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79

• 配置etc/hadoop/core-site.xml:

  <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://hadoop000:8020</value>
      </property>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>/home/hadoop/app/tmp</value>
      </property>
  </configuration>

• 配置etc/hadoop/hdfs-site.xml:

  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
  </configuration>

• 格式化文件系统（仅第一次执行时）
  $ bin/hdfs namenode -format

• 启动hdfs
  $ sbin/start-dfs.sh

浏览效果

下面是启动后http://hadoop000:50070的浏览效果：

参考资料

• Apache Hadoop参考文档

本文作者： 夏军谊
本文链接： https://www.xiajunyi.com/pages/p54.html
版权声明：本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。转载请注明出处！

赏

打赏看心情，只愿有帮助

支付宝

微信