linux上hadoop安装教程

1、安装SSH、配置SSH无密码登陆

  一般来说linux上的ssh是默认安装的,如果没有安装,可以输入以下命令安装。

  sudo yum install openssh-clients

  sudo yum install openssh-server

  安装完成以后, 可以尝试登录以下  ssh localhost  然后输入密码。

  确认以上步骤无误后,进行下一步,生成秘钥,并保存。
  exit  # 退出刚才的 ssh localhost
  cd ~/.ssh/  # 若没有该目录,请先执行一次ssh localhost
  ssh-keygen -t rsa  # 会有提示,都按回车就可以
  cat id_rsa.pub authorized_keys  # 加入授权
  chmod 600 ./authorized_keys  # 修改文件权限






 

 

2、安装jdk。

  安装jdk属于比较通用得操作,网上教程也很多,就不赘述了。简单来说就是下载包,解压,配置环境变量,检查安装结果。

 

3、安装hadoop

  首先是下载,解压。不多说。可以运行以下实例看看hadoop包能不能正常运行,命令如下:

  cd /xxxx/hadoop-x.x.x   # 进入hadoop文件目录
  mkdir ./input
  cp ./etc/hadoop/*.xml ./input  # 将配置文件作为输入文件
      ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
        cat ./output/*                              # 查看运行结果





 

  这样就算可以程序没问题了。

  程序没问题就可以配置环境变量了。

  export HADOOP_HOME=/xxxx/hadoop-x.x.x

  export HADOOP_INSTALL=$HADOOP_HOME

      export HADOOP_MAPRED_HOME=$HADOOP_HOME

  export HADOOP_COMMON_HOME=$HADOOP_HOME

  export HADOOP_HDFS_HOME=$HADOOP_HOME

  export YARN_HOME=$HADOOP_HOME

      export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

  export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

  source /etc/profile  #记得加载新修改得环境变量

  修改好环境变量以后,修改hadoop配置

core-site.xml

configuration

  property

  name hadoop.tmp.dir /name

  value file:/usr/local/hadoop/tmp /value

  description Abase for other temporary directories. /description

  /property

  property

  name fs.defaultFS /name

  value hdfs://localhost:9000 /value

  /property

/configuration

 

hdfs-site.xml

configuration

  property

  name dfs.replication /name

  value 1 /value

  /property

  property

  name dfs.namenode.name.dir /name

  value file:/usr/local/hadoop/tmp/dfs/name /value

  /property

  property

  name dfs.datanode.data.dir /name

  value file:/usr/local/hadoop/tmp/dfs/data /value

  /property

/configuration

  配置完成以后格式化名称节点,然后开启守护进程

./bin/hdfs namenode -format
./sbin/start-dfs.sh

 

4、启动yarn

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

先使用模版的配置文件,然后编辑配置文件

configuration

property

name mapreduce.framework.name /name

value yarn /value

/property

/configuration

yarn-site.xml

configuration

property

name yarn.nodemanager.aux-services /name

value mapreduce_shuffle /value

/property

/configuration

执行以下命令启动yarn

./sbin/start-yarn.sh $ 启动YARN

./sbin/mr-jobhistory-daemon.sh start historyserver # 开启历史服务器,才能在Web中查看任务运行情况

最后送两个url

http://localhost:50070

http://localhost:8088/cluster

 

 

Copyright © 2018 qy8千亿国际qy8千亿国际-qy8千亿国际app版 All Rights Reserved