『 Hadoop 』mac下Hadoop的安装与使用

Posted on   |   In   |   visitors

最近接触大数据，所以当然有必要学习下Hadoop和Spark(概念请自行百google或者百度)。Spark是Apache目前最火的一款快速处理大数据的开源框架，当然Hadoop也是一款处理大数据的框架，只是Sparck青出于蓝而胜于蓝，在出生之后就得到迅猛发展，所以有学者说日后Spark可能会将Hadoop淘汰(不是我说的，是学者说的哦)。

至于Hadoop与Spark的关系，就像是svn与git的关系，后者都是较前者后几年出来且火于前者的一款工具。那么学习大数据的处理框架时就会有很多人有这样一个疑惑:既然Hadoop是先于Spark出来的，那么我要不要先学习Hadoop呢，还是跳过Hadoop直接从Spark学习起?

这样我们先看看git与svn的关系，svn是早于git好些年出生的版本控制工具，虽然二者性质都一样，但是学习git不一定要有svn的知识，所以Hadoop与Spark的关系也是这样，直接跳过Hadoop从Spark开始学习就好。我也是直接从Spark开始学起的，由于是新手，所以在前方给大家探路打算先学习一下Hadoop的搭建然后再去学习Spark相关技术，等学完后再来对本篇文章进行改正。关于Hadoop的概念介绍大家可以直接google或者百度，本篇文章只介绍mac环境下Hadoop的安装与使用(伪分布式Hadoop)。

这段话是我学习Spark后再来更新的:针对上述的疑惑，我现在可以直接告诉大家:学习大数据处理框架可以跳过Hadoop的学习直接从Spark学，但是你在搭建Spark环境的之前还非得先搭建Hadoop环境，因为下篇文章中介绍的安装Spark时会讲搭建Spark的环境是依赖于该Hadoop的，所以总的来说就是:Hadoop的各种API知识啥的不用学，但是在搭建Spark前你还非得先搭建Hadoop的环境。所以大家还是规规矩矩按照本篇文章的介绍老老实实的先搭建好Hadoop的环境吧,good luck!

1.安装Homebrew与Cask

关于Homebrew的一些命令我在这篇文章的Homeberw段落中有详细介绍mac下常用软件相关命令,当然本篇文章也会基于本篇文章的目的进行专一性的命令介绍。

打开Mac终端，安装OS X 不可或缺的套件管理器homebrew和homebrew cask:

1
$ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

执行过程需要输入root命令，当控制台出现:

1
2
3
.......
==> Installation successful!
.......

恭喜你，成功安装homebrew。接下来安装homebrew cask,在终端输入:

1
$ brew install caskroom/cask/brew-cask

根据提示进行安装。

2.安装Java

这一步搞java开发的人请自行跳过，因为我相信你们早就已经成功的安装了java(其实mac系统已自动为我们集成)并成功配置了环境变量。我电脑上安装的JDK版本为1.7.0_79，并完成环境变量的配置。

3.配置SSH

为了确保在远程管理Hadoop以及Hadoop节点用户共享时的安全性, Hadoop需要配置使用SSH协议。

首先在系统偏好设置->共享->打开远程登录服务->右侧选择允许所有用户访问。

首先在终端输入:ssh localhost，如果终端有返回Last login: Tue Dec 6 11:47:39 2016 from ::1，说明你之前成功配置了SSH keys,如果没有返回该内容，请按下述步骤新建一个配置:

在终端输入:$ ssh-keygen -t rsa

执行上述命令会在当前用户目录下的.ssh文件夹(是一个隐藏文件)中生成一个id_rsa文件, 然后继续执行如下命令:

1
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

用于授权你的公钥到本地可以避免每次登陆时都要询问你的密码,再次输入ssh localhost若返回Last login: Tue Dec 6 11:47:39 2016 from ::1，恭喜你，成功完成ssh的配置。

4.安装Hodoop

之前的三步骤都是安装Hadoop前的准备，有了前期的准备，安装Hadoop也简单了，执行命令brew install hadoop，等待系统安装，完成后Hadoop会被安装到/usr/local/Cellar/hadoop下。然后需要进行如下配置才能算成功安装Hadoop。

4.1配置Hadoop

1.首先更改Hadoop的配置文件信息，找到usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop目录下，打开hadoop-env.sh文件，找到其中一行:

1
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

将其修改为:

1
2
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Home" #改为自己JDK目录

2.然后要配置hdfs的地址和端口号，在usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop目录下，打开core-site.xml，会发现core-site.xml文件中的<configuration></configuration>标签中间的内容为空，需要我们自己加入如下配置信息:

1
2
3
4
5
6
7
8
9
10
11
12
<!-- Put site-specific property overrides in this file. -->
 <configuration>
  <property>
     <name>hadoop.tmp.dir</name>
<value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
    <description>A base for other temporary directories.</description>
  </property>
  <property>
     <name>fs.default.name</name>
     <value>hdfs://localhost:8020</value>
  </property>
</configuration>

3.再然后就是设置map-reduce中jobtracker的地址和端口号，在目录usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop下，找到mapred-site.xml文件，在其内加上:

1
2
3
4
5
6
<configuration>
      <property>
        <name>mapred.job.tracker</name>
        <value>localhost:8021</value>
      </property>
</configuration>

4.最后要设置hdfs的默认备份方式，默认值是3，在伪分布式系统中，需要修改为1。在目录usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop下，找到hdfs-site.xml文件，在其内加上:

1
2
3
4
5
6
<configuration>
   <property>
     <name>dfs.replication</name>
     <value>1</value>
    </property>
</configuration>

5.在运行后台程序前, 必须格式化新安装的HDFS, 并通过创建存储目录和初始化元数据创新空的文件系统, (在上述目录下)执行命令:hdfs namenode -format

在控制台出现:

1
2
3
4
5
6
7
8
#生成类似下面的字符串:
...
#此处省略大部分信息
STARTUP_MSG:   java = 1.7.0_79
************************************************************
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at Andrew-liudeMacBook-Pro.local/192.168.1.100
************************************************************/

这样我们便完成Hadoop的配置，可以启动Hadoop了。

4.2启动后台程序

在/usr/local/Cellar/hadoop/2.7.3/sbin目录下执行如下命令:

1
2
./start-dfs.sh            //启动HDFS
./stop-dfs.sh           //停止HDFS

执行启动/关闭HDFS的命令，控制台输出信息如下:

1
2
3
4
Starting namenodes on [localhost]
localhost: starting namenode, logging to /usr/local/Cellar/hadoop/2.7.3/libexec/logs/hadoop-tony-namenode-tonys-MacBook-Pro-2.local.out
localhost: starting datanode, logging to /usr/local/Cellar/hadoop/2.7.3/libexec/logs/hadoop-tony-datanode-tonys-MacBook-Pro-2.local.out
Starting secondary namenodes [0.0.0.0]

说明成功启动本地服务，此时在浏览器中打开Resource Manager输入如下网址:http://localhost:50070(被读者私信说hadoop3版本以上的端口从50070移到9870了，望注意～)可以看到Hadoop的页面

还可以继续在命令行中(依旧在/usr/local/Cellar/hadoop/2.7.3/sbin目录下)执行如下启动/关闭脚本命令:

1
2
./start-yarn.sh        //启动yarn，一个MapReduce框架
./stop-yarn.sh        //停止yarn

此时在浏览器中打开JobTracker: http://localhost:8088、Specific Node Information: http://localhost:8042可以分别看到如下界面:

或者直接运行:

1
2
./start-all.sh    ##启动Hadoop 
./stop-all.sh     ##停止Hadoop

该命令可以同时开启/关闭上述三个本地服务。

但是每次执行上述命令都必须要进入到/usr/local/Cellar/hadoop/2.7.3/sbin目录，为了方便所以我们需要进行Hadoop环境变量配置。使用命令:sudo vim /etc/profile，在其中加入Hadoop环境变量的配置信息:

1
2
export HADOOP_HOME=/usr/local/Cellar/hadoop/2.7.3  #你Hadoop的安装路径
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

然后输入命令:source /etc/profile使该文件生效，这样以后你就可以在用户目录下直接使用上述start-dfs.sh命令来启动Hadoop了。

到此，尽情享受Hadoop吧。最后我来个Hadoop的小结。

5.小结

Hadoop是Apache基金会下的项目，它能够处理非常大的数据集在分布式计算环境，它可以运行在三种模式下:

  • 1.独立式:Hadoop运行所有的东西在无后台的单独的JVM中，这种模式适合在开发阶段测试与Debug MapReduce程序。
  • 2.伪分布式:Hadoop做为后台应用运行在本地机器，模拟小集群。
  • 3.全分布式:Hadoop做为后台应用运行真实的集群电脑中。

因为本人只有一台电脑，所以本篇文章介绍的就是在伪分布式模式下进行的Hadoop的安装介绍。到这里，你可能会有疑惑:独立式、伪分布式、全分布式三种模式又有什么区别呢? 呃…自行google吧，或者点击我已经给你找好的资料链接hadoop的单机、伪分布式、分布式区别，不要太爱我，因为我已经有人爱了。

疑惑:
很多人问我，在自己电脑上搭建好Hadoop环境以后，下一步该怎么利用Hadoop呢？亲，搭建好Hadoop后当然就可以利用Hadoop相关类对大数据进行处理了撒！

如何利用Hadoop相关类?首先你得有一款能写Hadoop代码的工具吧(当然你要是想装X的话也可以跳过IDE直接通过命令行编写Hadoop相关类操作)！我这里用的eclipse(别问我为什么我还没转IDEA,我是从IDEA转过来的好嘛。。。虽然我不情愿。。。大哭)，所以就可以在eclipse中通过编写Hadoop的相关类，然后就能对大数据进行处理咯。例子可以进Apache Hadoop官网，里面有很多简单的Examples让你快速入门Hadoop编程哦(由于我赞成大家直接学习Spark，所以就不给学习Hadoop相关知识的资料链接给大家咯)。

当然我本意是要学习Spark的，然而由于是新手，等好不容易在电脑上搭建完Hadoop，才知道如今学习Spark的话是得重新在电脑上搭建Spark环境的(括号内容是我学习Spark后又跑过来更的:废话！使用Spark前不搭建Spark的话那如何使用Spark?所以肯定要先搭建Spark环境了才能使用Spark啊)。。。由于下篇讲mac环境下Spark的搭建的文章how to install Spark on Mac时需要我们先搭建Hadoop的环境(为什么？点击链接看下篇文章是如何介绍的吧)，所以还是规规矩矩的按照本教程先完成Hadoop的搭建吧!

2018.3.19更

欢迎加入我的Java交流1群:659957958。

2018.4.21更:如果群1已满或者无法加入，请加Java学习交流2群：305335626 。

6.联系

If you have some questions after you see this article,you can tell your doubts in the comments area or you can find some info by clicking these links.

记得扫一扫领一下红包再走哦