hadoop在Eclipse下编译运行(4)

如果eclipse的hadoop开发插件安装正常，而且Hadoop平台正确搭建好了的话，程序将会正确运行，并且生成中间

文件目录，output目录，计算出结果，写入output下。如下图所示：

2.2

部署环境下的运行

Hadoop的部署环境其实是指linux的命令行

环境，因为现在执行计算的服务器大多是linux文本界面。在集群系统中有一台master,这台机器就是我们的部署环境，而且，只需在这台机子上部署即可，hadoop会自己把任务传送给各个slave。部署是什么意思呢?其实从代码编写完到任务可以按照我们的想法在服务器上运行的这段时间都叫部署。我们在部署环境下运行项目，一般的做法是：

在开发环境下(比如eclipse的图形开发界面),将项目编译好，打成jar包。然后传送到master上运行。

注意，传送之前的操作都是eclipse上的操作，对于eclipse开发员来说，其实是很简单的。所以“部署环境下的运行”只要把jar包传送到master,并让它运行即可。一般情况下默认我们已经在master上拿到jar包，并放置在master的HADOOP_HOME中了。特殊情况，比如手头上没有开发环境，就需要自己把源码编译，手工打jar包。这些工作要完成也不简单，但是也不是不能做，如果有必要，请参考第3节。此节详述了怎么在命令行下编译源码，打jar包等操作。那么基于已上假设，我们只需在master上启动我们的hadoop项目即可。操作如下： 首先启动hadoop的各项服务，确保各节点工作正常。为项目运行做准备。第一步：hdp@master:~/hadoop-0.20.2/bin/$ hadoop namenode -format

格式化文件系统，新建一个文件系统。有个问是否覆盖的，输入“

y”即可。

第二步：hdp@master:~/hadoop-0.20.2/bin $ ./start-all.sh启动

hadoop的所有守护进程。

第三步：hdp@master:~/hadoop-0.20.2/$ jps 查看进程，

master虚拟机上的结果如下：其中的JobTracker和NameNode分别是M/R和

hdfs的核心进程。

在slave1 和 slave2 虚拟机上

hdp@slave1:~/hadoop-0.20.2/$ jps

找到jar包，用正确的命令运行

hdp@master:~/hadoop-0.20.2$ hadoop jar mi02.jar input output

出现一连串日志信息，然后去hdfs下查看结果文件，发现没有问题，项目正常运行！