hadoop在Eclipse下编译运行

royripple

主页

博客

相册

个人档案

好友

查看文章

相关文章

更多>>

Hadoop项目的运行和部署方式-部署后linux命令行下修改代码操作指南2011-07-20 20:30

使用 Linux和 Hadoop进行分布... Linux下安装Hadoop教程 Linux安装Hadoop使用Cygwin模拟Linux环境安装配... Linux下eclipse中导入hadoop源码 Hadoop系列:在Linux下部署hadoop... linux下基于eclipse的hadoop应用...用 Linux和 Apache Hadoop进行...通过shell在linux上运行hadoop的...[Hadoop] Install Hadoop 0.20 C...

1.项目简介有一个文件，它的每一行都是从某一篇文档中抽取出的词语。而每一行代表一个文档。如下所示：

这个文件在HDFS上的位置：/user/hdp/input/test.假设每一行(每篇文档)内部出现的词语相互之间都是有贡献的，我们希望通过计算着两个词语的互信息来表征两个词语之间的相关度。其实可以简单的这样认为：两个词语一起出现的次数越多，单独出现的次数越少，那么两个词语的相关度就越高。就比如“上推”“自动机”两个词结伴出现的机会很高，而两个词在其他文档中单独出现的概率很低。这两个词的互信息就相当的高。可以很简单的统计出，中国出现了3次，人民出现了2次，而中国与人民结伴出现了2次，总共词语数是28个，根据1.1节的公式，可得

2.项目运行方式2.11. 2. 3. 4. 5. 项目完成编译。

本实例就是要完成用这个输入文件，最后计算出每两个词之间的MI值的过程。开发环境下的运行

项目在开发环境下，是应该可视化的运行，以方便程序员的编程。Eclipse提供了这种便利。

Eclipse在hadoop项目运行的时候，内部帮助我们做了很多事情：把编号的class文件打成jar包，这里也包括第三方jar包也要被打包。交给我们指定的hadoop分布式系统中的master运行。监控hadoop的master各任务完成情况，将得到的调试信息输出在eclipse控制台上。成功后，完成HDFS的更新显示。至此，我们可以看到计算结果。 Eclipse左侧空白处右键单击inport。

Eclipse的hadoop插件配置见上一篇文档。下面就本项目怎么在eclipse里运行做个阐述。

点击Existing Projects into workspace。。。next

从文件系统中找到项目根目录。点击OK