`
congli
  • 浏览: 14863 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Spark开发环境搭建(for Eclipse)

 
阅读更多
下载和安装Scala插件

Scala IDE(http://scala-ide.org/);或者在已有的Eclipse IDE里面安装Scala插件,选择插件安装时注意要选Scala worksheet功能,以方便在Eclipse里面直接测试一些代码片段。也要看清楚和对应版本的Eclipse,不然会有问题。

下载后,叫update-site.zip,将里面对应的jar拷贝到eclipse的plugin和features下。
然后再将页面上,绿色部分的地址拷贝,将其安装。




安装方法:

a 打开help菜单->install new software

b 绿色部分的地址拷贝,加入到work with的文本框中

c 选择select all,然后完成就开始安装)。



之后,重启Eclispe,在eclispe右上角会有scala,如果没有,请new一下,看看有没有scala相关的, 只要有就是安装成功。

Spark的依赖包

下面我们需要构建Spark的依赖包,需要先建立一个Scala的project,之后在环境变量的lib里,添加编译后的jar(我的是:spark-assembly-1.1.0-hadoop2.4.0.jar)。

添加后,可能有的版本不一致,会提示错误,



然后需要在build path里调整符合的Scala版本,即可。






至此,Spark已经可以跑了,让我们来试试吧。
  • 大小: 19.6 KB
  • 大小: 9.4 KB
  • 大小: 8.1 KB
  • 大小: 65.8 KB
  • 大小: 65.8 KB
  • 大小: 79 KB
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics