JDK和Scala的安装
请参阅Hadoop安装文章里的说明:
http://congli.iteye.com/blog/2158007
SSH无密码登录
请参阅Hadoop安装文章里的说明:
http://congli.iteye.com/blog/2158007
Spark的下载和安装包解压
1、 下载spark,我用的是1.1.0 for hadoop2.4版本,不用自己编译(
暂时没有需要编译的需求,且编译需要下载jar包等,有些被墙了,先用编译好的)
2、 用hadoop用户解压安装:
tar zxf /home/spark/spark-1.1.0-bin-hadoop2.4.tgz
如果是因为权限问题请chown给hadoop用户
chown -R hadoop:hadoop /app
3、 为了好记,所以我会给spark改下名字
mv spark-1.1.0-bin-hadoop2.4/ spark110
Spark配置文件的配置
4、进入配置目录
cd /app/spark110/conf/
5、 节点的配置:删除localhost,再添加hadoo1、hadoop2、hadoop3
vi slaves
6、 配置spark的运行环境,先从模板进行拷贝
cp spark-env.sh.template spark-env.sh
然后编辑
vi spark-env.sh
然后在最后插入:
export JAVA_HOME=/home/jvm/jdk1.8.0_25
export SPARK_MASTER_IP=hadoop1
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=1g
配置项说明(根据环境,自行配置):
引用
export SPARK_WORKER_CORES=1 一个worker用的核
export SPARK_WORKER_INSTANCES 一台机器开启多少个worker
export SPARK_WORKER_MEMORY=1g 用多少内存
环境变量的配置
环境变量配置(需要各个节点都配置),这里我就不细说了,请大家参阅上一篇文章的配置环境变量章节进行配置
传送门:
http://congli.iteye.com/blog/2158007
Spark Standalone集群部署
将spark配置完成的目录copy到各个节点
scp -r spark110 hadoop@hadoop2:/app/spark110/
scp -r spark110 hadoop@hadoop3:/app/spark110/
启动Spark
现在启动Spark
sbin/start-all.sh
验证Spark安装是否完成
我们访问一下
http://hadoop1:8080/ 会看到如下图的界面,里面可以看到有3个节点,正是我们配置的hadoop1、hadoop2、hadoop3
至此,我们的Spark集群就已经安装好了,如果开启Spark-Shell以及运行例子等,我之后会再开贴记录。
- 大小: 4.7 KB
- 大小: 101.4 KB
分享到:
相关推荐
Spark standalone 分布式集群搭建,Spark standalone运行模式,Spark Standalone运行架构解析---Spark基本工作流程,Spark Standalone运行架构解析---Spark local cluster模式
1. 解压Spark安装包 2. 配置Spark环境变量 2. 修改 spark-env.sh 文件,完成以下设置: 1. 设置运行master进程的节点, e
Spark standalone 单机版部署,看了网上很多方法,事实证明都是错误的,本人亲身经历,在导师的指导下,成功配置成功单机版。
Spark Standalone架构设计.docx
本文档主要讲解Flink Standalone模式的集群的安装部署方法。此外,还包含了集群启停、任务提交、查看日志、执行自定义流处理程序等扩展主题。文档力求内容详实、步骤清晰,使读者阅后即可百分百掌握,不留疑问,轻松...
这篇博客,Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 集群角色介绍 Spark是基于内存计算的大数据并行计算框架,...
Spark 官方文档翻译,Spark 单机版部署方式,在CentOS 7 的环境下的开发方法
主要介绍了spark之Standalone模式部署配置详解,小编觉得挺不错的,这里分享给大家,供各位参考。
Spark Standalone模式集成HDFS配置清单,教你如何配置spark和hdfs平台。由于Linux的防火墙限制,初学者嫌麻烦可以关闭防火墙。
独立部署模式standalone下spark配置,从乌班图到jak,scala,hadoop,spark的安装 部署
描述了spark1.2.1在standalone集群模式和on yarn集群模式下的部署与运行方式。
Flink standalone集群安装步骤-V1.6.1 一主两从的Flink集群安装配置步骤
詹金斯Spark Deployer 通过此Jenkins插件,您可以将Apache Spark应用程序部署到Spark Standalone集群,作为后期构建操作。 跟踪以前的部署,您可以在部署新版本的应用程序之前使用“ kill”功能杀死以前的提交。特征...
flink 独立集群部署的dockerfile、dockercompose文件
1.进行相应的解压操作之后,...4.进入bin目录执行 ./start-cluster.sh启动集群 (之前要做好ssh免密设置,可以省去输密码的麻烦) 5.查看Web UI 输入通过浏览器访问flink主节点的8081端口 http://192.168.198.129:8081
个人总结的集群搭建运行事例环境文档。...有spark standalone模式 yarn模式 zookeeper的搭建 还有分布式文件系统hdfs hadoop搭建,内存式文件系统alluxio。开发环境的搭建idea for scala 的配置 ,和打包事例
该文档记载了如何安装部署spark伪分布(Standalone)模式,有需要的同学可以下载!
自述文件该项目提供了Fluent实用程序Http客户端,用于与Spark发行版捆绑在一起的Spark Standalone Rest Server进行交互,如Arthur Mkrtchyan的。特征将作业提交到Spark独立集群查询先前提交给集群的作业的当前状态...
前 言 大数据学习路线 大数据技术栈思维导图 ...Standalone 集群部署 六、HBase 简介 系统架构及数据结构 基本环境搭建 集群环境搭建 常用 Shell 命令 Java API 过滤器详解 可显示字数有限,详细内容请看资源。
Spark Standalone集群是Master-Slaves架构的集群模式,和大部分的Master-Slaves结构集群一样,存在着Master单点故障的问题。 如何解决这个单点故障的问题,Spark提供了两种方案: 1.基于文件系统的单点恢复(Single-...