配置三个节点的spark集群,集群模式为standalone模式,其中sp1节点作为主节点,sp2节点和sp3节点为从节点。***注意所有操作均为root用户。
创建3个CentOS虚拟机,如下:
sp1 192.168.1.21 //master节点
sp2 192.168.1.22 //slave节点
sp3 192.168.1.23 //slave节点
配置/etc/sysconfig/network环境变量,如下:
在sp1节点上执行:vi /etc/sysconfig/network将HOSTNAME=localhost改成HOSTNAME=sp1
在sp2节点上执行:vi /etc/sysconfig/network将HOSTNAME=localhost改成HOSTNAME=sp2
在sp3节点上执行:vi /etc/sysconfig/network将HOSTNAME=localhost改成HOSTNAME=sp3
配置/etc/hosts主机名和IP地址映射关系,如下:
每个节点配置为:
192.168.1.21 sp1
192.168.1.22 sp2
192.168.1.23 sp3
关闭防火墙如下:
停止运行防火墙:service iptables stop
关闭防火墙自启动:chkconfig iptables off
验证防火墙是否关闭:chkconfig --list | grep iptables
生成ssh免密码登陆如下:
分别在每个节点上生成公钥私钥:
ssh-keygen -t rsa三次回车
cp id_rsa.put authorized_keys
将sp2节点和sp3节点的authorized_keys的内容复制到sp1节点上:
sp2节点上执行:ssh-copy-id -i sp1
sp3节点上执行:ssh-copy-id -i sp1
将sp1节点的authorized_keys(这个authorized_keys的内容是三个节点的公钥)的复制到sp2节点和sp3节点上:
sp1节点上执行:scp /root/.ssh/authorized_keys sp2:/root/.ssh/
sp1节点上执行:scp /root/.ssh/authorized_keys sp3:/root/.ssh/
配置ssh免密码登陆成功,验证如下:
sp1节点上执行:ssh sp2和ssh sp3
sp2节点上执行:ssh sp1和ssh sp3
sp3节点上执行:ssh sp2和ssh sp1
从网上下载jdk-6u45-linux-x64.bin文件,将这个文件使用WinSCP工具复制到sp1节点的/usr/local/jdk/下。
在sp1节点上安装jdk-6u45-linux-x64.bin,如下:
进入/usr/local/jdk/目录:cd /usr/local/jdk
为jdk-6u45-linux-x64.bin赋予执行权限:chmod u+x jdk-6u45-linux-x64.bin
将jdk-6u45-linux-x64.bin解压到/usr/local/jdk/文件夹下:./jdk-6u45-linux-x64.bin
将解压出来的jdk-1.6.43重命名为jdk6:mv jdk-1.6.43 jdk6
配置jdk到系统环境变量:vi /etc/profile添加内容如下:
export JAVA_HOME=/usr/local/jdk/jdk6
export PATH=.:$JAVA_HOME/bin:$PATH
使修改立即生效:source /etc/profile
验证jdk安装是否成功:java -version
从网上下载scala-2.9.3.tgz,spark-1.1.0-bin-hadoop2.4.tgz两个压缩包;将这两个压缩包使用WinSCP工具复制到sp1节点的/usr/local/spark1/下。
在sp1节点上安装scala-2.9.3.tgz,如下:
进入/usr/local/spark1/目录下:cd /usr/local/spark1/
解压scala-2.9.3.tgz:tar -zxvf scala-2.9.3.tgz
重命名解压出来的scala-2.9.3为scala:mv scala-2.9.3 scala
配置scala到系统环境变量:vi /etc/profile添加内容如下:
export SCALA_HOME=/usr/local/spark1/scala
export PATH=.:$SCALA_HOME/bin:$JAVA_HOME/bin:$PATH
使修改立即生效:source /etc/profile
验证scala安装是否成功:scala 或者 scala -version
在sp1节点上安装spark-1.1.0-bin-hadoop2.4.tgz,如下:
进入/usr/local/spark1/目录下:cd /usr/local/spark1/
解压spark-1.1.0-bin-hadoop2.4.tgz:tar -zxvf spark-1.1.0-bin-hadoop2.4.tgz
重命名解压出来的spark-1.1.0-bin-hadoop2.4为spark:mv spark-1.1.0-bin-hadoop2.4 spark
配置scala到系统环境变量:vi /etc/profile添加内容如下:
export SPARK_HOME=/usr/local/spark1/spark
export PATH=.:$SPARK_HOME/bin:$SCALA_HOME/bin:$JAVA_HOME/bin:$PATH
使修改立即生效:source /etc/profile
配置spark运行依赖的/usr/local/spark1/spark/conf/spark-env.sh文件,添加内容如下:
export SCALA_HOME=/usr/local/spark1/scala
export JAVA_HOME=/usr/local/jdk/jdk6
export SPARK_MASTER_IP=sp1
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=512m
export SPARK_WORKER_PORT=8888
export SPARK_WORKER_INSTANCES=1
配置spark的从节点/usr/local/spark1/spark/conf/slaves文件,将默认的localhost修改为如下:
sp1
sp2
sp3
配置成功后,将环境变量,/usr/local/spark1和/usr/local/jdk复制到sp2和sp3节点上,如下:
复制sp1节点环境变量到sp2节点:scp /etc/profile sp2:/etc/
复制sp1节点环境变量到sp3节点:scp /etc/profile sp3:/etc/
***注意:环境变量复制成功后需要分别在sp2节点和sp3节点上执行命令使修改立即生效:source /etc/profile
复制sp1节点解压出来配置好的spark和scala到sp2节点:scp -r /usr/local/* sp2:/usr/local/
复制sp1节点解压出来配置好的spark和scala到sp3节点:scp -r /usr/local/* sp3:/usr/local/
***注意:按照上述步骤完成后即可启动spark集群。
启动spark命令:start-all.sh
[root@sp1 sbin]# start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /usr/local/spark1/spark/sbin/../logs/spark-root-org.apache.spark.deploy.master.Master-1-sp1.out
sp3: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark1/spark/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-sp3.out
sp2: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark1/spark/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-sp2.out
sp1: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark1/spark/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-sp1.out
验证spark启动是否成功1:分别在三个节点上执行jps命令,结果如下为正确(忽略进程号):
sp1
2305 Worker
2156 Master
2410 Jps
sp2
2057 Worker
2138 Jps
sp3
2056 Worker
2136 Jps
验证spark启动是否成功2:在浏览器中输入localhost:8080验证是否启动成功。
停止spark命令:stop-all.sh
至此spark的standalone模式集群(3个节点)部署完成。
在h2的yarn上部署spark集群
分享到:
相关推荐
moco-runner-1.1.0-standalone.jar Moco是一个简单搭建模拟服务器的程序库/工具,基于 Java 开发的开源项目,框架的开发灵感来自 Mock 框架
NULL 博文链接:https://winseclone.iteye.com/blog/1734737
spark 1.1.0 编译后即可使用
hive jdbc驱动 1.1.0 cdh5.14.2 standalone
基于hadoop2.4的spark1.1.0集群部署
hive连接jdbc的jar包hive-jdbc-1.1.0-cdh5.12.1-standalone.jar
spark-core_2.10-1.1.0
#Apache Flink 集群部署在 Docker 上使用 Docker-Compose ##安装###安装Docker 如果您遇到与 Docker 版本不兼容的 Docker-Compose 版本问题,请尝试curl -sSL https://get.docker.com/ubuntu/ | sudo sh ###Install ...
Spark自动部署工具 本工具有一些需要Expect工具的支持实现SSH用户名和密码自动登录。 1. linux\mscp 一键多节点拷贝,使用expect进行远程ssh登陆。可以实现自动解压缩tar文件,自动递归拷贝目录。会调用multicopy_...
mongodb-spark官方连接器,运行spark-submit --packages org.mongodb.spark:mongo-spark-connector_2.11:1.1.0可以自动下载,国内网络不容易下载成功,解压后保存到~/.ivy2目录下即可。
Spark 编程指南 (v1.1.0),Spark 编程指南得简要说明,很简单的
storm1.1.0单节点部署安装
adam:ADAM最新版本,已为Hadoop 2.3预先构建了Spark 1.1.0 adam_0.14.0:针对Hadoop 2.3预先构建的带有Spark 1.1.0的ADAM 0.14.0版本 鳄梨:针对Hadoop 2.3预先构建的带有Spark 1.1.0的AVOCADO最新版本 emboss_...
Spark Doris Connector(apache-doris-spark-connector-2.3_2.11-1.0.1-incubating-src.tar.gz) Spark Doris Connector Version:1.0.1 Spark Version:2.x Scala Version:2.11 Apache Doris是一个现代MPP分析...
xxl-sso分布式单点登录框架 v1.1.0.zip
hive-jdbc-1.1.0-cdh5.4.5-standalone.jar Caused by: java.sql.SQLException: java.lang.ClassNotFoundException: org.apache.hive.jdbc.HiveDriver at com.trs.gateway.commons.hive.HiveFeature.getConnection...
openssl 1.1.0 编译的win32库,这是32位的 利用官网源码编译的,方便只需要库文件的朋友
spark官文文档翻译有关spark SQL编程指南,spark SQL是以测试组件,有关api的介绍
资源分类:Python库 所属语言:Python 资源全名:spark_parser-1.1.0.tar.gz 资源来源:官方 安装方法:https://lanzao.blog.csdn.net/article/details/101784059
seata-server-1.1.0.zip,完美解决github下载太慢问题 Seata 是一款开源的分布式事务解决方案,致力于提供高性能和简单易用的分布式事务服务