Spark安装

• 下载Spark-bin-hadoop

• 将下载的Spark-bin-hadoop包解压缩到/usr/local文件夹下

• 修改Spark-bin-hadoop文件夹名字为spark

• 配置环境变量

sh vi .bashrc export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib source .bashrc

配置Spark

• 修改spark-env.sh

`sh cd /usr/local/spark/conf cp spark-env.sh.template spark-env.sh vi spark-env.sh

export JAVAHOME=/usr/java/latest export SCALAHOME=/usr/local/scala export SPARKMASTERIP=192.168.75.111 export SPARKWORKERMEMORY=1g export HADOOPCONFDIR=/usr/local/hadoop/etc/hadoop`

• 修改slaves文件

sh spark1 spark2 spark3

安装Spark集群

• 在另外两个节点进行一模一样的配置，使用scp将spark和.bashrc拷贝到spark2和spark3即可。

启动Spark集群

• 在spark目录下的sbin目录

• 执行./start-all.sh

• 使用jsp和8080端口可以检查集群是否启动成功

• 进入spark-shell查看是否正常

Spark 2.0集群搭建

配置spark可以使用hive

1. 将hive-site.xml放置到spark的conf目录下

2. 修改spark/conf和hive/conf下的hive-site.xml

   `xml <property>

   <name>hive.metastore.uris</name>

   <value>thrift://spark2upgrade01:9083</value>

   </property>`

3. 启动hive metastore service

   sh hive --service metastore &

4. cp hive/lib/mysql-connector-java-5.1.17.jar spark/jars/

5. hdfs dfs -chmod 777 /tmp/hive-root