Spark计算Pi运行过程详解

上回运行了一个计算Pi的例子


那么Spark究竟是怎么执行的呢？


我们来看一下脚本

#!/bin/sh
export YARN_CONF_DIR=/home/victor/software/hadoop-2.2.0/etc/hadoop
SPARK_JAR=./assembly/target/scala-2.9.3/spark-assembly-0.8.1-incubating-hadoop2.2.0.jar  \
   ./spark-class org.apache.spark.deploy.yarn.Client   \
--jar ./examples/target/scala-2.9.3/spark-examples-assembly-0.8.1-incubating.jar \
--class org.apache.spark.examples.JavaSparkPi \
--args yarn-standalone  \
--num-workers 2  \
--master-memory 400m  \
--worker-memory 512m  \
--worker-cores 1

首先看，设置环境变量

export YARN_CONF_DIR=/home/victor/software/hadoop-2.2.0/etc/hadoop 

这里要设置yarn的配置文件地址，因为要运行在yarn上，所以需要这个

我们打开spark-class文件，这个shell是运行程序的入口，可以清晰的看到，其实这个文件就是执行java命令，将一些前置的jav