0%

sparkContext初始化.md

[toc]

之前看了半本书《深入理解Spark:核心思想与源码分析》, 为什么说是半本,因为看不下去了,这本书太喜欢贴scala代码却不解释,但自己那时候不太了解如何去阅读源码,所以希望借助它学习一下。这里贴一贴学习的过程。


sparkContext初始化的内容#

在这里插入图片描述

一些问题和思考#


Q: SparkConf配置信息来自哪些?
A: spark-submit时spark-default.conf里的配置, spark-submit时写入的命令参数


Q: SparkContext必须指定哪2个内容?
A: 指定s.master部署模式和s.app.name应用名


Q:SparkContext到底是干嘛的?
A:任务执行中所有角色都要从sparkContext中获取一些信息,来进行任务的执行。比如各worker需要知道shufflerManager、blockservice之类的信息。
在这里插入图片描述