1，spark.hadoopRDD.ignoreEmptySplits

默认是false，如果是true，则会忽略那些空的splits，减小task的数量。

2，spark.hadoop.mapreduce.input.fileinputformat.split.minsize

是用于聚合input的小文件，用于控制每个mapTask的输入文件，防止小文件过多时候，产生太多的task。

3，spark.sql.autoBroadcastJoinThreshold && spark.sql.broadcastTimeout

用于控制在 spark sql 中使用 BroadcastJoin 时候表的大小阈值，适当增大可以让一些表走 BroadcastJoin，提升性能，但是如果设置太大又会造成 driver 内存压力，而 broadcastTimeout 是用于控制 Broadcast 的 Future 的超时时间，默认是 300s，可根据需求进行调整。

在 Linux 上安装软件应该去官网下载比较好，比如去 JDK 的官网下载 JDK ，会给出这样的下载列表。

对于 Linux 系统来说有三个安装包可以下载，格式分别为 rpm 和 deb 和 tar.gz 。tar.gz 是安装文件的压缩包，rpm 和 deb 分别是 CentOS 体系的 Linux 系统安装包和 Ubuntu 体系的安装包。

1，修改密码的指令为：passwd

1
2
3

# passwd
Changing password for user root.
New password:

按照这个命令可以输入新密码。

2，创建用户的指令为：useradd

1

useradd stone

执行这个指令，一个用户就会被创建了。接下来可以自己调用 passwd stone 来设置密码，然后再登陆。切换用户可以使用 su stone 命令。

今天把 mac 上的 hexo 博客迁移到 win 电脑上，整体过程如下：

1，安装 git；

2，安装 Node.js;

3，打开 git bash 客户端，输入 npm install hexo-cli -g ，开始安装 hexo；

4，在 win 电脑上创建你要存放博客项目的文件夹，比如我是放在 D 盘的 blog 文件夹下的，就在 D 盘根目录下创建了 blog 文件夹；

Java 中堆内存是 JVM 管理内存中最大的一块内存，同时又是 GC 管理的重要区域。

Java 堆内存主要分成两个区域：

1，年轻代。年轻代内部又分成了两个区，一个是 Eden 区，一个是 Survivor 区。Survivor 区又划分成两块，一块是 from 区，一块是 to 区；

2，老年代。

具体一点可以看图：

本文转自：Spark内存管理详解（下）——内存管理

本文最初由IBM developerWorks中国网站发表，其链接为Apache Spark内存管理详解
在这里，正文内容分为上下两篇来阐述，这是下篇，上一篇请移步博客列表的上一篇文章。

1
2
3
4
5
6

Spark内存管理详解（上）——内存分配
  1. 堆内和堆外内存
  2. 内存空间分配
Spark内存管理详解（下）——内存管理
  3. 存储内存管理
  4. 执行内存管理

本文转自：Spark 内存管理详解（上）——内存分配

Spark作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中占据着非常重要的角色。理解Spark内存管理的基本原理，有助于更好地开发Spark应用程序和进行性能调优。本文旨在梳理出Spark内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于Spark 2.1版本，阅读本文需要读者有一定的Spark和Java基础，了解RDD、Shuffle、JVM等相关概念。

前面已经分析到了 DAGScheduler 对 stage 划分，并对 Task 的最佳位置进行计算之后，通过调用 taskScheduler 的 submitTasks 方法，将每个 stage 的 taskSet 进行提交。

在 taskScheduler 的 submitTasks 方法中会为每个 taskSet 创建一个 TaskSetManager，用于管理 taskSet。然后向调度池中添加该 TaskSetManager，最后会调用 backend.reviveOffers() 方法为 task 分配资源。

前面一篇文章已经讲了 DAGScheduler 中的 stage 划分算法。

实际上就是每当执行到 RDD 的 action 算子时会去调用 DAGScheduler 的 handleJobSubmitted 方法，这个方法内部会根据当前的 RDD 创建一个 ResultStage，然后根据这个 ResultStage 对象创建一个 Job。

再将这个 stage 对象传入 submitStage 方法，这个方法内部会调用一些其它方法，会根据当前 stage 中的那个 RDD 的依赖链往前推，依据 RDD 之间的依赖关系，碰到宽依赖就创建一个新的 stage，窄依赖就将当前 RDD 加入当前 stage 中，一直到所有 RDD 都遍历完。

至此所有的 stage 就划分完了。

前面几篇文章已经说清楚了从 spark 任务提交到 driver 启动，然后执行 main 方法，初始化 SparkContext 对象。

在初始化 SparkContext 对象的过程中创建了两个重要组件：

一个是 TaskScheduler（实际上是他的实现类 TaskSchedulerImpl 对象），这个对象内部会持有一个 SchedulerBackend 对象，SchedulerBackend 内部会又会持有一个 DriverEndpoint 对象（实际上就是一个 RpcEndpoint）。这样 TaskScheduler 就可以通过 SchedulerBackend 和集群资源管理器或者 Executor 对应 worker 节点进行通信做一些事情。比如向 master 节点去注册 application，master 在注册 application 的过程中会分配 worker 去启动 Executor，当 Executor 启动后又会和 TaskScheduler 进行注册。