【Spark基础】– 理解 Spark shuffle

目录

前言

1、什么是 Spark shuffle？

2、Spark 的三种shuffle 实现

3、参考

前言

以前，Spark 有3种不同类型的 shuffle 实现。每种实现方式都有他们自己的优缺点。在我们理解 Spark shuffle 之前，需要先熟悉 Spark 的 execution model 和一些基础概念，如：MapReduce、逻辑计