spark中的shuffle和MapReduce的shuffle的功能一致，跨机器传输数据，细节略有不同。
在MapReduce框架中，Shuffle阶段作为连接Map与Reduce之间的桥梁，是数据从Map阶段传输至Reduce阶段的关键过程。由于Shuffle涉及磁盘读写和网络I/O，其性能直接影响整个程序的效率。Spark同样具备Map与Reduce阶段，自然也包含Shuffle。Spark的Shuffle主要分为基于Hash的Shuffle和基于Sort的Shuffle两种实现方式。
十Spark与Mapreduce中Shuffle的区别 Spark与Mapreduce的shuffle过程相似，但Spark优化了shuffle机制，通过索引和合并临时文件，提高性能。十Spark内存管理 Spark内存分为堆内与堆外，统一管理优化内存计算占比。静态管理与统一管理各有特点，具体细节请参阅相关文章。
Spark之所以比MapReduce快，关键在于DAG计算模型。DAG相比Hadoop的MapReduce，在多数情况下能减少shuffle次数，提高效率。Spark的DAGScheduler在很多情况下相当于改进版的MapReduce。如果计算无需与其他节点交换数据，Spark能在内存中一次性完成操作，无需将中间结果写入磁盘，减少了磁盘IO操作。
DAG计算模型：Spark采用了DAG（有向无环图）计算模型，该模型在迭代计算上比MapReduce的效率更高。DAG通过合并多个任务为更少的阶段，减少了shuffle（数据混洗）以及落地磁盘的次数，进一步提升了性能。粗粒度资源申请：Spark采用粗粒度资源申请策略，当提交Spark应用程序时，会一次性申请所有需要的资源。
1、默认对key hash后再以reduce task数量取模。默认的取模方式只是为了平均reduce的处理能力，如果用户自己对Partitioner有需求，可以订制并设置到job上。接下来，需要将数据写入内存缓冲区中，缓冲区的作用是批量收集map结果，减少磁盘IO的影响。我们的key/value对以及Partition的结果都会被写入缓冲区。
2、输入阶段：数据被划分为键/值对形式，并在集群的各个节点上进行处理。 映射阶段：输入数据中的每个键/值对都会通过用户定义的映射函数处理，生成一组中间键/值对。 排序与分发（Shuffle阶段）：中间键/值对根据键进行分组，并发送到对应的节点上。
3、reduce是一个累加方法，是对数组累积执行回调函数，返回最终计算结果。map是遍历数组的每一项，并执行回调函数的操作，返回一个对每一项进行操作后的新数组。forEach和map用法一样，也是是遍历数组的每一项，并执行回调函数的操作，不过forEachf返回值是undefined，不可以链式调用。
1、数仓开发知识技能 （1）Java是必问的，不过问的不深，把Javase部分吃透，足以应付Java部分的面试。（2）Hadoop生态，Yarn、Zookeeper、HDFS这些底层原理要懂，面试经常被问。（3）Mapreduce的shuffle过程这个也是面试被常问的。（4）Hbase和HIve，搞大数据这些不懂真的说不过去。
2、HDFS读写流程 HDFS的读写流程涉及客户端、NameNode、DataNode和SecondaryNameNode。读取时，客户端向NameNode请求数据位置，NameNode返回数据块所在的DataNode地址，客户端再从DataNode读取数据；写入时，客户端将数据切片写入多个DataNode，NameNode更新元数据。
3、Hive是什么？跟数据仓库区别？Hive是由Facebook开源用于处理海量结构化日志的数据统计工具。Hive基于Hadoop，提供类SQL查询功能，将结构化的数据文件映射为表，并通过将HQL转化成MapReduce程序来运行。
4、Hive是什么？跟数据仓库区别？Hive是由Facebook开源用于解决海量结构化日志的数据统计工具；Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive的本质是将HQL转化成MapReduce程序。
5、关于hadoop mapreduce描述正确的是Hadoop Map Reduce是一种分布式计算模型、主要思想是分而治之、适用于批处理任务。Map Reduce定义 Map Reduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
mapreduce工作原理为：MapReduce是一种编程模型，用于大规模数据集的并行运算。MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。
MapReduce的核心原理在于它的分解和聚合能力。这个高效的数据处理模型基于“分而治之”的策略，其工作流程分为两个主要阶段：Map阶段和Reduce阶段。在Map阶段，大规模数据集被分割成小块，分配给集群中的多个节点进行独立处理，每个节点执行map函数，将原始数据转换为一系列中间键值对。
MapReduce工作原理简述 MapReduce是一种用于大规模数据处理的编程模型，其工作原理主要可以分为三个阶段：输入、处理和输出。输入阶段 在输入阶段，MapReduce会将大规模数据进行分割，使之成为较小的分片，以便于并行处理。每个分片作为一个单独的处理任务分配给一个Map任务。
MapReduce 是一种编程模型，它设计用来高效处理大规模数据集的并行运算。 该模型采用“分而治之”的策略，将复杂任务分解成多个子任务，并在主节点的协调下，分配给分布式的分节点进行处理。 在 MapReduce 模型中，数据处理过程分为两个主要阶段：Map（映射）和 Reduce（归约）。
MapReduce是一种编程模型，专为大规模数据集（通常大于1TB）的并行处理而设计。其基本原理通过两个阶段实现：Map（映射）和Reduce（归约）。在Map阶段，输入数据集被分割成多个小块（splits），每个小块独立地由一个或多个Map任务处理。
my-mapreduce.jar是我们进行日志处理的MapReduce程序。现在假定我们需要在其中处理JSON格式的配置文件，这里忽略如何在Hadoop集群读取文件的细节，只关注如何使用JSON工具包。
Hadoop本身似乎没有内置对JSON文件的解析功能，我们不得不求助于第三方JSON工具包。这里选择json-simple实现我们的功能。
在Map阶段处理数据时，由于内存的限制，会把数据先写到文件中，最终会根据数据的多少生成多个文件，每个文件中会按照Reduce的个数分区，每个分区的数据都按照key值顺序排放，Map结束后将多个文件合并为同一个文件，合并时会将多个文件相同分区的数据合并在一起并且多个分区的数据重新排序按照key顺序排放。
Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据档映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。Sqoop：将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
缓存表操作在内存不足时可将数据刷到硬盘，如`cache table user_install_status`。调整Thrift Server的executor缓存和数量，如`--num-executors 12 --executor-memory 5G`，可优化性能。Spark JDBC编程涉及通过JDBC连接Thrift Server，添加Spark的hive-jdbc依赖于POM文件。