🚀 AWS EMR Spark 资源分配与 YARN 调优指南

在 EMR 上运行 Spark 任务时，资源分配直接决定了任务的执行效率与稳定性。以下是核心调优策略：

一、 核心资源参数配置 ⚙️

• executor-memory: 建议设置在 8GB 到 16GB 之间，避免单节点内存过大导致 GC 停顿频繁。
• executor-cores: 通常设置为 4-5 核，这是保证 HDFS I/O 吞吐量与 CPU 并行度的黄金平衡点。
• num-executors: 动态分配 (Dynamic Allocation) 是首选，记得设置 spark.dynamicAllocation.enabled=true。

二、 YARN 队列与内存管理 🧠

YARN 是 EMR 的资源管家，正确的配置能防止 OOM (Out of Memory)：

三、 并行度调优 (Parallelism) ⚡

很多慢任务都是因为并行度不足导致的，请务必关注：

• spark.sql.shuffle.partitions: 默认为 200，建议根据数据量大小调整，通常设置为集群总 CPU 核数的 2-3 倍。
• 小文件处理: 在读取 S3 数据前，使用 spark.read.option("basePath", ...) 或在写入前调用 repartition() 合并小文件。

四、 内存分配模型 📊

Spark 内存分为存储内存 (Storage) 和执行内存 (Execution)，通过 spark.memory.fraction (默认 0.6) 进行划分：

• 如果任务涉及大量 Shuffle，可以适当调大 spark.memory.fraction。
• 如果涉及大量 Cache 数据，则需平衡两者的比例。

五、 避坑指南 ⚠️

1. 避免数据倾斜: 使用 salting (加盐) 处理 Key 分布不均的情况。
2. 监控工具: 充分利用 EMR 自带的 Spark History Server 和 Ganglia/CloudWatch 监控。
3. 实例选择: 使用 R 系列 (内存优化型) 实例处理大规模聚合任务；使用 C 系列 (计算优化型) 处理高频 CPU 计算任务。

希望这些建议能让你的 Spark 任务起飞！🚀✨