设计一个可水平扩展的大数据平台，如何规划资源调度（如计算资源、存储资源）？如何实现弹性伸缩以应对业务高峰？

湖北大数据集团技术架构师难度：中等

答案

1) 【一句话结论】：核心是通过统一资源调度平台（如YARN/Kubernetes）管理计算与存储资源池，实现计算与存储的协同扩容，并利用HPA结合事件驱动实现快速弹性伸缩，以应对业务高峰。

2) 【原理/概念讲解】：水平扩展是指通过增加同类型节点（计算节点、存储节点）提升系统处理能力，类比“超市增加货架数量，每个货架负责一部分商品，整体容量提升”；资源调度是负责分配计算资源（CPU、内存）和存储资源（HDFS、对象存储）给任务，类比“调度员分配货架位置给不同商品类别，确保高效利用空间”；存储与计算协同是指存储扩容时计算节点自动发现新存储节点并同步元数据，确保数据访问一致性；弹性伸缩是根据业务负载（如任务数、CPU利用率）自动调整资源数量，类比“超市高峰时自动增加临时货架，低谷时移除，保持资源利用率”。

4) 【示例】：以HDFS联邦+K8s架构为例，资源调度与伸缩流程：

资源调度：Kubernetes通过API Server管理计算资源池（如Spark Pod），HDFS联邦管理存储资源池（多个DataNode）；YARN的ResourceManager与Kubernetes协同，根据任务类型分配资源——Spark作业（容器化）由Kubernetes调度，数据访问通过HDFS联邦的NameNode统一管理。
存储与计算协同：当HDFS添加新DataNode时，NameNode更新元数据，计算节点（Spark Worker）通过心跳机制自动发现新存储节点，无需手动配置；计算资源扩容时，Kubernetes的HPA根据Spark作业CPU利用率（指标：spark.app.cpus.used）自动增加Pod副本数（如从2到5）。
弹性伸缩响应速度优化：HPA配置示例（scaleDownPolicy为PercentageBased，value 20；minReadySeconds 30秒），结合Prometheus秒级监控和事件驱动伸缩，预留10%缓冲资源应对秒级波动。

5) 【面试口播版答案】：各位面试官好，关于设计可水平扩展的大数据平台，核心思路是构建统一资源调度平台（如YARN或Kubernetes）管理计算与存储资源池，实现计算与存储的协同扩容，并通过智能弹性伸缩机制快速响应业务高峰。具体来说，资源调度层面，我们采用HDFS联邦作为统一存储，计算节点（如Spark Worker）通过心跳或WebHDFS API自动发现新存储节点，同步元数据；弹性伸缩方面，部署Kubernetes的HPA，监控Spark作业的CPU利用率，当利用率超过80%时自动扩容，同时设置scaleDownPolicy为PercentageBased（如20%），并配置minReadySeconds为30秒，避免冷启动延迟，确保高峰期资源能快速收缩，同时预留缓冲应对秒级波动。

6) 【追问清单】：

问题1：如何优化秒级剧烈波动的响应速度？回答要点：采用Prometheus秒级监控指标（如CPU利用率），结合事件驱动伸缩（如基于告警触发HPA），预留10%缓冲资源。
问题2：不同业务（实时计算与离线批处理）的伸缩策略差异？回答要点：实时任务关注延迟，批处理关注资源利用率，通过资源配额（如Kubernetes的LimitRange）和调度策略（如YARN队列）区分，实时任务预留低延迟资源，批处理按需扩容。
问题3：存储资源扩容时如何与计算节点协同？回答要点：HDFS联邦中NameNode更新元数据，计算节点通过心跳或API（如WebHDFS）获取最新DataNode列表，自动同步元数据，确保数据访问一致性。
问题4：资源调度中如何处理高优先级任务？回答要点：引入优先级调度算法（如YARN的Fair Scheduler），高优先级任务优先抢占资源，结合资源预留（如预留部分资源给关键任务）。

7) 【常见坑/雷区】：

坑1：存储扩容滞后导致成为瓶颈（如HDFS DataNode扩容不及时，影响计算节点数据访问）。
坑2：弹性伸缩策略单一（仅基于CPU利用率），未考虑任务类型差异（如实时任务对延迟敏感，批处理对资源利用率敏感）。
坑3：资源调度系统选型不匹配（如已有YARN集群，选择Kubernetes作为补充而非替换，导致集成成本高，资源管理复杂）。
坑4：HPA的scaleDownPolicy设置不合理（如未配置或延迟收缩），导致高峰期扩容的资源未及时回收，资源利用率低。