高并发医疗咨询系统中，如何设计限流与熔断机制以应对流量峰值？请说明限流策略、熔断机制及降级方案。

科大讯飞医学类难度：困难

答案

1) 【一句话结论】高并发医疗咨询系统需通过分层限流（入口、中间、出口）、动态熔断（基于监控状态机）及核心服务降级（如缓存 fallback/简化业务），结合实时监控与策略调整，保障系统在流量峰值时的稳定性和用户体验。

2) 【原理/概念讲解】老师口吻，解释关键概念：
“限流好比交通红绿灯，控制请求进入系统的速率，防止服务器过载。常见策略有令牌桶（允许一定速率的请求，超出的排队）和漏桶（无论请求多少，按固定速率流出）。熔断是‘保险丝’，当服务调用失败率超过阈值时，熔断器打开，后续请求直接返回失败或降级，避免级联故障。降级是在系统压力过大时，牺牲部分非核心功能（如简化查询、返回缓存数据），保证核心服务可用。”

3) 【对比与适用场景】

策略/机制	定义	核心目标	实现方式	适用场景
限流	控制请求进入系统的速率	防止服务器过载，保护系统资源	令牌桶、漏桶、滑动窗口计数	API网关层（入口流量控制）
熔断	服务调用失败率超过阈值时，断开调用链	避免级联故障，保护下游服务	状态机（关闭/打开/半开）、监控指标（失败率、延迟）	服务间调用（如咨询模块调用AI分析服务）
降级	核心服务不可用时，提供简化或备用服务	保证核心业务可用，提升用户体验	缓存 fallback、简化业务逻辑、默认数据	核心服务故障时（如AI分析服务不可用）

4) 【示例】

令牌桶限流（API网关层）伪代码：

class TokenBucketLimiter:
    def __init__(self, capacity, rate):
        self.capacity = capacity
        self.tokens = capacity
        self.rate = rate  # 每秒产生的令牌数
        self.last_time = time.time()
    
    def allow(self):
        now = time.time()
        elapsed = now - self.last_time
        self.tokens = min(self.capacity, self.tokens + elapsed * self.rate)
        self.last_time = now
        return self.tokens > 0

熔断器（服务间调用）状态机伪代码：

class CircuitBreaker:
    def __init__(self, success_threshold, failure_threshold, recovery_time):
        self.state = "CLOSED"  # 关闭
        self.success_count = 0
        self.failure_count = 0
        self.last_failure_time = 0
        self.success_threshold = success_threshold
        self.failure_threshold = failure_threshold
        self.recovery_time = recovery_time  # 恢复时间（秒）
    
    def request(self):
        if self.state == "OPEN":
            return False  # 熔断打开，直接失败
        elif self.state == "HALF_OPEN":
            if self.is_success():
                self.state = "CLOSED"
                self.success_count = 0
                self.failure_count = 0
                return True
            else:
                self.state = "OPEN"
                self.last_failure_time = time.time()
                return False
        else:  # CLOSED
            result = self.call_service()
            if result:
                self.success_count += 1
                self.failure_count = 0
            else:
                self.failure_count += 1
            if self.failure_count >= self.failure_threshold:
                self.state = "OPEN"
                self.last_failure_time = time.time()
            return result
    
    def is_success(self):
        return self.success_count > 0

降级示例（AI分析服务不可用时，返回缓存结果）：

def get_patient_info(patient_id):
    try:
        result = ai_analysis_service.get_analysis(patient_id)
        return result
    except Exception as e:
        cached_result = cache.get(patient_id)
        if cached_result:
            return cached_result
        else:
            return {"status": "error", "message": "服务不可用，请稍后重试"}

5) 【面试口播版答案】
“面试官您好，针对高并发医疗咨询系统的限流与熔断设计，我的思路是分层限流+动态熔断+核心降级。首先，限流策略上，在API网关层采用令牌桶算法，控制每秒进入系统的请求数（如每秒1000个令牌），超出则排队或拒绝，防止服务器资源被瞬间耗尽。然后，熔断机制，针对服务间调用（比如咨询模块调用AI分析服务），使用状态机熔断器，当AI分析服务的失败率超过50%且连续5秒时，熔断器打开，后续请求直接返回失败或降级，避免级联故障。最后，降级方案，当核心服务（如AI分析）不可用时，切换到缓存 fallback，返回最近一次的缓存结果，保证用户能获取到部分信息，提升体验。同时，通过监控指标（如QPS、失败率、延迟）动态调整限流阈值和熔断阈值，比如流量峰值时提高限流速率，低峰时降低，确保系统弹性。”

6) 【追问清单】

问题1：限流策略选择令牌桶而非漏桶的原因？
回答要点：令牌桶允许突发流量（符合医疗咨询的突发性，如用户集中咨询），漏桶会积压请求，导致延迟剧增。
问题2：熔断阈值（失败率、恢复时间）如何设置？
回答要点：失败率阈值根据业务容忍度设定（如50%），恢复时间根据服务恢复速度设定（如30秒），需结合历史数据和业务影响。
问题3：降级方案如何设计？
回答要点：优先保证核心功能（如基本信息查询），非核心功能（如高级分析）降级，通过缓存、默认数据实现，避免用户完全无法使用。
问题4：限流对用户体验的影响？
回答要点：合理限流（如排队机制）比服务器崩溃更友好，但需优化排队策略（如优先级队列），避免用户等待时间过长。
问题5：如何动态调整限流和熔断策略？
回答要点：通过监控指标（如QPS、失败率）结合机器学习模型，实现自动调整，比如流量上升时增加限流速率，流量下降时降低。

7) 【常见坑/雷区】

坑1：限流策略选择错误（如漏桶导致突发流量积压，延迟剧增）。
雷区2：熔断阈值设置不合理（频繁触发导致服务不可用，或未触发导致级联故障）。
坑3：降级方案未覆盖关键业务（核心服务故障时，用户完全无法使用，影响医疗咨询的及时性）。
雷区4：限流与熔断边界混淆（比如在服务内部同时使用两者，导致逻辑混乱）。
坑5：未考虑动态调整（固定阈值无法应对流量波动，系统弹性不足）。