设计一个为360安全浏览器插件提供视觉算法服务的API网关，需要考虑安全性（如鉴权、加密）、性能（如限流、缓存）、可观测性（如日志、监控），请说明具体设计思路。

360视觉算法工程师难度：中等

答案

1) 【一句话结论】
设计一个支持双向TLS认证、动态限流（基于后端资源指标）、缓存预热（冷启动预加载热门数据）的API网关，通过分层处理（鉴权、限流、缓存、后端调用），结合结构化日志和Prometheus监控，保障360安全浏览器插件调用视觉算法服务时的安全性、高性能与可观测性。

2) 【原理/概念讲解】
API网关作为服务入口，需解决安全、性能、可观测三大问题。

安全性：采用双向TLS（客户端证书验证），确保插件与网关身份真实，防中间人攻击（类比：双方都出示身份证，确认对方身份）。
鉴权：插件通过浏览器存储令牌（含签名与过期时间），网关验证签名和过期时间，防重放攻击。
性能优化：
- 限流：用令牌桶算法，动态调整速率（公式：令牌速率=基础速率×(1-后端CPU使用率/100)，如CPU70%时速率降30%），平滑流量避免后端过载。
- 缓存：用Redis缓存热点数据，冷启动时预加载热门图片的识别结果（基于历史访问日志Top N数据），减少首次访问延迟。
可观测性：记录结构化日志（JSON格式，包含请求ID、方法、URL、响应状态、耗时等），Prometheus监控QPS、错误率、缓存命中率，设置告警（如错误率>5%或缓存命中率<50%时触发），及时发现问题。

3) 【对比与适用场景】

鉴权方式对比
| 鉴权方式 | 定义 | 特性 | 使用场景 | 注意点 |
| --- | --- | --- | --- | --- |
| 自定义令牌（浏览器存储） | 插件通过浏览器存储令牌，网关验证签名、过期时间 | 令牌由浏览器管理，安全，无需后端存储 | 360浏览器插件，依赖浏览器安全机制 | 令牌泄露风险，需定期更新，令牌过期后需重新获取 |
| JWT（JSON Web Token） | 自带签名、过期时间与载荷，客户端存储 | 无需后端存储，轻量，支持跨域 | 插件轻量级应用，需验证签名与载荷 | 令牌过期后需重新获取，签名算法需强加密（如HS256） |
限流算法对比
| 算法 | 定义 | 特性 | 使用场景 | 注意点 |
| --- | --- | --- | --- | --- |
| 令牌桶 | 持续生成令牌，请求消耗令牌 | 线性速率，平滑流量，适合稳定流量 | 控制稳定请求速率，避免后端过载 | 令牌数量需合理配置，过松导致过载，过严影响体验 |
| 漏桶 | 固定速率生成令牌，请求排队 | 突发流量削峰，适合突发流量（如促销活动） | 处理突发流量，防止后端瞬间压力过大 | 排队队列长度需限制，避免内存溢出 |

4) 【示例】

请求示例（插件调用图片识别）：
POST /api/v1/visual/analyze
请求头：Authorization: Bearer <token>（令牌由浏览器存储，含签名与过期时间）
请求体：{"image_url": "https://example.com/image.jpg", "image_base64": "base64编码图片数据"}
网关处理流程：
1. 双向TLS验证：检查插件客户端证书（由网关颁发，插件安装时获取），确保插件身份真实。
2. 令牌验证：解析请求头令牌，验证签名（HMAC-SHA256）和过期时间（当前时间<令牌过期时间），防重放。
3. 动态限流：计算令牌桶当前令牌数（公式：令牌数=基础速率（如每秒10个令牌）×(1-后端CPU使用率/100)，假设后端CPU使用率70%，则令牌速率=10×0.3=3个/秒），若令牌数>0则通过，否则返回429。
4. 缓存检查：查询Redis（key: cache:image_url），若存在则返回缓存结果（JSON：{"result": "person detected", "confidence": 0.95}），否则调用后端服务。
5. 后端调用：http://visual-service/api/analyze，接收请求并返回结果。
6. 日志记录：结构化日志（JSON）：{"timestamp": "2023-10-27T10:00:00Z", "request_id": "12345", "method": "POST", "url": "/api/v1/visual/analyze", "image_url": "https://example.com/image.jpg", "status": 200, "latency": 150ms, "cache_hit": false, "backend_cpu": 70%}。
7. 缓存预热（冷启动）：若为首次访问，从历史访问日志（过去24小时Top 10图片URL）预加载这些图片的识别结果到Redis，减少后续访问延迟。

5) 【面试口播版答案】
各位面试官好，我设计这个API网关的核心是构建一个安全、高性能、可观测的入口层。首先，安全性方面，采用双向TLS（客户端证书验证），确保插件与网关身份真实，防中间人攻击；鉴权用浏览器存储的令牌（含签名与过期时间），网关验证后防重放。性能优化：限流用令牌桶算法，动态调整速率（根据后端CPU使用率，公式：令牌速率=基础速率×(1-后端CPU使用率/100)，比如CPU70%时速率降30%），避免后端过载；缓存冷启动时预加载热门图片的识别结果（基于历史访问日志Top N数据），提高首次访问速度。可观测性上，记录结构化日志（包含请求ID、方法、URL、响应状态、耗时等），用Prometheus监控QPS、错误率、缓存命中率，设置告警（如错误率>5%或缓存命中率<50%时告警），及时发现问题。此外，网关部署多实例，通过Nginx负载均衡，确保高并发下的服务可用性。这样能保障360安全浏览器插件调用视觉算法服务时，既安全可靠，又高效可追溯。

6) 【追问清单】

问：如何确保API网关的高可用？
答：网关部署多实例，通过Nginx实现负载均衡，后端服务也部署多实例，配置熔断与降级，防止故障扩散。
问：限流策略如何动态调整？
答：根据后端服务的实时资源使用率（如CPU、内存），动态调整令牌桶的速率，公式为令牌速率=基础速率×(1-后端CPU使用率/100)，避免突发流量导致后端过载。
问：缓存预热的具体实现？
答：冷启动时，从历史访问日志中提取Top N热门图片URL，预加载这些图片的识别结果到Redis，减少首次访问的延迟。
问：缓存未命中时的回退策略？
答：设置Redis空值过期时间（如1分钟），同时调用后端服务，并将结果存入缓存，避免缓存穿透。
问：鉴权令牌的有效期如何设置？
答：根据业务场景，合理设置令牌有效期（如1小时），平衡安全性与用户体验，避免频繁刷新令牌影响性能。

7) 【常见坑/雷区】

双向TLS配置错误：若插件未安装客户端证书或网关未正确验证，可能导致通信失败，需确保证书链完整且插件安装正确。
限流动态调整指标选择不当：若仅用CPU，可能忽略内存压力，需结合多个指标（如CPU、内存、QPS）综合判断。
缓存穿透：未命中时直接返回空，导致后端压力，需设置空值过期时间（如1分钟），避免热点数据穿透。
日志非结构化：难以分析，应采用结构化日志（JSON），便于日志聚合和查询。
缓存预热策略无效：若热门数据识别逻辑错误（如未考虑实时访问模式），导致预加载数据不相关，需动态调整热门数据识别方法（如结合实时访问日志）。