实际项目中，考试系统被黑产利用，通过AI工具批量搜题，导致系统资源耗尽。请描述排查过程和修复方案。

1) 【一句话结论】通过多维度资源监控定位黑产批量搜题的异常行为，结合AI行为分析、数据库优化及动态限流策略，有效缓解系统资源耗尽，并建立持续迭代机制应对黑产动态变化。

2) 【原理/概念讲解】黑产利用AI工具批量搜题时，通常表现为短时间内高并发请求（如每秒数百次）、请求参数异常（如随机或无效的题目ID、考试ID）、来源IP集中或使用代理。系统资源耗尽是指CPU利用率飙升（如90%以上）、内存占用过高、数据库连接池耗尽、网络带宽被占满、磁盘I/O频繁，导致系统响应变慢甚至崩溃。类比：把考试系统比作一个处理请求的“服务器集群”，黑产像“大量同时打开的高流量水龙头”，服务器资源（CPU、内存、数据库）的“水”被抽干，需检查水龙头的开关（请求来源）、流量（请求频率）、处理效率（数据库查询速度）。

3) 【对比与适用场景】

防御手段	定义	特性	使用场景	注意点
限流（Rate Limiting）	根据规则限制单个IP或用户在单位时间内的请求次数（如每秒10次）	简单、规则驱动，可快速部署，成本较低	适用于初步过滤，但易被黑产绕过（如IP轮换、代理）	需合理设置阈值，避免误伤正常用户（如考生）
AI识别（机器学习模型）	通过特征工程训练分类器，识别异常请求模式（如高频、参数异常）	智能化，能适应复杂行为（如动态参数、代理轮换），误报率可调	适用于高并发、复杂场景，需持续训练	需大量标注数据，模型迭代周期较长，需处理动态特征（如请求头变化）
数据库优化（索引、缓存）	优化数据库查询，减少资源消耗（如添加联合索引、Redis缓存）	提升查询效率，降低数据库负载，提升系统响应速度	适用于查询频繁的场景（如搜题接口）	需分析查询模式（如慢查询日志），合理设计索引，避免过度优化导致维护成本高
行为分析（多因素验证）	结合请求序列、登录时间、设备指纹等分析用户行为，识别异常模式	动态分析用户行为，能检测复杂绕过手段（如动态参数、IP轮换）	适用于需要深度分析用户行为的场景	需积累用户行为数据，模型复杂度较高，计算开销较大

（结论：针对当前场景，推荐组合使用限流+AI识别+数据库优化，其中AI结合行为分析提升动态适应性，限流中增加代理IP检测增强防御动态性。）

4) 【示例】

• 监控指标（Prometheus）：CPU利用率曲线14:30瞬间飙升到90%以上，数据库连接池使用率100%，网络带宽接口流量从1Mbps骤升至100Mbps。
• 系统日志（异常请求）：2023-10-27 14:30:15 [ERROR] IP: 192.168.1.100 发送请求，参数：exam_id=123, question_id=1, 请求次数：1/秒；后续500次请求中question_id从1到1000随机循环，参数无逻辑。
• AI特征工程：请求频率（每秒100次，正常用户<2次/分钟）、参数异常率（question_id随机，正常按考试顺序递增）、IP集中度（多个代理IP，正常用户固定IP）、请求头异常（User-Agent含“AI-Search-Engine/1.0”）。
• 数据库优化（复杂查询场景）：慢查询日志分析（pg_stat_statements），查询语句：SELECT * FROM questions JOIN exams ON questions.exam_id = exams.id WHERE exams.name = ? AND questions.question_id = ?，优化后添加物化视图（materialized view）存储热门考试题目，查询时间0.1秒，调用次数减少80%。
• 代理检测：通过IP黑名单与代理检测技术（如检测HTTP头中的X-Forwarded-For或User-Agent中的代理标识），识别并封禁代理IP。

5) 【面试口播版答案】（约90秒）
“面试官您好，这个问题核心是黑产用AI工具批量搜题导致系统资源耗尽。首先，排查从监控和日志入手：看监控发现CPU利用率瞬间到90%以上，数据库连接池满，日志里某IP1分钟发500多次请求，参数question_id从1到1000乱跳，明显是批量请求。分析后，先加限流规则，但黑产用代理绕过，所以引入AI模型，提取特征比如请求频率（每秒100次）、参数异常率（随机）、IP集中度（多个代理），训练分类器识别异常。修复方案：1. 数据库加联合索引（exam_id+question_id），用pg_stat_statements分析慢查询，优化后查询时间从2秒降到0.1秒；2. Redis缓存热门题目，减少数据库压力；3. AI模型持续更新，加入请求头特征（如User-Agent含AI工具标识），并结合行为分析（如请求序列、登录时间），提升动态适应性。最终，系统资源耗尽问题缓解，CPU稳定在30%以下，数据库连接池利用率低于20%。”

6) 【追问清单】

• 问：如何区分正常用户（如考生）和黑产？
  答：正常用户请求频率低（每分钟1-2次），参数有逻辑（按考试顺序），而黑产请求频率极高（每秒数十次），参数随机或无效，且可能使用代理IP。
• 问：如果AI模型误报率高，如何处理？
  答：调整模型阈值（如从0.8降到0.6），增加正常用户样本（如标注1000条正常请求），优化特征工程（如加入用户登录行为特征），同时设置人工审核通道（如异常请求重定向到人工验证）。
• 问：黑产可能用更复杂的手段（如动态参数、IP轮换），如何应对？
  答：持续更新特征库，结合行为分析（如请求序列、登录时间），或引入多因素验证（如验证码、设备指纹），同时使用IP黑名单与代理检测技术。
• 问：系统资源耗尽后，应急措施有哪些？
  答：立即触发限流规则，临时增加服务器资源（如通过云平台扩容），记录异常日志（包括请求参数、IP、时间），分析原因后修复，并更新监控告警阈值。

7) 【常见坑/雷区】

• 坑1：只依赖限流，未考虑AI识别，黑产易绕过，导致问题反复。
• 坑2：数据库优化未结合复杂查询场景（如多表连接），如添加索引后仍无法解决查询慢，因为查询逻辑复杂。
• 坑3：AI模型训练数据不足，误报率高，影响正常用户体验（如考生请求被拦截）。
• 坑4：未考虑黑产动态变化，模型更新不及时，导致防御失效（如黑产改变请求头特征）。
• 坑5：应急措施不完善，资源耗尽后未及时扩容，导致系统崩溃，影响业务。