cdn没反应时结合负载均衡和DNS切换实现流量自动切回的实战方案

1. 概述：问题与目标

1) 问题：主CDN节点无响应导致用户请求失败或超时；
2) 目标：在30-120秒内自动将流量回切到可用的备用通路（源站或备用CDN）；
3) 要求：兼顾短TTL DNS切换与负载均衡的无缝过渡，尽量减少二次DNS缓存影响；
4) 限制：面对DDoS时需保护源站带宽与连接数，避免直接暴露全部流量；
5) 成果指标：成功回切率>=99%，用户平均响应时间恢复到正常范围内（例如<200ms）。

2. 总体方案流程

1) 健康检测层：CDN POP 与负载均衡器（如HAProxy/Nginx LB）做主动HTTP/TCP健康探测；
2) 决策层：监控告警触发自动化脚本（基于Prometheus Alertmanager或Zabbix）判断需切换；
3) 切换层：先在负载均衡层减配/下线有问题的后端，再通过DNS API调整A/ALIAS记录或触发DNS Failover；
4) 缓解层：触发WAF/黑洞策略限流或应用层速率限制，防止DDoS瞬间打穿源站；
5) 回收层：问题修复后按策略逐步回流，使用权重逐步恢复（例如5%→20%→100%）。

3. 关键组件与配置要点

1) 健康检查：HTTP /health 返回200，间隔2000ms，失效3次判定down；
2) 负载均衡：HAProxy示例使用option httpchk GET /health，default-server inter 2000 rise 3 fall 2；
3) DNS策略：DNS TTL设置为60秒，使用支持API的DNS服务（如Cloudflare/Gandi/阿里云DNS）进行自动化切换；
4) 源站保护：源站边缘放置Nginx反向代理+限速（limit_req_zone），并启用连接数限制；
5) 日志与告警：接入Prometheus+Alertmanager，关键告警（POP down、源站带宽超阈值）触发自动脚本。

4. DNS切换细节与陷阱

1) TTL取值：建议60秒或更短，但公共解析缓存会不完全遵守，实际恢复延迟需预估为TTL*1.5；
2) 切换策略：优先修改负载均衡权重降低问题节点，再修改DNS做全局回切；
3) 记录类型：若使用根域名建议使用ALIAS/ANAME，避免CNAME在根域不被支持；
4) API频率：DNS API有速率限制，需做幂等重试与速率控制避免切换失败；
5) 测试方法：在灰度环境通过降低权重+DNS修改演练，记录真实切换时间和缓存失效情况。

5. 负载均衡与服务器配置示例（含数据表）

1) 负载均衡：HAProxy 2.2，配置示例 backend app { server app1 10.0.0.11:80 check inter 2000 rise 3 fall 2 weight 100 }；
2) 源站基本规格：3台主力源站做负载，4 vCPU / 8GB RAM / 1Gbps 带宽；
3) 缓存策略：Nginx proxy_cache，缓存大小50GB，缓存命中率目标>=70%；
4) DDoS防护：启用云防火墙，单IP连接数限制为500，突发速率阈值100k PPS时触发限流；
5) 常见监控阈值：CPU>75%、响应码5xx比例>1%、带宽使用>70%触发预警。

节点	CPU	内存	带宽	IP示例
源站 app1	4 vCPU	8 GB	1 Gbps	10.0.0.11
源站 app2	4 vCPU	8 GB	1 Gbps	10.0.0.12
备用CDN POP	边缘节点	N/A	500 Mbps	198.51.100.25

6. 真实案例复盘：某电商促销期CDN节点失联

1) 背景：促销高峰时某主CDN在北美某POP网络故障，接近90%的请求被丢弃；
2) 监测触发：Prometheus在30s内检测到POP RTT飙升与5xx上升，Alertmanager触发自动化脚本；
3) 自动化动作：脚本先在HAProxy中把对应POP回源权重降为0（约5s内生效），随后调用DNS API将主域A记录指向备用CDN IP；
4) 成果：从告警到DNS生效用户端平均回切时间约95秒（包括DNS缓存），交易成功率回升至99.2%；
5) 后续：对CDN供应商做SLA追责，并把TTL从300改为60，增加第二供应商作为备份。

7. 验证、演练与持续优化

1) 定期演练：每季度做一次“切换演练”，记录真实切换耗时与失败点；
2) 指标回收：收集切换事件的响应时间、误判率与回流平滑度，用于优化阈值；
3) 自动化完善：实现幂等的切换API与回滚机制，避免二次故障时切换链路混乱；
4) 灰度策略：采用权重灰度回流（5%、20%、50%、100%），观测错误率与用户体验；
5) 文档与恢复手册：保持详细Runbook，包含手动回滚步骤、DNS供应商联系链路与WAF应急规则。

来源：cdn没反应时结合负载均衡和DNS切换实现流量自动切回的实战方案