【RT-DETR涨点改进】41 RT-DETR动态令牌桶：从“一刀切”限流到“按需分配”的进化之路

41 RT-DETR动态令牌桶：从“一刀切”限流到“按需分配”的进化之路开篇故事上个月，我帮一家AI安防公司优化他们的RT-DETR推理服务。他们的场景很典型：客户通过API上传监控视频片段，模型实时检测异常行为。上线第一天，免费用户和付费用户共用同一个推理队列，结果免费用户疯狂刷接口，直接把GPU显存打满，付费用户请求排队超过30秒——客户当场炸毛，老板连夜给我打电话：“能不能给付费用户开个VIP通道？”我第一反应是加个简单的限流器：每秒最多处理10个请求。结果免费用户被限流后改用并发请求，付费用户依然被拖累。问题出在哪？传统的固定速率限流（比如令牌桶）把所有用户一视同仁，付费用户和免费用户抢同一个令牌池，VIP体验根本保障不了。痛点拆解：常见限流方案的“伪公平”大多数工程师实现限流时，会写出这样的代码：importtimefromcollectionsimportdequeclassSimpleTokenBucket