你最大的客户可能是你最大的瓶颈

摘要

在多租户系统中，传统FIFO队列存在严重缺陷：单个大客户可能占用所有资源，导致其他客户请求被无限期阻塞。作者在Trieve公司亲历此问题后，分析了限流和专用队列等方案的不足，最终开发了Broccoli——一个基于公平队列的解决方案。该系统为每个客户维护独立队列，通过轮询调度器确保资源公平分配，已获得广泛认可。

内容框架与概述

文章以作者在Trieve公司的真实经历开篇：新上线的大客户一次性导入数百万文档，完全堵塞了数据摄入管道，导致其他客户的请求数小时无法处理。这个被称为"吵闹邻居"的问题在多租户架构中普遍存在，作者以Cursor索引代码仓库为例进行了形象说明。

随后文章分析了两种常见但不理想的解决方案。客户端限流将压力转嫁给用户，迫使他们自行构建重试逻辑；专用工作队列则造成资源浪费，大客户的流量呈现突发性，空闲时大量实例闲置，小客户偶发的流量高峰又需要手动迁移，运维成本极高。

文章核心部分介绍了公平队列的原理和Broccoli的实现。作者用DMV排队的比喻解释了公平队列的本质：不是一条长队按先后顺序服务，而是每个客户有独立队列，调度器轮流从各队列取任务。Broccoli的架构简洁，仅包含客户专属队列和轮询调度器两个组件，消息到达时分配到对应队列并加入轮询，处理时依次服务各客户，空队列自动退出轮询。这种设计实现了自平衡，项目开源后获得15000+下载和400+星标。

核心概念及解读

吵闹邻居问题（Noisy Neighbor Problem）：多租户系统中，某个租户的过量资源消耗导致其他租户服务质量下降的现象。这是共享基础设施架构的核心挑战之一。

FIFO队列（First-In-First-Out Queue）：传统的先进先出队列，仅按到达顺序处理任务。其缺陷在于无法区分任务优先级和来源，大任务会完全阻塞后续请求。

公平队列（Fair Queueing）：一种调度策略，为每个客户维护独立队列并轮流服务，确保任何单一客户都无法独占系统资源，所有客户都能持续获得处理机会。

轮询调度器（Round-Robin Scheduler）：Broccoli的核心组件，负责依次从各客户队列中取出任务分配给工作线程，队列清空的客户自动退出轮询，有新任务时重新加入。

自平衡机制（Self-Balancing）：Broccoli的设计特点，繁忙客户持续留在轮询中，空闲客户自动退出，无需人工干预即可动态适应负载变化。

原文信息

此摘要卡片由 AI 自动生成