事关路由 LLM（Routing LLM）胖白系列，一项为止目下最全面的规划，来了——

推断聚积和整理了波及8500+ 个LLM，在12 个Benchmark 上的共2 亿条性能记载！

先来节略科普一下路由 LLM。

这种口头主若是把像 ChatGPT、Qwen、DeepSeek 这些成型的 LLM 手脚 "大家" ，当给一个输入的时间，有分类才能的Router（路由器）就会把这个输入分派给相宜的 LLM 处理。

如斯一来，就能兑现高性能、低筹画破费、低幻觉等办法。

而来自中山大学和普渡大学的规划东说念主员在基于上述海量的记载作念了一番探索之后，发现了一个时势，叫作念Model-level Scaling Up。

一言蔽之，即是一个好的 Router，可以闪开由 LLM 范式的性能跟着 LLM 候选数目的增多飞速变强。

随后，他们通过这些数据构建了针对 Router 联想的评测RouterEval。

值得提防的是，其他规划东说念主员，也可以通过 RouterEval 在很少的筹画资源下（如笔记本、单卡 GPU上）就能参与到该路由 LLM 的规划当中。

2 亿札记载中发现的新时势

当大多数规划东说念主员和建设者第一次听到 Mixture-of-Expert ( MoE ) 的时间，可能第一响应不是目下常见的对结构中的 FFN 层进行推广，以 FFN 层作为" expert "。

而是平直将每一个成型的 LLM，比如 ChatGPT、Qwen、DeepSeek 等平直看作念是" expert "。

现实上，这种范式也称为路由 LLM（Routing LLMs）。

节略地说，即是给定一个输入 input，一个具有一定分类才能的 Router ( 路由器 ) 会将 input 分派给指定的 LLM 进行处理，以达到高性能、低筹画破费粗略是低幻觉等各式千般的办法，或组合办法。

这类问题可以被合计是分类问题、保举系统问题、Agent 盘算以至是检索问题（提防，不是检索数据 for LLM，而是检索 LLM for 数据）。

一些典型的例子有：

东说念主机客服切换：机器东说念主客服无法科罚问题的时间自动切换到更高档的客服，比如更智能的机器东说念主，以至东说念主类；

强弱 LLM 切换：比如贫瘠问题给 GPT4 科罚（用度贵），节略问题给 GPT3 科罚（用度低）

△路由 LLM ( Routing LLMs）暗示图

路由 LLM 具有很高的应用后劲和兼容性，不同 LLM 齐可以被添加到 LLM 候选 Pool 中参与 routing（包括异构 LLM，各式 tuning/pretraining 口头下得到的 LLM，等等），况且可以进展很强的性能。

比如最近 UCB 提议的 Prompt-to-Leaderboard 以很低的检会资本，以路由 LLM 的范式下兑现和需要数十万个 GPU 检会得到的 Grok3 终点的性能，并登上 Arena 名次榜第一。

关联词现时路由 LLM 规模仍然存在一些挑战影响了 Router 的发展：

穷乏合股的 benchmark。各个规划齐在小规模的构建各式的 benchmark 进行规划；

现时 benchmark 不够全面：现时的使命一般只波及一丝的 LLM、evaluations，况且大多数是闭源不公开。

于是胖白系列，规划团队聚积并整理且开源了波及 8567 个不同 LLMs 在 12 个 evaluations 下 2 亿条性能记载，并通过这些记载发现：

Model-level Scaling Up 时势：有一定才能的 Router，可以使得 routing llm 范式下的性能跟着 llm pool 的扩大而飞速高潮。往日的规划由于波及的不同 LLM 较少，抵制易不雅察到这个时势。

通过这些数据，咱们构建了全面的针对 Router 联想的评测 RouterEval。其全面性可以大大匡助 Router 联想的探索。鉴于该测评仍是整理致密且很简约，可以被看作念是传统的分类问题，所有规划者齐可以以很少的筹画破费（以至单卡或笔记本电脑）参与该大模子的规划当中。

△Model-level Scaling Up 时势暗示图

运用 2 亿条性能记载，可以构建竣工 Router，即 oracle Router ro：

接着，左证上式可以构建不同性能的 Router ro ( p ) ，其中 wm 为速即 Router，当 p → 1 时，Router ro ( p ) 越科罚上界分类性能，当 p → 0 时，ro ( p ) 越接近速即 Router。

从上图效能来看，跟着 LLM 候选的数目增多，不同的 evaluation 在具有一定才能的 Router 下呈现了 Scaling Up 时势。

而性能一般的 Router，比如速即 Router 则险些莫得 Scaling Up 时势。

且快速越过参考模子 Ref. LLM 的性能（参考模子一般是 GPT4）。

另外团队还可以发现两个理由的时势：

RouterEval 波及的 LLM 的参数漫衍

弱 LLM 也能组合出相配强的性能。上图给出了 RouterEval 中波及的 LLM 的参数漫衍，LLM 的参数为 7B 或以下的情况占优。著述发现，即使较弱的 LLM 也可以组合出可以的性能，比如 5 个性能在少于 0.3 的情况下，ro 可以让他们互补上风在 MMLU 上达到 0.95（出奇 GPT4）的性能。

一丝的 LLM 候选仍是富余。从 Model-level Scaling Up 时势暗示图可以看到 3-10 个 LLM 候选的时间仍是可以达到相配可以的性能。况且此时的部署资本并不高，具有很高的性价比。

现时 Router 的效能

通过测试现时的已有的 Routers 的性能，可以发现目下 Router 仍然有很大的栽种空间。

不外红运的是，RouterEval 进行的 Router 联想的实验不需要大宗的筹画资源，且可以融入不同的已有技巧，包括 few-show learning，数据增强、保举系统、正则化口头、预检会模子、特殊数据等等 .

因此 Router 将有但愿快速得到骨子性篡改。

以及，和现时一些其他范式的分辨和关系如下：

保举系统：Routing LLM 其实是特殊的保举系统，LLM 的 input 是保举系统中的 user 信息，LLM 候选是保举系统中的商品 item，而性能记载则是保举系统中的历史用户文牍记载；

LLM 集成：一般 LLM 集成是 post-decision，即让多个 LLM 完成推理后再统一。而 Routing LLM 是 pre-decision，即在 LLM 推理前就要决定是哪个 LLM 来处理；

LLM Fusion：LLM 交融主要针对是同质的 LLM 的"配合"，而 Routing LLM 可以让"异质"（包括不开源）的 LLM 进行"配合"

Mixture-of-Experts ( MoE ) : Routing LLM 是 model-level 的 MoE

固然，规划团队也提议一些畴昔的挑战。

当先即是穷乏数据。

要取得富余好的 Router，固然的数据仍然远远不够，因为这些性能记载的数据一般不开源，且掌抓在大公司手中，这需要全社区的共同勤苦。目下也可以通过算法一定经由缓解数据穷乏的问题。

其次是怎样保持在多 LLM 候选情况下的 Router 性能的问题。

当 LLM 候选越多的时间，意味着 Router 要进行更多类的分类，这关于 Router 的检会来说具有很高的挑战性；

除此除外，还包括RouterEval 目下只善良在性能。

尽管 routing llm 可以接头筹画破费、幻觉等其他办法。然而目下性能的水平还远远不够，如果目下就过度善良其他办法的话，可能言辞尚早。另外，筹画破费和幻觉等办法的数据抵制易征集，可能采集不到富余多的 LLM 的记载数据，仍然需要全社区的勤苦。

临了，即是部署的难度。

即使富余强的 Router 可以取得，然而此时 LLM 候选的部署可能是新的瓶颈，这在筹画机系统等规模中也有好多的规划角度，如筹画负载，高效分派、动态模子激活等。红运的是，从论文的不雅察来看，3-10 个 LLM 仍是能得到出色的效能。

GitHub 和论文等地址放底下了，感酷爱酷爱的小伙伴可以深远规齐整下哦 ~

代码地址：

https://github.com/MilkThink-Lab/RouterEval

论文地址 :

https://arxiv.org/abs/2503.10657

论文告籍：

https://github.com/MilkThink-Lab/Awesome-Routing-LLMs

一键三连「点赞」「转发」「防范心」

接待在评述区留住你的思法！

—  完  —

学术投稿请于使命日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 花样主页相接，以及关连方式哦

咱们会（尽量）实时复兴你

� �   点亮星标 � �

科技前沿进展逐日见胖白系列