HI-MoE：面向目标检测的分层实例条件混合专家模型
Available in: 中文
混合专家（MoE）已变革语言模型，但将其应用于计算机视觉——特别是目标检测——需要根本不同的方法。HI-MoE引入了分层、实例条件路由，匹配检测任务的结构。
混合专家（MoE）已变革语言模型，但将其应用于计算机视觉——特别是目标检测——需要根本不同的方法。HI-MoE引入了分层、实例条件路由，匹配检测任务的结构。
现有视觉MoE的问题
当前视觉MoE方法在图像或patch级别操作，与目标检测不匹配。
HI-MoE的两阶段路由
| 阶段 | 路由器 | 功能 |
|---|---|---|
| 场景路由器 | 轻量级 | 选择与场景一致的专家子集 |
| 实例路由器 | 逐查询 | 将每个对象查询分配给该子集中的专家 |
关键创新
- 场景级路由优先 — 确定整幅图像需要哪些专家
- 实例级路由其次 — 每个对象的细粒度专家选择
- DETR风格架构 — 基于现代检测框架（DINO基线）
结果
在COCO数据集上，HI-MoE改进了密集DINO基线、更简单的token级MoE方法和仅实例路由方法。
为什么重要
- 高效检测 — 对日益重要的检测任务实现稀疏计算
- 专业化知识 — 不同专家可以专门处理不同对象类别
← Previous: Spatially Aware GNNs with Contrastive Learning Improve Power Outage Prediction During Extreme WeatherNext: Tailslayer: C++ Library for Eliminating Tail Latency in RAM Reads →
0