1. 首页 > 品牌企业 >

NeurIPS 2025 最佳论文揭晓：阿里通义千问靠“门控注意力”摘下中国唯一大奖

euiyhu9856 • • 品牌企业 •
NeurIPS 2025 最佳论文揭晓：阿里通义千问靠“门控注意力”摘下中国唯一大奖

全球 AI 顶会 NeurIPS 2025 今晚公布获奖名单，阿里巴巴通义千问团队凭《Attention Gating Makes Better Foundation Models》拿下最佳论文奖，成为 4 篇获奖论文中唯一中国面孔。本届大会共收稿 2 万篇，录取率仅 25%，竞争强度创历史新高。

论文核心是一把“滑动门”：在标准注意力后加一层可学习的门控，实时决定哪些头、哪些 token 继续参与下游计算。实验显示，1.7 B 稠密模型与 15 B MoE 模型在 3.5 T tokens 上训练，，Pile 各子域均取得一致提升。团队解释，门控相当于给注意力做“安检”，无效信息被拦在 FFN 之前，计算效率与鲁棒性同步提高。

该机制已装进即将发布的 Qwen3-Next，阿里同时把代码与 1.7 B 实验模型开源至 GitHub，供社区二次验证。通义千问表示，下一步将把门控思路扩展到多模态与长文本，让“会自己过滤的注意力”成为下一代大模型的标准组件。

（来源：小熊科技）
业界动态 NeurIPS 2025 最佳论文揭晓：阿里通义千问靠“门控注意力”摘下中国唯一大奖
免责声明：本文内容来源于第三方或整理自互联网，本站仅提供展示，不拥有所有权，不代表本站观点立场，也不构成任何其他建议，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容， 请及时联系我们进行处理。
euiyhu9856euiyhu9856

相关推荐