小米MiMo发布HySparse架构:为Agent时代超长文本处理带来高效新方案
-
小米MiMo发布HySparse架构:为Agent时代超长文本处理带来高效新方案
智东西2月7日报道,昨天,小米MiMo大模型团队宣布推出HySparse,一种面向Agent时代的混合稀疏注意力架构,使用“极少的全注意力(FullAttention)+ 稀疏注意力(Sparse Att…

