京东开源JoyAI-LLM-Flash大模型:技术突破赋能AI应用新可能
京东近日在Hugging Face平台正式推出其最新研发的大语言模型——JoyAI-LLM-Flash,标志着这家电商巨头在人工智能领域迈出关键一步。该模型采用混合专家架构(MoE),总参数规模达48亿,其中仅3亿参数处于激活状态,通过优化设计实现高效计算。在预训练阶段,模型处理了超过20万亿文本Token,展现出对前沿知识的深度理解能力、逻辑推理水平以及编程相关技能。
技术团队创新性地引入纤维丛理论构建强化学习框架,开发出名为FiberPO的优化系统。该框架结合Muon优化器与稠密多Token预测技术,有效解决了传统大模型在规模扩展时面临的训练不稳定问题。实验数据显示,采用新架构的模型吞吐量较非MTP版本提升1.3至1.7倍,显著提高了训练效率与工程应用潜力。
模型架构设计突破多项技术指标:40层深度网络结构支持128K超长上下文窗口,词表容量扩展至129K,能够处理更复杂的语言任务。这种架构设计既保证了模型对长文本的连贯理解能力,又通过专家模块的动态激活机制控制计算开销。京东方面表示,该模型的开源将为学术界和产业界提供新的技术基准,推动大模型在电商、物流等垂直场景的落地应用。
(来源:小熊科技)免责声明:本文内容来源于第三方或整理自互联网,本站仅提供展示,不拥有所有权,不代表本站观点立场,也不构成任何其他建议,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容, 请及时联系我们进行处理。
