北大张牧涵团队依托昇腾突破推理效率瓶颈 大模型推理百万tokens 成本仅 1 元
-
北大张牧涵团队依托昇腾突破推理效率瓶颈 大模型推理百万tokens 成本仅 1 元
在人工智能领域，大语言模型的训练与推理成本一直是限制技术普及的关键因素之一。近日，北京大学人工智能研究院助理教授张牧涵团队在鲲鹏昇腾科教创新卓越中心(简称“卓越中心”)提供的算力支持下，成功研发出一套高效的大模型训练推理架构，实现了百万tokens输入成本低
