超越 Vision Banana,商汤开源 SenseNova-Vision:视觉任务大统一,经典视觉并入大模型

今天,商汤科技正式发布并全面开源日日新 SenseNova-Vision理解生成统一视觉大模型,这是商汤日日新大模型体系的重要视觉能力升级。行业以往的 统一视觉 多是把检测、分割、深度预测等多个专家模型打包封装,本质还是割裂的。SenseNova-Vision 的核心变革是:让视觉成为

今天,商汤科技正式发布并全面开源日日新 SenseNova-Vision理解生成统一视觉大模型,这是商汤日日新大模型体系的重要视觉能力升级。

行业以往的 "统一视觉" 多是把检测、分割、深度预测等多个专家模型打包封装,本质还是割裂的。SenseNova-Vision 的核心变革是:让视觉成为通用基础模型的原生能力,彻底融入大模型体系。所有经典视觉任务如目标检测、图像分割、深度预测、3D重建等,由此都实现了原生统一。

这种 "原生融入" 带来了双向增益:

• 数据反哺:视觉领域几十年的高质量数据直接提升大模型底座的视觉理解能力。 • 思维赋能:大语言模型的推理能力反过来让视觉任务融会贯通,甚至能用语言直接定义新视觉任务。

在视觉 AI 领域,商汤已连续十年蝉联中国视觉AI市场份额第一,并在2025年首次登顶视频分析赛道全球市场份额第一,及亚太地区市场份额第一。SenseNova-Vision将这种行业领先的视觉能力,融入统一多模态大模型体系,代表了视觉 AI 能力的跨越式演进。依托原生统一的技术路线,模型实现了从“执行工具”向“世界理解模型”的本质蜕变,不仅真正看懂物理世界的逻辑,更为AI在物理世界的广泛应用与深度交互构建全新的通用底座。

商汤日日新SenseNova-Vision能够原生统一地实现结构化视觉理解、稠密几何预测、图像分割以及多视角视觉几何等多项核心任务能力。

复杂场景实测:自由指令下的“视觉读心术”

传统的视觉模型往往只能“各司其职”,而且遇到复杂、有干扰的场景就会“抓瞎”。得益于原生通用底座带来的智能涌现,SenseNova-Vision在面对人类视觉都容易犯错的极端场景时,展现出了惊人的泛化能力:

1、零样本泛化:未知游戏“一秒读懂”。

面对训练集中从未出现过的游戏画面,模型展现出了强悍的跨域适应力。在语言推理与原生视觉能力的交织下,它无需任何针对性重训,就能在一瞬间同时对画面中的表面法向、实例分割以及角色关键点检测进行无缝且精细化的处理。影视、游戏和数字内容创作者可以直接将其投入工作流。

以游戏《黑神话:悟空》的一张场景图为例,模型能对法向、分割、关键点等进行较好的处理

2、超稠密物体分割:重叠鱼群各显其形

面对密密麻麻、高度重叠的鱼群、羊群,或是货架商品、俯拍车辆等极度稠密的场景,模型能够像外科手术般精准地将每个独立个体剥离出来。即使颜色极度相近、边缘深度交织,也能准确区分。这为工业计数、智慧仓储等场景提供了全新的解法。

以颜色重叠的鱼群、货架上东倒西歪的商品为例,模型能进行清晰、准确的分割

3、看穿镜面反射:正确还原空间几何

在包含镜子、玻璃的复杂室内环境中,传统视觉模型极易被镜中的倒影误导。而SenseNova-Vision能够自动过滤反射影像的迷局,准确估计出镜中物体的真实空间方向与深度关系。它不被虚拟的反射所欺骗,展现出对三维空间几何本质的深刻理解。

以镜面为例,模型能准确估计镜子里人的方向和深度

4、突破视觉错觉:不看表象,洞察空间本质

在充斥着视觉错觉干扰的图像中(例如经典的借位摄影),模型不仅能准确抠出被遮挡物体的完整轮廓,还能输出完全正确的表面法向估计。它不被图案和借位欺骗,正是语言模型的推理能力与稠密几何预测完美融合、看懂物理世界的具象体现。

模型能正确判断纹理形成的视觉欺骗

模型对于透视成像的近大远小现象领悟的非常透彻,完全没有被误导

前景棉花人物和后景云朵成功分离

核心任务领跑:多项指标比肩专用专家模型

当视觉任务融入通用多模态生成后,不仅没有削弱专项能力,反而通过跨任务知识互补实现了性能飞跃。在多项权威评测中,SenseNova-Vision以“单模型”在四大核心视觉领域大范围领跑,比肩甚至超越了各领域的专用“专家模型”:

• 结构化视觉理解:在目标检测、指代检测(Referring)、OCR、关键点定位等任务上全面领先同类型通用模型。在稠密小目标检测、长尾类别识别等复杂场景下表现尤为突出。 • 稠密几何预测:深度估计、表面法向(Surface Normal)估计精度达到几何专用模型水准,在室内外多场景下均能保持极高的稳定性。 • 分割能力:涵盖通用分割、推理分割、交互式分割等。得益于强大的多模态理解力,其在推理分割(Reasoning Segmentation)与对话式分割(GCG Segmentation)表现上惊艳。 • 多视角3D几何:仅通过单模型即可高质量完成多视角点云重建与相机位姿估计,性能在通用视觉路线中处于领先位置。

核心指标评测:SenseNova-Vision(深紫色柱状)在各项视觉任务中均处于领跑地位

横向相比优势显著:

• 对比语义导向模型(如Youtu-VL等):SenseNova-Vision在检测、分割、深度等对细节要求极高的视觉任务上实现全面领先。 • 对比生成导向模型(如Vision Banana等):展现出全面的代际优势。 一、核心指标超越: 在各项权威评测的硬核对决中,SenseNova-Vision 在绝大多数指标上均实现了对 Vision Banana 的超越与领跑。 二、任务能力倍增,且全面开源: 展现出更强的多任务泛化实力。如 Vision Banana 仅能应对四大核心板块中的“两类”问题,而 SenseNova-Vision 却能同时将结构化理解、稠密几何、全景分割、多视角 3D 等全任务一网打尽。在此基础上SenseNova-Vision还做到模型、数据全面开源。

重构底层逻辑:从拼接到原生统一

长期以来,视觉AI沿着“一个任务对应一个模型”的路径演进,各个任务是彼此割裂的孤岛。SenseNova-Vision彻底打破了这种结构性瓶颈,首次将全部视觉任务,统一表述为通用基础模型可理解的多模态生成问题。它不需要为不同任务设计专属预测头,而是直接在同一个共享的表征空间内,对文本、像素、语义信息和几何特征进行统一建模。

这种“大一统”的设计,带来了颠覆性的变化:

• 跨任务知识互补,实现1+1>2。模型联合训练,激活了不同任务间的内在互补。深度估计的知识能强化语义分割的空间理解,分割能力又能辅助检测任务的边界判断,从而获得了单任务模型难以企及的抽象推理能力,从容应对未见过的任务与场景。 • 从“工具执行者”升级为“通用理解者”。统一范式重新定义了视觉智能的形态。模型不再是只能执行特定指令的工具,而是作为大模型的原生能力,成长为对视觉世界拥有通用、深刻认知的基础多模态底座。

商汤SenseNova-Vision的发布和开源,成功验证了“统一多模态生成”这一全新技术路线的巨大潜能。它显著降低了视觉AI的应用门槛,开发者无需再为不同任务维护多套模型体系,单个模型即可覆盖高频视觉需求,从而大幅缩短研发周期、降低部署成本,尤其适合复杂图像、开放场景下的视觉应用开发。

同时,商汤也同步开源了包含5000万条高质量样本的视觉指令语料库SenseNova-Vision Corpus-50M,为全球AI生态注入强劲动力。

未来,商汤将把SenseNova-Vision的核心技术全面融入日日新U系列大模型中,持续探索构建更加强大的统一多模态基座模型,迈向能够更深刻感知、推理和交互物理世界的通用人工智能(AGI)与世界模型。

(来源:小熊科技)

相关推荐

  • 超越单一器件限制,Credo 2.0展现端到端互联方案价值

    随着AI算力的提升越来越依赖千卡、万卡集群协同,越来越多的人意识到,AI的快速迭代不仅需要算力,运力也变得同样重要。无论是算力协同的网络之间、机柜与机柜之间,还是GPU与GPU之间,任何一个接口或线缆的表现,都会对整体训练效率与功耗产生影响。链路上的细微故障与延迟,都可能触发系统告警,甚至影响整个集群的运行。

    2026-10-29
  • OpenAI 称其 Jalapeno 芯片性能超越英伟达 GB300

    在三款测试模型中,Jalapeno 在峰值吞吐量下每瓦特产生的 AI 工作量是竞争系统的 1.5 至 1.9 倍,同时延迟降低了 1.7 至 3.6 倍。针对 Agent(智能体)等高互动性工作负载,其优势进一步扩大到 2.1 至 4.1 倍 的性能提升。在测试的最大模型 Kimi K2.5 上,Jalapeno 展现出比对比硬件高出约 1.5 倍 的能效比(每瓦性能),以及 3.4 倍 的低延迟。

    2026-08-30
  • Counterpoint:智能手机内存价格第二季度环比增长超 80%,DRAM 超越 SoC 成旗舰手机最贵部件

    7 月 29 日消息,根据 Counterpoint Research 今日发布的最新内存价格跟踪报告,智能手机内存价格在 2026 年第二季度环比增长了 80% 以上。

    2026-07-31
  • 二十年只为超越,ROG玩家国度与蜘蛛侠共赴英雄新章

    7月1日,ROG玩家国度正式官宣与索尼影业出品的超级英雄大片——《蜘蛛侠:崭新之日》达成合作,成为中国大陆地区电脑品类独家联合推广伙伴。这部由漫威与索尼联合出品的超级英雄大片将于7月29日登陆全国影院,全球领先上映,中国观众将率先在大银幕上见证蜘蛛侠的全新篇

    2026-07-01
  • 脑机接口要的不是“金牌式超越”,而是高质量服务患者

    罗敏敏,知名神经生物学家,博士生导师。现任北京脑科学与类脑研究所所长,兼任北京天坛医院科创副院长、国家神经疾病医学中心(首都医科大学宣武医院)副主任。1995年毕业于北京大学,后赴美深造,先后获宾夕法尼亚大学计算机科学硕士、神经学博士学位,2000至2004年在杜克大学从事博士后研究。2004年回国任职于中国科学院神经科学研究所,2005年获国家杰出青年科学基金,同年入职北京生命科学研究所,历任研究员、高级研究员、资深研究员。2018年起任北京脑科学与类脑研究所所长,2023年入选首期新基石研究员项目,长期深耕奖赏与惩罚神经环路机制及相关脑病研究,带领团队自主研发“北脑一号”“北脑二号”智能脑机系统。

    2026-05-22
  • 燃气热水器选林内还是美的:国产技术超越日系,三项指标见真章

    很多人在林内和美的之间纠结,本质上是对三个问题的犹豫:“日系是不是更耐用?”“一级能效是不是都差不多?”“多花点钱买个放心值不值?”2025年的市场数据给出了一个明确的信号——据奥维云网监测,美的一级能效燃气热水器2025年全渠道销售额第一,美的小西梅系列上市

    2026-05-19
  • 超越宇树!魔法原子300台机器人群控创行业记录

    4月11日,2026赛季苏超联赛将拉开帷幕,开幕式上,江苏具身智能企业魔法原子将携290台机器人完成大规模集群演出。此次演出将成为“智慧苏超”科技内核的关键呈现。作为首次在露天体育场环境中实现的跨品类机器人超大规模化展演,此次演示将验证魔法原子机器人在复杂环境

    2026-04-11
  • 从 FIRST 到红镜:猛玛持续支持青年影像的“超越”

    近期,《白夜花园》《下个春天见》等短剧作品陆续举办看片会,引发平台与行业的持续关注。这些作品均出自由 FIRST 青年电影展与小红书联合发起的「红镜短剧计划」。其中《人生录像厅》《在线追踪》《贪吃蛇》等作品,已因其完成度与表达密度,在创作者与观众中积累起可预见

    2026-01-30
  • 金仓数据库:不止兼容,还有超越与创新

    在数字化转型的深水区,企业对数据库的需求早已超越“语法兼容”的基础诉求。无论是核心业务系统的稳定运行,还是敏感数据的安全防护,亦或是复杂场景下的性能优化,都呼唤一款既能无缝衔接现有架构,又能突破传统数据库瓶颈的创新引擎。金仓数据库(KingbaseES)深谙此道

    2025-12-17
  • 降本增效、超越期望,汉得助力华众搭建稳健供应链

    宁波华众控股有限公司成立于1993年,2012年1月于香港交易所主板上市,历经20余年已发展成为一家集开发、生产、销售为一体的实力型企业。作为行业内知名的标杆企业,华众控股在宁波、长春、青岛、天津、成都、佛山、重庆、烟台、武汉、长沙、南昌以及德国等地设有20余家

    2025-12-11