沃资讯
科技 财经 汽车 游戏 数码 资讯 商业

小红书发布首个自研多模态大模型dots.vlm1,性能接近顶尖水平

2025-08-08来源:ITBEAR编辑:瑞雪

在科技日新月异的今天,小红书再次展示了其在人工智能领域的雄心壮志。这家以内容分享闻名的平台,近期连续推出了三款自研模型,其中最新亮相的多模态大模型dots.vlm1尤为引人注目。

dots.vlm1基于小红书人文智能实验室(Humane Intelligence Lab,简称hi lab)自主研发的视觉编码器构建,其能力覆盖了从视觉理解到文本生成的多个领域。在实测中,dots.vlm1不仅成功“看穿”了色盲图,还解决了数独问题,甚至能够解答高考数学题,并模仿李白的诗风创作诗歌,其视觉理解和推理能力已接近行业领先的Gemini 2.5 Pro闭源模型。

在当前的AI圈,各大巨头纷纷推出自己的开源模型,竞争异常激烈。OpenAI发布了Claude的4.1版本,谷歌则推出了用于生成游戏世界的Genie 3,引发了广泛讨论。而在国产模型方面,HuggingFace平台上排名前十的开源模型中,国内模型占据了多数席位,显示了国产AI技术的崛起。

然而,仔细观察这些排名靠前的开源模型,不难发现一个现象:它们大多是文本模型,缺乏多模态能力。而小红书的dots.vlm1,正是在这一背景下脱颖而出的多模态大模型,为VLM(视觉语言模型)领域带来了新的活力。

小红书hi lab由内部大模型技术与应用产品团队升级而来,其研发重点放在了多元智能形态上,旨在通过融合人际智能、空间智能、音乐智能等多种智能形态,拓展人机交互的可能性。dots.vlm1正是这一理念的产物,它基于12亿参数的NaViT视觉编码器和DeepSeek V3大语言模型构建,在视觉理解和推理任务上表现出色,同时在纯文本任务中也保持了竞争力。

在视觉评测集上,dots.vlm1的整体表现已接近Gemini 2.5 Pro与Seed-VL1.5 Thinking等领先模型,显示出强大的图文理解与推理能力。在文本推理任务上,dots.vlm1的表现也相当出色,尽管在数学和代码能力上已具备通用性,但在更多样化的推理任务上仍有提升空间。

dots.vlm1的实测表现令人惊艳。在空间理解方面,它能够准确定义复杂图表中物体的空间关系;在数独问题上,dots.vlm1能够完美解题,其推理过程甚至出现了类似DeepSeek的“啊哈时刻”,显示了模型真正的思考和推理能力。dots.vlm1还能解决红绿色盲数字问题、进行数学计算、回答冷门问题以及进行行测等任务,展现了其广泛的应用潜力。

除了强大的功能外,dots.vlm1的技术架构也值得一提。它由三个核心组件构成:全自研的NaViT视觉编码器、轻量级的MLP适配器以及DeepSeek V3 MoE大语言模型。这一架构通过三阶段流程进行训练,包括视觉编码器预训练、VLM预训练和VLM后训练,确保了模型的性能和泛化能力。

NaViT视觉编码器是dots.vlm1的一大亮点。它完全从零开始训练,原生支持动态分辨率和高分辨率输入,为模型提供了强大的视觉感知能力。在训练过程中,NaViT编码器采用了双重监督策略,包括下一Token预测和下一Patch生成,进一步增强了模型的空间与语义感知能力。

对于为何小红书要自研多模态大模型,答案或许在于多模态AI的重要性。多模态AI模拟了人类利用多种感官综合感知世界的方式,能够形成更全面、细致的理解。在自动驾驶、具身智能等领域,VLM作为机器人的眼睛甚至大脑,发挥着至关重要的作用。因此,小红书自研多模态大模型不仅是为了提升平台的内容理解和推荐能力,更是为了在未来的人机交互中占据先机。

小红书在AI领域的投入远不止于此。除了dots.vlm1外,hi lab还推出了dots.llm1和dots.ocr等模型,形成了dots模型家族。这些模型不仅在技术上有所突破,更体现了小红书对于多元智能的追求和探索。未来,随着技术的不断进步和应用场景的不断拓展,我们有理由相信小红书将在AI领域取得更多令人瞩目的成就。

未来十年科技新图景:智能硬件跃迁、AI赋能与网络无感化变革
本文将从智能硬件、AI 算法、未来网络、数字经济、安全体系等多个维度,分析科技浪潮下的核心趋势。 设备变得更聪明网络变得无形AI 成为能力底座数字经济成为主引擎安全体系成为关键支撑科技不是未来,而是现在正在发…

2025-11-15

桥梁位移监测仪:精准感知位移 灵活部署续航 守护桥梁安全出行
这种方式能够利用清洁能源为设备持续供电,既体现了节能环保的理念,也巧妙地解决了在市政供电不便场景下的设备续航问题,保障了监测工作的不间断进行。为了便于现场操作与维护,桥梁位移监测仪还配备了便捷的配置方式。 …

2025-11-14

水库增殖放流站物联网升级:实时监测,远程管控,开启智慧渔业新模式
通过接入溶解氧传感器、水温传感器、水质监测仪、自动投料机、自动增氧机、循环水设备PLC、摄像头等多种设备,物通博联智能数采网关能够实时采集各个鱼池的水质、溶解氧、水温以及投料、增氧、循环水等设备状态,通过5…

2025-11-14

5.5G辐射危害健康?物理学者:比太阳光频率低,基站越密越安全
我当时听了都愣了,太阳光那不是好东西吗,怎么还跟信号辐射扯一块儿了? 最有意思的是,他说大家都觉得基站多了辐射就大,这完全是搞反了。之前吵得最凶的那个阿姨,现在天天用5.5G跟外地的孙子视频,还跟邻居说这新基…

2025-11-14

高光谱探测器助力宽带叠层扫描成像 开启3D高光谱成像新篇
最近的研究表明,能量分辨或高光谱探测器可以在某种程度上取代单色器的作用来执行,例如,在单次采集中使用宽带辐射进行边缘减影叠层扫描成像。利用这样的探测器,时间相干性变得可调(在探测器的能量分辨率的限制内)并且在…

2025-11-12

中国电信携手多方完成2万公里中轨NTN在轨试验 速率达140Mbps
快科技11月11日消息,近日,中国电信研究院联合浙江电信,携手清华大学、上海清申科技、北京捷蜂创智科技,依托云网融合大科创装置天地一体卫星试验能力,成功完成NTN(非地面网络)制式在中轨卫星条件下的在轨技术验…

2025-11-12

NAND闪存供应告急价格半年翻倍,群联电子聚焦高利润企业客户
即便价格不断走高,市场对存储器的需求并没有减弱,而是不断增长。 据了解,群联电子在2025年中已经获得了2026年的大部分NAND闪存供应,并与六家供应商延长了长期协议。群联电子将与主要GPU和服务器供应商合…

2025-11-12

万卡AI集群:算力变革下数据中心建设逻辑、系统瓶颈与交付模式之变
它迫使数据中心的建设逻辑从“基建思维”转向“IT思维”;它将系统瓶颈从“算力”引向了“网络”;它也将交付模式从“工程项目”推向了“产品制造”。 当一个万卡集群被点亮时,它不再是一个被动容纳IT设备的“机房”…

2025-11-12

中国移动北斗短信升级新突破:无网也能畅发文字语音图片 应急通信添利器
iMobile爱科技11月11日讯——中国移动正式发布北斗短信业务重大升级成果,在原有文字通信基础上新增图片、语音等富媒体消息功能,并实现上行40 个汉字、下行 10 个汉字的文本传输能力升级,北斗通信进入…

2025-11-11

爱立信完成上行L4S技术测试,为5G时延敏感业务提供网络支撑
(全球TMT2025年11月11日讯)近日,在IMT-2020(5G)推进组的组织下,爱立信成功完成了上行L4S技术测试,验证了L4S在提升上行实时交互业务体验方面的显著效果。测试结果表明,L4S技术能够有效…

2025-11-11