FIELD NOTE / {$vo.autoindex}

GitHub star量过千,HF榜单第二,第一个会自己改学习规则的视觉骨干开源了

人眼在观察陌生事物时,从来不是按一套死板的程序走到底的。 读一封字迹潦草的手写信,最难认的往往是开头几个字。看得多了,我们渐渐摸清写信人的笔画和连笔习惯,后面的字也就越认越顺。医生阅片、考古学者辨认拓片,也有类似的经验:前面识别出的线索,会影响后面如何观察和判断。 这看起来是一件很自然的事,但对视觉 AI 而言,要实现并不简单。 一张图片进入模型后,哪些区域需要重点关注、不同位置的特征怎样关联,模

GitHub star量过千,HF榜单第二,第一个会自己改学习规则的视觉骨干开源了
NX REPORT
2026
当前位置 6686体育-6686体育app-6686体育官方网站 资讯中心 GitHub star量过千,HF榜单第二,第一个会自己改学习规则的视觉骨干开源了

据6686体育整理:

人眼在观察陌生事物时,从来不是按一套死板的程序走到底的。

读一封字迹潦草的手写信,最难认的往往是开头几个字。

看得多了,我们渐渐摸清写信人的笔画和连笔习惯,后面的字也就越认越顺。

医生阅片、考古学者辨认拓片,也有类似的经验:前面识别出的线索,会影响后面如何观察和判断。

这看起来是一件很自然的事,但对视觉 AI 而言,要实现并不简单。

一张图片进入模型后,哪些区域需要重点关注、不同位置的特征怎样关联,模型已经能够根据眼前的画面作出调整。

可在很多现有架构里,决定信息如何被学习、该更新多少、哪些旧信息应当保留的规则,仍主要由训练阶段确定。

换一张图片,模型的计算结果会改变,背后的许多学习规则却不会跟着改变。

明略科技与中国科学院自动化研究所 的研究团队,正试图推动这一步。

双方联合提出 VisionHOPE—— 首个以自修改学习系统为核心构建的通用视觉骨干网络 它让模型在一次前向计算中,一边读取和保存图像信息,一边根据已读到的内容更新自己的学习方式。

前面看过的区域,能够参与决定后面的特征怎样建立关联、学习步长该有多大、已有记忆应保留多少。

这项研究并不只停留在机制设计上。

about image

在 ImageNet-1K 图像分类基准上,拥有 52.

9M 参数的 VisionHOPE-S 取得 85.

2% 的 Top-1 准确率,参数量不到 VMamba-B(89M)的六成,准确率高出 1.

3 个百分点;

VisionHOPE-B 的准确率达到 85.

6%。

同时,其自修改机制的核心计算量随 Token 数量线性增长。

论文发布后曾登上 Hugging Face 每日论文榜第 2 名,GitHub 开源仓库也在短时间内收获了近 1000 Stars。

目前,研究团队已将全部代码、底层算子与预训练权重按 MIT 协议向社区开放。

论文标题:VisionHOPE: Visual Backbones as Self-Modifying Learning Systems Hugging Face 论文页:https://huggingface.

co/papers/2609.

33325 Hugging Face VisionHOPE 主页:https://huggingface.

co/PSRben/VisionHOPE GitHub 代码:https://github.

com/PSRben/VisionHOPE 视觉模型越来越会 “看”,但学习规则还可以更灵活 要理解 VisionHOPE 的新意,可以先看视觉骨干这些年的变化。

早期的卷积神经网络(CNN)擅长从局部捕捉边缘、纹理等信息。

它使用训练好的卷积核提取特征,图像中距离较远的区域,需要经过多层计算才能建立联系。

后来出现的视觉 Transformer(ViT),借助自注意力机制,让不同位置能够根据当前图像直接交互。

模型看到了更大范围的内容,但生成注意力的投影参数依然固定,而且全局注意力的计算量会随着 Token 数量平方增长,图像尺寸越大,计算压力越明显。

再往后,Mamba 等状态空间模型通过沿序列传递状态,将计算复杂度降至线性。

状态转移可以随当前输入变化,但负责从输入生成状态转移的映射,仍由训练阶段确定。

TTT(测试时训练)又向前走了一步:它在网络内部设置小型学习器,允许学习器处理图像时更新自身参数。

不过,生成学习表征,以及控制更新步长和记忆保留的规则,仍主要在训练时设定。

沿着这条路线看,研究者一直在扩展模型对 “当前这张图” 的适应范围:从局部特征,到全局交互、动态状态,再到内部学习器的参数更新。

VisionHOPE 进一步把决定学习方式的参数也纳入了图像内部的更新过程 图片 1|不同视觉架构对当前图像的适应方式:从局部特征、全局交互和状态转移,到内部学习器更新,再到自修改学习。

箭头表示图像内适应范围逐步扩大。

这一设计建立在嵌套学习(Nested Learning,NL)及其 HOPE 架构的自指机制之上。

简单说,模型处理图像时积累的内容,不只留待最后生成识别结果,还会反过来参与下一步学习规则的调整。

这件事之所以值得关注,也与视觉骨干本身的地位有关。

无论是图像识别,还是需要结合图像与语言的多模态系统,视觉骨干都负责提供最基础的视觉表征。

此前,MMVP 已揭示多模态模型在基础视觉辨别能力上的缺陷;

Cambrian-1 的研究则表明,改善视觉表征能够进一步提升多模态能力。

视觉底座怎样理解图像,关系到上层模型能够获得怎样的信息。

表1|不同视觉架构对当前图像的适应方式 把 “怎么学” 交给记忆:VisionHOPE 的三个关键设计 让模型修改自己的学习规则,可以拓展模型的表达能力,但也带来了理论和工程上的新问题。

在以自指嵌套学习模块 SRNL 构建通用视觉骨干时,研究团队重点解决了三个问题:记忆如何组织与更新,自指

6686体育将继续整理相关资讯。

MORE TO EXPLORE

继续阅读

奥黛邂逅粗花呢!越南夫人与丹麦玛丽王后,外交红毯上演东西方美学碰撞

奥黛邂逅粗花呢!越南夫人与丹麦玛丽王后,外交红毯上演东西方美学碰撞

国事访问的红毯,从来不只是礼节的交汇,更是无声的时尚舞台。越南第一夫人吴芳丽出访丹麦,在哥本哈根王宫前与丹麦玛丽王后同框亮相,一套是东方古韵的紫色奥黛,一套是北欧经典粗花呢连衣裙,两种截然不同的美学风格相遇,演绎出跨越地域的优雅,也让外交穿搭的魅力被大众看见。 吴芳丽夫人选择的紫色奥黛,是越南文化最具代表性的符号。这件礼服选用带有细腻暗纹的提花面料,沉稳的茄紫色温润大气,在北欧浅灰色石质建筑与红色

枪手名宿:巴黎不差钱,阿森纳几乎不可能引进克瓦拉茨赫利亚

枪手名宿:巴黎不差钱,阿森纳几乎不可能引进克瓦拉茨赫利亚

直播吧10月19日讯 阿森纳仍在寻找顶级的左边锋,但前枪手名将格里曼迪向GOAL解释了为何巴黎圣日耳曼的天才巨星克瓦拉茨赫利亚对阿森纳来说可能遥不可及。 这位曾夺得欧冠冠军的格鲁吉亚国脚若能加盟酋长球场,无疑是一笔梦幻引援,但巴黎目前毫无出售克瓦拉茨赫利亚的意愿。即便开启转会谈判,他们也会开出天价。 阿森纳曾与维尼修斯和巴尔科拉传出绯闻 在继2003-04赛季著名的不败之师后,这支北伦敦豪门上赛季

GitHub star量过千,HF榜单第二,第一个会自己改学习规则的视觉骨干开源了

GitHub star量过千,HF榜单第二,第一个会自己改学习规则的视觉骨干开源了

人眼在观察陌生事物时,从来不是按一套死板的程序走到底的。 读一封字迹潦草的手写信,最难认的往往是开头几个字。看得多了,我们渐渐摸清写信人的笔画和连笔习惯,后面的字也就越认越顺。医生阅片、考古学者辨认拓片,也有类似的经验:前面识别出的线索,会影响后面如何观察和判断。 这看起来是一件很自然的事,但对视觉 AI 而言,要实现并不简单。 一张图片进入模型后,哪些区域需要重点关注、不同位置的特征怎样关联,模

对中国最狠的美国总统,不是特朗普,而是从不跟中国红脸的他

对中国最狠的美国总统,不是特朗普,而是从不跟中国红脸的他

各位好,我是智史。 美国历任总统里,谁对华下手最狠、挖坑最深?把时间拨回几年,听听前AIG掌门人汉克·格林伯格在节目里聊的门道,答案自然就会浮出水面。 这位老爷子1975年就跑到北京跟中国人民保险公司谈合作,1992年拿下新中国第一张外资保险营业执照,跟中国打了快五十年交道。他聊到TPP,话没绕弯子——把中国排除在外,是这步棋下得最错的地方。 老爷子的意思挺直白:真要防着中国,就该拉进来一起谈,谈

00后团伙1年多仙人跳敲诈38次、得手155万,“报强奸”竟成了他们勒索受害人的刀

00后团伙1年多仙人跳敲诈38次、得手155万,“报强奸”竟成了他们勒索受害人的刀

来看澎湃新闻披露的这么一串骇人案子—— 【#仙人跳后报警被强奸多名受害人被抓#】#仙人跳后报警称被强奸威胁受害人#一个以“00”后为主要成员、包括多名在校大学生在内的犯罪团伙,在短短一年多时间内,先后实施“仙人跳”38起,敲诈得手155万余元。其中,有三人因识破敲诈拒不支付钱款,“仙人跳”团伙成员报警后,该三名受害人被采取刑事强制措施。 2025年1月3日,被告人陈某、王某霖、马某扬预谋后,由马某