这项由Hexo Labs（好意思国帕洛阿尔托、比利时布鲁塞尔、加拿大多伦多三地团队纠合）及英国牛津大学共同完成的讨论，以预印本格式发布于arXiv平台，论文编号为arXiv:2605.27276，最新版块于2026年5月28日更新。
---
一、AI进化的"瓶颈"——为什么东说念主类成了最大的禁锢？
每当咱们谈到东说念主工智能越来越广泛，背后其实有一个很少被说起的前提：这些AI系统的每一次跳跃，险些都离不开东说念主类工程师和讨论东说念主员的躬行介入。从领先锻真金不怕火模子，到诊治参数，再到搭建千般外围器具，东说念主类一直是通盘经过里无法不详的要津。不错打个譬如，当今的AI就像一个资质极高的学生，但这个学生每次想要普及我方，都需要敦厚手把手地帮他修改学习运筹帷幄、更换课本、诊治作息——学生我方无法孤独完成"自我升级"。
这种对东说念主类侵扰的依赖，恰是现时AI规模最中枢的"瓶颈"之一。Hexo Labs的讨论团队封锁到，若是能让AI系统在给定一个任务描摹和一个评判圭臬之后，自行决定怎样改善我方——既不错诊治外部的"操作手册"，又不错修改里面的"想维格式"——那将是一次真的道理上的恣虐。SIA（Self Improving AI with Harness & Weight Updates，即"带有器具链和权重更新的自我改革AI"）恰是这一设计的具体终了。
---
二、两条互不相交的讨论阶梯——各自的局限在那边？
在SIA出现之前，讨论界其实一经有两条探索AI自我改革的阶梯，但这两条阶梯持久以来各利己战，从未真的交融。
第一条阶梯不错领路为"改装外壳"。讨论者让一个"元AI"（即一个专门负责改革其他AI的AI）接续修改任务AI的操作手册——包括它使用的器具、教唆语、出错重试逻辑、输出主张格式等等。这就好像给一个厨师接续更换厨具、改写食谱、优化备菜经过，但厨师本东说念主的厨艺和知识储备恒久不变。这类使命的代表包括Darwin Godel Machine、Meta-Harness、Hyperagents等系统。这条阶梯的共同发现是：反复修改操作手册，改革的时时是"经过效用"，而不是AI真的的规模领路材干——有些知识，无论何如改教唆语，AI就是无法从里面"学会"。
第二条阶梯则不错领路为"强化内功"。讨论者设计好一套固定的锻真金不怕火经过，然后让AI在濒临新任务时，通过自身表露的反应来诊治里面参数（也就是"权重"）。这就像让厨师通过反复烹调、品味、追念，真的把新菜式的手段内化为我方的本能。这类使命的代表包括TTRL、Discover-TTT等。但这条阶梯的问题在于，锻真金不怕火经过是东说念主工设计的、固定的，AI只可在既定的框架内学习，无法凭据任务特色生动诊治学习战略。
这两条阶梯的共同舛错，就是"只用一只手"——要么只改外壳，要么只练内功，从未同期作念到两者。SIA的中枢孝顺，恰是初度将这两个行动融入一个融合的自动化轮回之中。
---
三、SIA的中枢设计——一个三角相助的自我进化轮回
SIA的举座架构不错用一个三角相助来领路。这个三角形的三个角，分别是"运行化众人"（Meta-Agent，元智能体）、"实践者"（Task-Specific Agent，任务智能体）和"反应教训"（Feedback-Agent，反应智能体）。
元智能体的职责是"开局"：给定一个任务描摹和一些参考终了，它负责为任务智能体生成一套运行的操作手册。这套操作手册包含系统教唆语、器具调用逻辑、谜底索求代码等，是任务智能体动手使命的基础建立。
任务智能体是真的"干活"的变装：它拿着操作手册，在一个受控的沙盒环境中对任务数据集进行处理，产生输出结果，同期记载下齐全的实践过程日记——每一次模子调用、每一次器具使用、每一次输出索求，彻底被记载下来，这份齐全的日记被称为"轨迹"。
反应智能体则是这个轮回的中枢驱能源。它不单是看汇总的收成数字，而是拿到任务智能体的齐全轨迹，像一位有教训的教训雷同逐条分析那边出了问题、为什么出问题。分析完之后，反应智能体要作念一个要害决策：下一步，是修改操作手册（改外壳），照旧触发一轮强化学习锻真金不怕火（练内功）？这个决策本人亦然动态的，依赖于不雅察到的任务类型和现时的改革瓶颈。
这个三角形接续轮回运转，直到用完预算的设施数为止。每一轮轮回，要么操作手册变得更好，要么模子的里面参数变得更好，要么两者兼容并蓄。通盘过程无需东说念主类侵扰，只需要在最动手提供任务描摹和一个评判圭臬（即"考据器"）。
---
四、两个"旋钮"的具体运作——操作手册怎样更新，权重怎样锻真金不怕火？
操作手册的更新过程，罢黜一个固定的三步节律：先让现时版块的任务智能体跑一遍数据集，网罗齐全轨迹；然后反应智能体分析这些轨迹，找出具体的失败模式；临了反应智能体生成一份改革诠释和一个全新的操作手册版块。在这个过程中，模子的权重保持不变，变化的只是"外部基础设施"——器具、教唆语、主张逻辑、重试战略等。
为了恶臭操作手册因为过度适配某几个特殊任务样本而失去通用性，元智能体在生成运行操作手册时会构兵到千般化的任务描摹，这被称为"样本任务正则化"——访佛于厨师在制定圭臬食谱时参考了来自不同地区、不同口味偏好的主顾反应，而不是只针对一桌宾客。
权重更新的过程则更像是一种定制化的强化锻真金不怕火。反应智能体并不会机械地套用归拢种锻真金不怕火算法，而是凭据现时任务的特色和不雅察到的奖励信号散布，动态采用最合适的锻真金不怕火战略。在实验诠释的三个任务中，分别出现了三种不同的锻真金不怕火格式，这体现了SIA在锻真金不怕火战略采用上的生动性。
具体来说，当奖励信号相比密集、锻真金不怕火稳健性是主要费心时，反应智能体会采用一种叫作念"PPO with GAE"的设施，这是一种带有专门"价值评估扶持集聚"的战略优化算法，大概让模子在不偏离已有材干太远的前提下稳步改革。当任务的谜底考据发生在通盘解答完成之后、且不错快速并行生成大批尝试时，反应智能体会采用"GRPO"，这种设施不需要迥殊的价值评估集聚，告成对一批尝试的结果进行相对名次，盘算本钱更低，并行材干更强。当奖励信号相配疏淡——也就是大多数尝试都失败、只泄劲少数尝试能产生有用信号时，反应智能体会采用"熵上风加权"设施，通过对少数得胜案例给以更大的学习权重，让模子从选藏的得胜教训中最大截止地接收营养，恶臭有用的信号被大批失败的杂音覆没。
此外，讨论团队还提到，在更日常的实验中（不限于论文郑重诠释的三个任务），反应智能体还不雅察到两种迥殊的战略：当奖励密集但主要风险是模子材干退化时，会采用附加了"与原始模子各异刑事背负项"的最浮浅强化学习格式；当奖励如斯选藏甚至于战略梯度信号险些为零时，会先进行"精英效法学习"——挑出少数表露最佳的尝试，让模子告成学习这些得胜案例，将基准得胜率普及到一个合理水平，再切换到郑重的强化学习阶段。
---
开云足球世界杯官方手机APP下载五、三个真实战场——SIA在法律、盘算机系统和生物学上的施行表露
为了考据SIA不是只对特定类型任务灵验，讨论团队采用了三个天悬地隔的规模来作念测试，并与此前最佳的已知结果进行了告成相比。
**法律规模：中语刑事罪名分类**
第一个测试来自法律规模，具体任务是LawBench——一个191类中语刑事罪名分类基准。给定一段真实案件的事实描摹，模子需要从191种罪名中找出正确的那一个。这191种罪名涵盖了极为详细的法律永诀：比如普通盗窃、民众财产盗窃和挪用公款都属于"盗窃"类的不同分支，轻伤、重伤和挑升伤害也各有不同的法律定性。关于这个任务，未必推断的正确率不到1%，即就是受过专科锻真金不怕火的法律从业者也会感到辣手。通盘数据集包含5332个锻真金不怕火样本和913个测试样本，评测在测试集上进行。
SIA的进化过程是这么张开的。操作手册的更新阶段，前几代版块建设了基本的分类使命流，后续几代渐渐将中枢战略不休到一种基于文本特征匹配和线性分类器的经过，通过接续诊治字符级别的特征索求领域和正则化参数，准确率从领先的13.5%稳步爬升到了50.0%，超越了此前最佳收成（45.0%）。此时，反应智能体检测到改革一经停滞，就地切换到权重锻真金不怕火阶段，领受PPO with GAE设施对模子的分类材干施加精准的梯度压力，最终将准确率推动到了70.1%。这意味着，仅靠更新操作手册，百家乐软件APP下载安装2026最新版一经卓越了之前系数设施；再加上权重锻真金不怕火，又迥殊普及了20.1个百分点，达到了此前最优结果的156%。
**盘算机系统规模：GPU中枢运算优化**
第二个测试来自底层盘算机系统规模，任务是为AlphaFold2（一款预测卵白质三维结构的著名AI系统）中的一个中枢运算模块编写高效的CUDA法式，并在H100 GPU上运行。这个运算模块叫作念"三角乘法更新"，它的特色是内存侦查模式不连结，导致GPU的并走时算材干无法被充分愚弄，想要写出真的高效的终了，需要掌捏好多H100私有的底层手段——比如分享内存分块、寄存器压力管理等。评分圭臬是1500除以运行时代，数字越大代表法式越快。此前最佳收成对应的运行时代约为1161微秒。
SIA在操作手册更新阶段，舒缓构建并改革了大概正常运行的CUDA法式，最终将运行时代压缩到了12483微秒，取得了约1.14倍的加快比。谨防这里的运行时代比滥觞的14254微秒如实有所改善，但仍然远未卓越此前最优。切换到权重锻真金不怕火阶段后，反应智能体领受了熵上风加权设施来处理这种奖励相配疏淡百家乐2026世界杯中国官方下载的场景（大多数生成的CUDA法式要么编译失败，要么性能极差），让模子真的掌捏了H100私有的优化手段，最终将运行时代一举压缩到了1017微秒，速率普及到基准的14.02倍，比此前最优结果快了12.4%。这个改革幅度让东说念主印象潜入，因为从12483微秒到1017微秒的跃升，险些完全来自于权重锻真金不怕火阶段——操作手册再何如修改，都无法让模子"诬捏学会"那些需要深度内化的GPU编程知识。
**生物学规模：单细胞RNA数据去噪**
第三个测试来自生物学，任务是优化一种叫作念MAGIC的单细胞RNA数据处理算法的参数。单细胞RNA测序是一种测量每个细胞基因活性的手艺，但由于手艺本人的局限性，测量结果中会有大批蓝本应该黑白零的数值被造作地记载为零（这种表象叫作念"手艺衰竭"）。MAGIC算法通过在细胞之间分享和扩散信息来弥补这些缺失值，但它的效用极端依赖于几个互相耦合的参数：周边数目k太小会过度敏锐于个别细胞的噪声，太大则会把真实的生物各异给"平均掉"；扩漫步数t和核带宽α也存在访佛的衡量。评估主张mse_norm越高越好，此前最佳收成为0.240。
操作手册更新阶段，任务智能体对这些参数的组合空间进行了系统性的探索，最终将mse_norm稳健在了0.241，刚好卓越了此前最优。链接修改操作手册一经无法带来进一步改善，反应智能体于是切换到GRPO权重锻真金不怕火。在第一个权重锻真金不怕火查抄点，模子产生了一个在通盘操作手册迭代过程中从未出现过的结构性改革：在MAGIC处理结果后头加多了两行代码，将输出数值编著为非负整数。这听起来是个极其浮浅的后处理设施，但它背后有着明确的生物学逻辑——真实的基因抒发计数不行能是负数，也不行能是极少，将结果取整并编著到非负领域，施行上是把一个生物学学问告成编码进了模子的输出战略。这一更变将mse_norm普及到了0.289，比操作手册最佳结果又高出了20%。
---
六、两个旋钮分别改变了什么？——深入领路"外壳"和"内功"的施行区别
操作手册的更新，施行上是对"外部基础设施"的校阅。在LawBench任务上，它搭建了一个结构化的谜底索求层和候选罪名再排序器具；在CUDA优化任务上，它建设了一个大概主张编译造作日记并将会诊信息结构化地反应给模子的器具，以及一个大概精准测量中位运行时代的计时框架；在去噪任务上，它构建了一个批量建立驱动器和一个大概将"参数组合—得分"配对结果整皆呈现给模子的主张器具。这些改变都是"外围的"——模子本人莫得任何变化，变化的是模子与任务环境之间的接口和中介层。
权重锻真金不怕火的更新，则是对"里面知识"的真的改写。在LawBench上，梯度压力让模子学会了永诀191个罪名中那些相配相似的子类别，这种细小鉴别力无法通过任何教唆语来得回。在CUDA优化上，模子真的掌捏了H100 GPU的特定编程手段，这些手段无法被写进操作手册——你不错在操作手册里告诉模子"要谨防分享内存分块"，但模子真的学会怎样作念，只可通过自身生成代码、不雅察结果、承袭梯度反应来终了。在去噪任务上，阿谁"编著到非负整数"的后处理设施，代表了模子将一个生物学经管内化为我方的输出战略——这个经管在操作手册的无数次迭代中从未被建议，却在权重锻真金不怕火后当然披露。
---
七、这个系统还有哪些值得正视的问题？
讨论团队在论文中坦诚地指出了SIA现时边临的一个中枢挑战，这个挑战被称为"耦合协进化的古德哈特问题"。浮浅来说，古德哈特定律是一条著名的社会科学教训划定：当一个估量主张成为优化主张时，它就不再是一个好的估量主张了——因为系统会动手"针对主张"进行优化，而不是针对主张背后真的想要估量的东西。
SIA濒临的是这个问题的一个更复杂的版块：操作手册的更新和权重的锻真金不怕火，都在针对归拢个固定的考据器进行优化。操作手册会找到那些对现时模子来说最容易愚弄的框架，权重则在由现时操作手册塑造的数据散布上进行锻真金不怕火，而这个操作手册接下来又会改变。两个优化过程互相依赖、互相影响，它们最终不休到的"稳健点"，从表面上说是两个优化者之间的纳什平衡，而不一定是真的道理上的最优解——这个稳健点在锻真金不怕火考据器上看起来很好，但在考据器莫得隐敝到的散布或任务变体上可能显得脆弱。这是一个洞开的讨论问题，SIA面前还莫得提供处置决议。
---
八、下一步想作念什么？——讨论团队的预计
讨论团队建议了两个主要的后续讨论场所。
第一个场所是让"反应智能体的决策本人"也变成不错学习的对象。面前，反应智能体采用"是修改操作手册照旧锻真金不怕火权重"，依赖的是一个事先固化的大说话模子判断，施行上照旧东说念主工设计的启发式章程。更想象的作念法，是把SIA在一系列任务上运行的教训累积起来，把每一次"（不雅察到的情景，遴选的活动，得到的结果）"三元组视为一个外层强化学习问题的锻真金不怕火数据，让决策战略本人也通过强化学习来改革。这么就造成了一个真的递归的自我改革结构——不仅系统在跳跃，驱动系统跳跃的机制本人也在跳跃。
第二个场所是让两种更新模式的切换愈加细粒度。现时的SIA所以"轮次"为单元在操作手册更新和权重锻真金不怕火之间粗粒度地切换。一个更精细的退换格式，应该允许反应智能体在操作手册搜索过程半途就触发一次权重更新，或者在权重锻真金不怕火刚完成后坐窝重启操作手册探索，减少从"发现瓶颈"到"遴选活动"之间的蔓延，可能会解锁一些粗粒度轮换模式下错过的改革旅途。
---
说到底，SIA这项使命的道理，与其说是"AI变得更强了"，不如说是"AI学会了以更系统化的格式让我方变得更强"。这两者之间的区别，就像一个通过反复熟悉题目变得更锐利的学生，和一个大概主动分析我方那边不及、决定是要换课本照旧去找真实模样练手的学生之间的区别。后者的后劲，显豁要洞开得多。
面前，SIA在三个天悬地隔的规模都取得了超越此前最佳结果的表露，这至少讲解了"同期诊治外壳和内功"这条路是走得通的。至于它能走多远，以及如安在保证系统不"钻空子"的前提下让它走得更远，可能会是接下来几年AI自我改革讨论规模最值得持续温和的问题之一。有兴味深入了出恭艺细节的读者，不错通过arXiv编号arXiv:2605.27276查阅齐全论文。
---
Q&A
Q1：SIA系统和普通AI大模子有什么施行区别？
A：普通大模子的材干在锻真金不怕火完成后基本固定，使用时只可依靠外部教唆来携带它。SIA是一个自动化轮回系统，它能在给定任务后，既自动修改自身的操作手册（外部器具和经过），又能通过强化学习更新模子里面参数，两者协同进行，通盘过程不需要东说念主类工程师介入。
Q2：SIA在中语法律罪名分类任务上的70.1%准确率是何如终了的？
A：SIA起先通过反复修改操作手册，将分类经过优化到基于文本特征匹配和线性分类器的战略，准确率从13.5%普及到50%。随后检测到瓶颈后，切换到PPO强化学习锻真金不怕火，对模子永诀191个罪名细小别离的材干进行针对性强化，最终达到70.1%，比此前最优结果高出25.1个百分点。
Q3：SIA锻真金不怕火权重时用的强化学习算法为什么每个任务都不雷同？
A：因为不同任务的奖励信号特征各异很大。法律分类任务奖励信号密集且稳健，相宜用PPO保证锻真金不怕火稳健性；CUDA优化任务大多数生成代码都无效，奖励相配疏淡，相宜用熵上风加权放大选藏得胜样本的学习信号；去噪任务不错快速并行评估大批决议，相宜用GRPO裁汰盘算本钱。SIA的反应智能体会凭据不雅察到的轨迹动态采用最合适的算法。
备案号: