o1 圆善版公开仅 10 天欧洲杯体育，Scaling Law 新范式就被逆向工程复现了！

Hugging Face 官方发文，开源了扩展测试时狡计的活动。

用在小小小模子 Llama 1B 上，数学分数胜仗卓绝 8 倍大的模子，也卓绝了狡计机科学博士生的平中分数（40%）。

那么用在 Llama 3B 上呢？逾越幅度更大，以致能和 20 几倍大的 70B 模子比好意思。

天然 OpenAI o1 的配方整个守密，莫得发布竣事细节或代码，但团队基于 DeepMind 公布的扣问后果，完成了我方的践诺。

在 DeepMind 扣问的基础上，Hugging Face 团队作念出如下立异：

千般化考证器树搜索（Diverse Verifier Tree Search），一种通俗而灵验的活动，不错普及千般性和更高性能，绝顶是在算力预算实足的情况下。

开源轻量级器具包 Search and Learn，与推理框架 vLLM 合营，快速构建搜索战略

测试时狡计扩展战略

现在扩展测试时狡计主要有两种战略：自我优化和搜索。

在自我优化中，模子识别和校正后续迭代中的诞妄来迭代优化我方的输出或"念念法"。

团队合计天然此战略对某些任务灵验，但频繁条款模子具有内置的自我优化机制，这可能会斥逐其适用性。

搜索活动侧重于生成多个候选谜底并使用考证器聘请最好谜底。

搜索战略更活泼，不错适合问题的难度。Hugging Face 的扣问主要聚焦于搜索活动，因为实用且可扩展。

其中考证器不错是任何东西，从硬编码到可学习的奖励模子，这里将重心先容可学习的考证器。

具体来说，扣问波及三种搜索战略：

Best-of-N

为每个问题生成多个反馈，并使用奖励模子为每个候选谜底分拨分数。聘请分数最高的谜底（或加权变体），这种活动强调谜底质料而不是频率。

Beam search

一种探索管理决议空间的系统搜索活动，频繁与过程奖励模子 （PRM） 相麇集，以优化管理问题中中间本领的采样和评估。与在最终谜底上产生单个分数的传统奖励模子不同，PRM 提供一系列分数，推理过程的每个本领分拨一个分数。这种提供精细反馈的智商使 PRM 特地符合大模子。

千般化的考证器树搜索 ( DVTS )

新开辟的 Beam search 变体，它将运转 Beam 拆分为孤立的子树，然后使用 PRM 作念霸术扩展。这种活动不错普及管理决议的千般性和举座性能，尤其是在测试时算力预算较大的情况下。

践诺设立：3 种搜索战略 PK

最初将数知识题提供给大模子，生成 N 个中间本领。

每个本领皆由 PRM 评分，猜想每个本领最终能得出正确谜底的概率。

给定的搜索战略使用这些本领和 PRM 分数，来聘请应该进一步探索哪些标的，生成下一轮中间本领。

搜索战略鉴别后，PRM 将对最终候选管理决议进行排行，以生成最终谜底。

为了比较千般搜索战略，扣问中使用了以下灵通模子和数据集：

讲话模子，Llama-3.2-1B-Instruct四肢主要践诺对象，因为轻量级模子不错快速迭代，况兼在数学基准测试中性能不饱和

历程奖励模子，使用了Llama3.1-8B-PRM-Deepseek-Data，与讲话模子同属一个系列，且在测试中给出了更好的后果。

数据集，使用 MATH 基准测试的子集MATH-500，该子集由 OpenAI 发布，数知识题横跨 7 个科目，对东说念主类和大多量模子来说皆有挑战性。

践诺后果：动态分拨战略达到最优

最初，多量投票战略比霸术解码基线有权贵立异，收益在苟简 N=64 后趋于领路。

团队合计，之是以出现这种斥逐，是因为多量投票难以管理需要紧密入微推理的问题，概况管理几个谜底错到一块去的任务。

奖励模子加入后的战略，发扬均有普及。

Best-of-N战略分为两种变体，原版（Vanilla）不商量谜底之间的一致性，加权版（Weighted）汇总通盘后果沟通的谜底，并聘请总分数最高的。

后果发现加权版耐久优于原版，绝顶是在算力预算大的时期更较着，因为确保了频率较低但质料较高的谜底也能获选。

Beam Search战略终于让 1B 模子发扬入手高于 8B。

但 Beam Search 并不是万金油活动，在通俗的问题上发扬反而不如 Best-of-N。

团队通过稽察后果树，发现若是一个中间本领取得了高分，那么通盘树就会崩塌到这一步，影响了后续谜底的千般性。

最终，DVTS活动立异了谜底的千般性，该活动与 Beam Search 比拟有以下不同之处：

关于给定的 Beam 宽度（M）和生成数目 N，运转 Beam 集设定为 N/M 个孤立子树

关于每个子树，聘请 PRM 分数最高的本领

生成 M 个新的下一步，不息聘请分数最高的

重迭这个过程，直到生成 EOS token 后鉴别，或达到最大深度

在对问题难度细分后，发现 DVTS 活动在 N 比较大时增强了对通俗 / 中等难度问题的性能。

而 Beam Search 在 N 比较小时仍然发扬最好。

最终基于问题难度动态分拨战略的活动不错取得最好得益。

终末团队淡薄，翌日这项期间还有更多值得探索的场所：

更弘大的考证器，普及其慎重性和泛化智商至关蹙迫。

最终盘算是竣事自我考证，现在在彭胀中仍然难以竣事，需要更紧密的战略。

在生成过程中加入明确的中间本领或 "念念法" ，通过将结构化推理整合到搜索过程中，不错在复杂任务中取得更好的性能。

搜索活动不错用于合成数据，创建高质料的考试数据集

灵通的历程奖励模子现在数目较少，是开源社区不错作念出要紧孝敬的限制

现在的活动在数学和代码等限制发扬出色，这些问题本体上是可考证的，怎么将这些期间扩展到结构性较差或评判圭表主不雅的任务，照旧一个要紧挑战。

批驳区有网友暗示，这种活动更符合土产货部署，而不是 API 调用，因为调用 256 次 3B 模子和过程奖励模子，频繁会比调用一次 70B 模子更贵。

也有东说念主建议在 Qwen 系列模子上尝试，以及指路天工 Skywork 发布了两个基于 Qwen 的 PRM 模子

开源代码：

https://github.com/huggingface/search-and-learn

参考链接：

[ 1 ] https://huggingface.co/spaces/HuggingFaceH4/blogpost-scaling-test-time-compute

[ 2 ] https://x.com/_lewtun/status/1868703456602865880

—  完  —

点这里� � 护理我，铭刻标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日再见 ~