长安英文网站建设平台网站建设源码

1. 监督学习：需要人工给出推理过程；

2. RLVR: 推理过程由agent自我生成和学习，计算reward的gold值是环境或工具给出的，题目仍需要人工给出；

3. 本方法：题目也是agent自己生成的。（gold值仍需环境或工具给出）。

基本理论：

1. SFT的公式：（优化，使得input prompt x生成推理c*和结果y*的概率最大化）

痛点：模型吸收了足够多的知识后，没有更强的模型可供生成数据了，人工来标注数据又太费钱；

2. Reinforcement Learning with Verifiable Rewards的公式：（波浪线表示采样；y是模型采样得到的结果，y*是ground truth结果, r是reward function)

3. 本方法的公式：

示意图：

learnability: 模型训练了该样本之后，变强了多少；（太简单，模型每次都答对，则该样本没价值；太难，模型每次都打错，则该样本也没价值）

本文中，z这个随机变量，是用当前的题目集合中采样几个得到的题目集合；

流程图：

借助python这个工具，进行了对propose结果的learnability打分，进行了对solve结果的正确性打分。这2个分数，共同更新模型参数。

proposer的reward，就是多次solve(蒙特卡洛展开）取分数的平均值：

solver的reward，就是答对了还是答错了：