这项由俄罗斯T-Tech研究团队完成的研究，于2026年7月发表在ICML 2026强化学习研讨会（RLxF: Reinforcement Learning from World Feedback）上，论文编号为arXiv:2607.01897。有兴趣深入探究的读者可以通过该编号在arXiv平台上查阅完整论文。
教一个孩子学骑自行车，通常有两种方法。第一种是在旁边喊口令，每次他歪了就纠正，每次稳了就鼓励——这是有明确奖励信号的方式。第二种是让他先看一段骑车高手的视频，反复看，然后自己上车摸索，没有人在旁边打分，但他心里已经有了"什么叫骑对了"的直觉。
大多数AI训练智能体（就是让AI自主完成任务的技术）走的是第一条路：给AI一个明确的"打分系统"，做对了就加分，做错了就扣分。但T-Tech的研究团队提出了一条更接近第二种方式的道路——让AI只看专家视频，不需要任何人工打分规则，就能自己学会做任务。这个框架叫做**Rank-Then-Act（RTA，先排名再行动）**。
一、为什么不用打分系统这么难
要理解这项研究有多难，得先理解为什么"不给打分"是个大问题。
以电子游戏为例。通常的AI训练是这样的：游戏通关了，加1000分；掉血了，扣100分；原地踏步，扣10分。AI通过反复试错，慢慢摸索出哪些行为会让分数升高，最终学会玩游戏。这套叫做"强化学习"的方法在很多场景里非常有效。
但现实世界里，很多任务根本没有这样现成的打分系统。比如机器人要学会组装家具，你怎么定义"拧螺丝拧到50%是多少分"？或者一个AI要学会帮人泡一杯咖啡，你怎么给"把水烧开"这个中间步骤一个准确的分值？打分规则一旦设计不当，AI会找到各种"钻空子"的办法——比如在游戏里原地转圈刷时间也能加分，这就是研究者担心的"奖励黑客"问题。
另一条路是让AI看人类专家的操作视频，从视频里自己理解"什么是进步"。这听起来很美，但有三个棘手的障碍。
第一个障碍：时间越往后不等于越好。如果直接拿视频的帧序列训练AI，AI会偷懒学会一个最简单的规则——"视频后面的帧就是好的，前面的帧就是差的"，根本不去理解任务本身。第二个障碍：不同任务之间的"进度"尺度完全不同，一个游戏里从0%到100%的进度条，跟另一个游戏里的进度条根本没法直接比较。第三个障碍：在实际运行时，每一步都要让AI打分太慢了，还容易因为分布偏移（AI遇到的情况和训练时不太一样）导致打分失灵。
RTA的核心贡献，就是针对这三个障碍分别设计了解决方案。
二、第一步：教AI看懂视频里的"时间顺序"
RTA的第一个阶段可以用一个简单的游戏来理解：把一本漫画书的页面顺序打乱，然后让你把它重新排好。要排好，你得真正理解故事在讲什么，而不是靠页码作弊。
研究团队做的事情与此完全一致。他们拿到专家玩游戏的视频，把视频帧的顺序打乱（就像把漫画书页面打散），然后训练一个视觉语言模型（可以理解为既能看图又能理解文字的AI，简称VLM）来为每一帧打一个"进度排名"——哪帧是最早的，哪帧是最晚的。
但这里有一个关键的细节设计：他们会保留视频的第一帧不动，把它作为一个"锚点"，然后把剩下的帧随机打乱。这个"锚点"的作用类似于给你一本漫画书的封面，让你知道故事从哪里开始，然后让你排序后面的内容。没有这个封面，你可能分不清楚故事是顺着走还是倒着走——进度方向就变得模糊了。
这个VLM在看完打乱的帧后，需要为每一帧写一段"帧描述"并给出它认为这帧在原始视频中的排名位置。例如，它可能输出"第3帧：描述...排名：2"，意思是这帧应该是第2个出现的。
训练这个VLM用的是一种叫做GRPO的优化方法——可以把它看成一种"比较学习"：让VLM对同一段打乱的视频给出多个不同的排序方案，然后看哪个方案的排序结果跟真实的时间顺序最接近，最接近的方案就得高分，其他方案根据差距得低分，VLM从这种比较中学习改进。
衡量排序准确度的指标叫做"Spearman秩相关系数"（可以简单理解为：你给出的顺序和真实顺序有多吻合，完全吻合是1，完全相反是-1，随机猜测接近0）。实验结果显示，对于几乎所有的游戏视频，这个VLM在最多300步训练之后就能达到0.9以上的相关系数——也就是说，它已经能非常准确地从打乱的帧中恢复出原始的时间顺序。
这一阶段训练完成后，这个VLM就被"冷冻"起来，它的参数不再改变，在接下来的所有任务中充当一个固定的"进度打分员"。
三、第二步：把视频里的排名直觉变成游戏中的行动指引
VLM学会了看视频、判断进度之后，怎么把这种能力转化成真实游戏环境里的奖励信号？
RTA的第二阶段设计了一个滑动窗口机制，像这样工作：AI在游戏里每走15步，就把最近15步的截图拿出来，交给那个被冷冻的VLM打分员。打分员会给这15张截图（除了第一张作为锚点外的14张）各打一个进度排名。然后，把这个预测的排名顺序和这14张截图实际发生的时间顺序（第1张、第2张……第14张）做对比，计算Spearman相关系数。
如果AI这15步里一直在往前走、任务进度确实在推进，那么打分员给出的排名顺序大概率和时间顺序一致，相关系数接近1，AI就得到接近1的奖励。如果AI在原地打转、来回走，打分员会发现这些帧的排名混乱，相关系数接近0甚至负数，AI就得到接近0或负的奖励。
这个设计有三个非常巧妙的特点。首先，分数天然被限制在-1到1之间，不会出现"某个任务奖励是100、另一个任务奖励是10000"这种跨任务没法比较的尴尬情况。其次，它只关心顺序是否正确，不关心具体的进度数值是多少，因此天然对"不同任务的进度刻度不同"这个问题免疫。第三，奖励每15步计算一次，而不是每步都算，既节省了VLM推理的计算开销，也提供了足够的密度来指导学习。
为了让这个奖励更稳定，每次打分时，研究团队会把那14张非锚点的截图随机打乱顺序两次（即L=2），分别让VLM打分，然后取两次结果的平均值。这样做是因为单次随机排列可能碰巧遇到特殊情况，多次平均能让信号更可靠。
四、在游戏和机械臂任务上的实测效果
研究团队在两类环境里测试了RTA：一类是在PyBoy模拟器（一个运行GameBoy游戏的模拟器）上的Catrap和Kirby游戏，另一类是PointMaze迷宫导航和MetaWorld机械臂操作任务。
Catrap是一个需要逻辑推理和空间规划的益智游戏，有些关卡（比如第4关和第6关）还存在"走进死胡同"的情况，需要AI理解什么时候要回头。Kirby是一个长流程的横版动作游戏，AI需要一直往前走直到遇到第一个Boss。所有实验里，AI完全收不到任何游戏内置的奖励信号，只有RTA提供的进度相关系数作为奖励。
对照实验里，研究团队设置了几个竞争对手。GVL是直接用未经训练的VLM来判断帧的顺序；GVL-Gemini是用谷歌的Gemini大模型做同样的事情；VLM-RM是通过比较当前帧和目标帧的相似程度来打分；Rank2Reward是另一个基于视频排名的方法；Oracle reward则是游戏本身的内置奖励（仅作参考，并非公平竞争）。
结果相当显著。在Catrap第2关，RTA的成功率达到100%，其他方法最高只有60%（Rank2Reward）。在需要复杂推理的第4关，RTA成功率72%，远超VLM-RM的16%和Rank2Reward的20%。在第6关，RTA达到32%，也高于其他所有方法。最值得关注的是Kirby：RTA是所有方法中唯一能取得非零成功率的——达到了7%，而其他所有方法包括Oracle reward在内的对比项全是0%（Rank2Reward未在Kirby上报告结果）。
这里有一个特别有意思的现象：Oracle reward（游戏内置奖励）在Kirby上的成功率是40%，反而明显高于RTA的7%。这说明Kirby这个任务对RTA来说确实更有挑战性——视频中存在滚动背景等视觉干扰，让进度打分员有时难以准确判断。但能在完全没有外部奖励的情况下取得任何进展，这本身已经很能说明问题。
在PointMaze迷宫任务里，RTA在成功率和训练速度上都优于Rank2Reward，不管是纯排名奖励还是加入了额外辅助信号（GAIL风格）的混合奖励设置。在MetaWorld的六个机械臂任务（开门、拉抽屉、关门、按顶部按钮、用锤子、触碰目标点）里，RTA加上辅助信号后的表现和Rank2Reward相当甚至在开门和关门任务上更好，而RTA的一个关键优势是：它用一个统一训练的打分模型服务于所有任务，而Rank2Reward需要为每个任务单独训练一个模型。
研究团队还专门做了"奖励信号质量"的量化评估：用累积奖励和成功率之间的Pearson相关系数来衡量一个方法的奖励是否真的在指向正确方向。RTA在第2、4、6关和Kirby上的相关系数分别是0.76、0.87、0.42和0.13，而GVL的相关系数接近0，Rank2Reward甚至是负数，VLM-RM在部分关卡也是负相关。这意味着，只有RTA的奖励信号真正在牵引AI走向成功，其他方法的奖励有时甚至在带着AI走向失败。
五、一个打分员，服务多个游戏——泛化能力测试
研究团队还想知道：如果训练打分员用的视频不是来自当前游戏，甚至不是来自同一类视觉风格，RTA还能工作吗？
他们做了一系列"跨源训练"实验。在一组实验里，打分员用完整的Catrap通关视频训练，然后去评估Catrap的各个单独关卡——结果成功率在第2关保持100%，第4关达到47%，第6关达到60%。另一组实验里，打分员用YouTube上70个GameBoy游戏（不包括Catrap和Kirby）的录播视频训练，然后直接用来评估Catrap关卡——第2关仍然100%成功，第4关47%，第6关60%，和用Catrap本身训练的结果基本持平。
更大胆的是，他们还用MetaWorld机械臂任务的视频训练打分员，然后拿去评估Catrap游戏——第2关100%，第4关高达87%，第6关53%。机械臂任务和GameBoy游戏，视觉上几乎毫无相似之处，但这个打分员依然有效。
他们也测试了反向迁移：用Catrap视频训练的打分员，能否用于MetaWorld任务？实验显示，不管是用YouTube GameBoy录播还是用家具组装教学视频（COIN数据集里的AssembleSofa）训练的打分员，都能让MetaWorld的任务正常训练，大多数任务的表现和用MetaWorld本身数据训练的打分员相当。
这种泛化能力在研究团队分析了一个关卡迁移热力图后变得更加清晰：他们训练了分别针对Catrap 8个关卡的打分员，然后交叉测试（用关卡i的打分员去评估关卡j）。结果发现，从任何关卡训练的打分员，迁移到第1关（最简单的关卡）的效果都相当好，说明简单关卡的"进度规律"更容易被其他关卡的知识覆盖。而混合所有关卡一起训练的打分员，在所有关卡上的迁移效果最为稳健。
六、窗口大小的微妙平衡：太短太长都不行
RTA的奖励信号依赖于一个"滑动窗口"——每次取最近N步的截图来打分。窗口大小的选择，直接影响奖励信号的质量。
为了直观展示这一点，研究团队设计了一个"循环轨迹"实验：把一段专家操作视频正向播放一段时间，然后反向播放一段时间，如此循环。在真实意义上，这段视频里没有真正的任务进展（因为在一直往前走又往回退），所以理想的奖励信号应该在循环段里接近0或者为负，只在最后真正完成任务时才飙升。
测试结果揭示了三种不同的行为模式。当窗口只有1秒时，奖励信号即使在循环段也持续上升——因为在极短的时间窗口里，相邻的帧总是有局部的顺序关系，打分员看不出全局是在循环。这就像只看邻近几秒的录像，你以为角色一直在往前走，但实际上他在原地打转。当窗口是3到5秒时，循环段的奖励开始下降或保持平稳，信号能更好地反映"没有真正进展"的事实。当窗口非常大（整段视频）时，信号反而趋近于零，因为循环正反向互相抵消了信息。
但有一点是所有窗口大小都表现一致的：在循环结束、任务真正推进并完成的那一刻，所有大小的窗口都会产生一个明显的奖励峰值，准确地标记出真正的成功时刻。这说明RTA的信号对任务完成的识别是鲁棒的，只是对中间过程的敏感度受窗口大小影响。
消融实验（就是逐一改变一个变量看效果的实验）还系统验证了其他超参数的影响。窗口长度15帧是表现最稳定的选择，过短（5帧）时成功率略降，过大时推理变慢但效果差不多。奖励计算频率（每5步、15步、25步）对最终成功率影响不大，但会影响收敛所需的训练轮数。洗牌次数L减少到1次时，奖励信号的稳定性下降，训练收敛变慢，而增加到4次时效果也没有2次好，反而有轻微下降——因此2次是兼顾效果和效率的平衡点。
七、不只是VLM骨架——普通神经网络也能用
为了证明RTA的效果来自于奖励信号本身，而不是因为使用了强大的VLM作为决策网络，研究团队还做了一组"换骨架"实验：把游戏里的决策网络换成一个简单的MLP（多层感知机，可以理解为一个比VLM简单得多的普通神经网络），同样用RTA的进度相关系数奖励来训练，用PPO算法优化。
结果显示，在Catrap第2关和第4关，用MLP加上RTA奖励（且只在每个回合结束时给一次奖励，而不是每15步一次）的组合，成功率分别达到了100%和100%，第6关也是100%。这比VLM加RTA（每15步给一次奖励）在部分关卡的表现还要高——虽然两种方式各有适合的场景，但关键点是：RTA奖励在完全不同的网络架构上同样有效，说明研究成果的核心价值在于奖励的设计，而不是网络的选择。
八、有多快：和竞争方法的计算效率比较
一个实际问题是：RTA用VLM来打分，VLM推理比较慢，那么它是不是靠"更多计算资源"赢得比较的？
研究团队专门做了一个"对齐计算预算"的对比——不是比较训练了多少步，而是比较在相同的总墙钟时间（真实经过的时间）内，各方法分别达到了多高的性能。在MetaWorld的六个任务里，RTA在开门、关门、触碰目标三个任务上明显优于Rank2Reward，在拉抽屉上基本持平，在按按钮和用锤子上稍弱于Rank2Reward。在PointMaze的UMaze任务里，RTA在相同时间内的成功率也高于Rank2Reward。
由此可见，RTA的优势并非来自更多的计算投入，而确实来自更好的奖励信号设计。加之RTA可以用一个打分模型服务于所有任务，而Rank2Reward需要为每个任务单独训练，RTA在实际部署时的综合成本反而更低。
归根结底，这项研究告诉我们一件很有趣的事情：让AI学会做任务，你不一定需要告诉它什么是对、什么是错。只需要给它看一段"做对了是什么样子"的视频，然后教它辨别"当前的行为是在靠近还是在远离视频里的样子"，AI就能自己摸索出正确的路。
这种方法之所以有意义，不只是因为它在游戏里表现不错，更因为它触及了一个更大的应用场景：很多真实世界的任务，尤其是机器人操作、工业流程、医疗辅助等，确实很难设计一套完整的打分规则，但总能找到一段"专家是怎么做的"的视频。RTA为这类场景提供了一条相对实用的路径。
当然，研究团队也坦率地指出了几个现存的局限。打分员依赖视频数据的质量，如果视频太单一或者有偏差，打分员的泛化能力就会打折。窗口大小的选择在高度非线性或循环的任务里仍然是个需要调整的参数。VLM本身的推理延迟在实时系统里依然是个实际障碍。在MetaWorld这样需要大量探索的任务里，RTA有时会给"看起来合理但其实没成功"的轨迹打高分，这是一个需要进一步解决的问题。
这项研究代表了从"手工设计奖励"向"从观察中感知进度"转变的一个具体尝试。下一次你看到一个机器人学会了某项新技能，它背后的训练也许并没有任何人坐下来告诉它"你做对了"——它可能只是看了一段视频，然后自己琢磨出来的。如果你对技术细节感兴趣，可以通过arXiv编号2607.01897找到完整论文。
Q&A
Q1：Rank-Then-Act（RTA）框架是如何避免AI学会"视频越后面越好"这个偷懒规律的？
A：RTA在训练进度打分员时，会把视频帧的顺序随机打乱，同时保留第一帧作为固定锚点。因为顺序被打乱了，AI无法靠帧在序列中的位置来判断进度，只能真正去理解画面内容的变化，从而学会辨别哪些视觉变化代表任务推进，而不是靠时间作弊。
Q2：RTA的进度打分员用其他游戏的视频训练后，能直接用来评估新游戏吗？
A：大部分情况下可以。实验显示，用YouTube上70个GameBoy游戏录像训练的打分员，在Catrap游戏各关卡的成功率与用Catrap本身训练的打分员基本持平，第2关保持100%成功。甚至用MetaWorld机械臂视频训练的打分员，也能让Catrap游戏的AI成功完成任务，说明打分员具备相当强的跨域泛化能力。
Q3：RTA框架适合哪些实际应用场景？
A：RTA特别适合那些难以手动设计奖励规则、但能找到专家操作视频的场景，比如工业机器人操作、医疗辅助训练、复杂软件操作自动化等。只要有一段"专家是怎么做的"的视频，RTA就能从中提取进度信号来训练AI，不需要额外的打分规则或环境API支持。