在“超小型足球”中，由三个机器人组成的两支球队相互争夺进球。通常针对每种情况对机器人的行为进行编程。强化学习可以用来提高机器人的能力;但是，由于硬件的退化以及能源和时间的消耗，现实世界中的培训是不切实际的。

最近的一项研究提出了从模拟到真实训练的框架。在这种情况下，将对机器人进行模拟训练，并将学习到的策略转移到现实世界中。结果表明，与人为设计的策略相比，此策略可导致更广泛的行为，但攻击速度较慢且精确度较低。2019年拉丁美洲机器人大赛评估了强化学习的有效性。在这里，这是第一次由强化学习训练的机器人团队赢得了由人为设计政策操作的团队的胜利。

本文介绍了一个名为VSSS-RL的开放框架，用于研究机器人足球中的强化学习(RL)和模拟到现实，重点是IEEE超小型足球(VSSS)联盟。我们提出了一个模拟环境，在该环境中，可以训练连续或离散控制策略来控制足球代理商的完整行为，并提供一种基于域自适应的模拟到真实的方法，以使所获得的策略适用于真实的机器人。我们的结果表明，受过训练的策略学会了各种各样的行为，而这些行为很难通过手工控制策略来实现。借助VSSS-RL，我们在2019年拉丁美洲机器人大赛(LARC)中击败了人为设计的政策，在21个团队中排名第四，是成功在此竞赛中成功应用强化学习(RL)的第一人。