历史最高分 腾讯绝悟AI斩获Minecraft AI竞赛冠军

12月8日，第三届MineRL竞赛主赛道 (research track) 发布成绩，AI 的“钻石之梦”向前踏进了一大步：腾讯AI Lab“绝悟”以76.970分的绝对优势夺冠。研究成果已发布在Arxiv上，算法框架可复用于其他复杂决策环境。

（论文链接：https://arxiv.org/abs/2112.04907）

MineRL竞赛由卡内基·梅隆大学、微软、DeepMind、OpenAI，联合机器学习顶级会议NeurIPS共同举办，极富挑战性的赛题持续吸引全球开发者关注。今年赛事共有59支团队、近500名选手投身其中，其中不乏世界顶级学府和研究机构的科研强队。竞赛的研究主题是：训练样本高效的Minecraft AI智能体。

腾讯AI Lab创新性地通过分层强化学习（Hierarchical Reinforcement Learning）、表示学习（Representation Learning）、自模仿学习（Self-imitation Learning）、集成行为克隆（Ensemble Behavior Cloning）等算法高效实现比赛目标。

（绝悟AI以压倒性优势获得历史最高分，今年榜单详见链接）

极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好都增加了Minecraft AI研究的难度。比如，为了让AI在15分钟内找到钻石，AI需要经历徒手采集原木、合成木板、木棍与木镐，采集到铁矿，经过一系列加工才能合成钻石。

此外，主办方还制定了种种严苛的规则：包括禁止参赛者编写规则、游戏环境甚至将背包信息与动作空间加密、且不允许使用预训练模型，只允许与环境最多交互八百万次，每个参赛队伍只能使用6核CPU与半张NVIDIA K80显卡训练4天——这个配置几乎对于所有高校实验室与个人研究者都可以负担的。

这次比赛的目的在于促进样本高效 (Sample-efficient) 游戏AI算法的发展。目前流行的强化学习算法一般需要多达成百上千万次的试错来寻找最优流程，耗费大量的时间和计算资源。而纯靠人类数据的模仿学习算法虽然更快，但性能上往往不尽如人意。

（Minecraft 游戏截图）

绝悟AI创新性地提出了一种样本高效的基于分层强化学习（Hierarchical Reinforcement Learning）的解决方案。数据表明，腾讯AI Lab推出的上层控制器的预测准确率可以达到99.95%，也就是说，AI从人类数据中学到了一套几乎不出错的宏观策略，每时每刻都清晰地知道自己下一步的正确动向。

在状态空间表征上，Minecraft游戏遇到的最大挑战在于如何理解复杂的开放地图。首先被选中的是近年来热门的表示学习方法 (Representation Learning)。但研究人员很快发现，已有方法只适用于2D场景，在MineCraft游戏环境里效果很差。于是腾讯AI Lab设计了一种“基于动作感知”（Action-aware Representation Learning）的新颖算法，用来捕捉每个动作对环境产生的影响，形成注意力机制。实验表明，该算法可以显著提升智能体获得资源的能力与效率。

（不同动作的可视化结果，AI学会了关注当前图像中的关键区域）

随着游戏推进，智能体与人类的策略出现了很大的分歧。此时，人类数据已经很难用于指导AI。绝悟AI使用了自模仿学习 (Self-imitation Learning)的思想，提出了基于鉴别器的自模仿学习算法，AI可以从自身过往的成功与失败中获得经验与教训，并在察觉到当前状况不妙的时候，主动往更好的方向修正。对比实验证明，在加入自模仿策略后，智能体探索到的行为更加一致，也可以显著降低进入危险区域的概率。

对于合成物品等需要长链条的动作序列的任务，研究人员也做了细致的优化。通过动作序列一致性过滤 (Consistency Filtering) 与基于投票的集成学习(Ensemble Learning)，模型在合成物品阶段的成功率从35%提升到96%，一举将最薄弱的链条扭转为了最稳定的制胜点。

利用高度复杂、高度定制化的游戏场景作训练场，腾讯 AI Lab 的深度强化学习智能体正不断走近现实。棋牌游戏 AI “绝艺”从围棋棋盘逐步走向象棋、麻将，策略协作型 AI “绝悟”从MOBA走向FPS、RTS，再到如今的 3D开放世界 MineCraft。它们迈向全新挑战的每一步，都让AI离解决现实问题、科技向善的大目标更近了一步。

随着虚实集成世界逐步变成现实，这些研究的经验、方法与结论，将在真实世界创造更大的实用价值。