主页 > T生活店 >AI 会踢足球了!Deepmind 最新力作:让 AI 学会 >

AI 会踢足球了!Deepmind 最新力作:让 AI 学会

2020-06-06

AI 会踢足球了!Deepmind 最新力作:让 AI 学会

从足球竞技到战争,团队合作一直被认为是人类社会进步的基石。基于长远的共同目标,弱化甚至牺牲个人利益,促成了人类作为共同体的最大利益。

DeepMind 也正尝试让人工智慧学会这一点,并且选择了最有可能显示团队合作的考核方式——足球比赛。

22 日凌晨, DeepMind 发布了最新研究:证明了在足球情境下,一种基于分布式代理的连续控制培训框架,结合奖励渠道的自动优化,可以实现多智能体(multi-agent)端到端的学习。

简单来说就是, DeepMind 设置了情境,让多个 AI 一起踢足球赛。并且提前设置了规则, 奖励整支「足球队」而不去鼓励某个「AI 球员」的个人成绩 ,以促成整个球队的进步。用这种方式证明了, AI 也是可以相互合作的!

AI 会踢足球了!Deepmind 最新力作:让 AI 学会

这篇 论文 被 ICLP 2019 收录。

通过踢足球竞争,训练 AI 多方协作

多智能体透过协作,完成团队最优目标并不是一个陌生的话题,去年,OpenAI 就曾发布了由五个神经网络组成的 DOTA 团战 AI 团队—— OpenAI Five ,并在 5v5 中击败了顶级人类玩家团队。比赛中, OpenAI Five 也展示了,在胜利是以摧毁防御塔为前提的游戏中,牺牲「小兵」利益是可以被接受的,也就是说, AI 是可以朝着长期目标进行优化的。

DeepMind 的最新研究进一步专注于多智能体这一领域。

他们组织了无数场 2v2 的 AI 足球比赛,并设定了规则,一旦有一方得分或者比赛超过 45 秒,比赛就结束。

DeepMind 称,透过去中心化的、基于群体的训练可以使得代理人的行为不断发展:从随机,简单的追球,到最后的简单「合作」。他们的研究还强调了在连续控制的大规模多智能体训练中遇到的几个挑战。

在研究中通过引入一种「基于单独折扣因子来形成自动优化奖励的思想」,可以帮助他们的代理从一种短视的训练方式,过渡到一种长时间但更倾向于团队合作的训练模式当中。

DeepMind 也进一步提出了一个以博弈论原理为基础的评估方案,可以在没有预定义的评估任务或人类基线的情况下评估代理的表现。

多智能体强化学习的行为,取决于报酬奖励的设置

将足球比赛看做一个多智能体强化学习(MARL)的过程,模拟一个可交互的环境,智能主体透过学习与环境互动,然后优化自己累计奖励。 MARL 的主题思想是协作或竞争,亦或两者皆有。选择什幺样的行为,完全取决于「报酬奖励」的设置。 MARL 的目标是典型的马可夫完美均衡(Markov perfect equilibrium)。大致意思是寻找随机博弈中达到均衡条件的混合策略集合。

具体意思是:博弈参与者的行动策略有马可夫特点,这意味着每个玩家的下一个动作是根据另一个玩家的最后一个动作来预测的,而不是根据先前的行动历史来预测的。 马可夫完美均衡是:基于这些玩家的动作寻找动态均衡。

DeepMind 在 github 上 发布 了他们使用的 MuJoCo Soccer 环境,这是一个竞争协作多智能体交互的开源研究平台,在机器学习社区已经得到了相当广泛的使用。

DeepMind 採用优化评估,提升 AI 表现

为了有效地评估学习团队,DeepMind 选择 优化评估 方法,所选团队都是以前由不同评估方法产生的 10 个团队,每个团队拥有 250 亿次的学习经验。他们在 10 个团队中收集了一百万种比赛情况。

AI 会踢足球了!Deepmind 最新力作:让 AI 学会

上图显示了支持团队的 3 个智能体显示的成对预期目标差异。纳许均衡要求 3 个团队的权重都是非零的,这些团队协作展示了具有非传递性能的不同策略,这是评估方案中并不存在的:团队 A 在 59.7% 的比赛中赢得或打平团队 B ;团队 B 在 71.1% 的比赛中赢得或打平团队 C ;团队 C 在 65.3% 的比赛中赢得或打平团队 A 。他们展示了团队 A、B 和 C 之间的示例比赛的记录,可以定性地量化其策略的多样性。

AI 会踢足球了!Deepmind 最新力作:让 AI 学会

在上图中, DeepMind 展示了代理行为的典型轨迹:在 5B 步骤中,当代理更个性化地行动时,我们观察到无论 blue1 的位置如何, blue0 总是试图自己运球。但在训练的后期, blue0 则积极寻求团队合作,其行为呈现出由其队友驱动的特点,显示出高水平的协调精神。特别是在「8e10_left」这一场比赛中中, DeepMind 称他们观察到了两次连续传球(blue0 到 blue1 和后卫),这是在人类足球比赛中经常出现的 2 对 1 撞墙式配合。

研究意义:训练 AI 的协调行为

DeepMind 此项研究意义重大,将 2v2 足球领域引入多智能体协作是以前没有过的研究,透过强化学习研究,利用竞争与合作来训练独立智能个体,展示了团队的协调行为。

这篇论文也证明了一种基于连续控制的分布式集群训练框架,可以结合奖励路逕自动优化,因此,在这种环境下可以进行进行端到端的学习。

其引入了一种思想,将奖励方向从单策略行为转变为长期团队合作。引入了一种新的反事实政策评估来分析主题策略行为。评估强调了匹配结果中的非传递性和对稳健性的实际需求。

DeepMind 开源的训练环境可以作为多智能体研究的平台,也可以根据需要扩展到更複杂的智能体行为研究,这为未来的研究打下坚实的基础。

更多 AI 的神奇应用

最年轻的佛陀仅 2.9 岁!日本最怪的 AI「神像识别」网站公开
Toyota 新车会跟你聊天!最新 AI 助理自驾车将在东奥首度亮相
再出大招!李飞飞的新 AI 能「预知未来」,精準度更高的吓人

相关推荐

精选文章

点击排行