这并非玩笑，令人感到不安的事情确实在OpenAI最新的研究中发生了……

最初，研究者们的目标是解决一个关于遗传程序设计（GP）的问题——让一个智能机器人学会如何运动。（GP是演化计算中的一个特定领域，专注于自动创建程序以独立解决问题。）然而，OpenAI另辟蹊径，将其大型语言模型（LLM）引入研究中，结果出乎意料。过去，在智能体的进化过程中，人类研究者必须参与，进行细节调整和演进方向的确定，以确保智能体朝着更好的方向发展。如今，这些任务全部交给了大型模型，它能够自主学习、自动编写代码、自行“训练”智能体：

当论文的主要作者Joel Lehman在网络上发布这一消息时，立刻引起了网友们的热烈讨论：

有位程序员在阅读后感叹“跟不上时代的步伐”了：

甚至OpenAI在研究中也提到：成功缩小了进化算法与人类思维之间的差距。那么，这件“魔幻”的事情，AI究竟是如何实现的呢？通过观察GitHub，AI开始自主编程在虚拟环境中设计移动机器人，是遗传算法研究中的热门项目。尤其是Sodarace竞赛，由于计算量小且过程易于可视化，备受欢迎。

规则简单，机器人由“关节”和“肌肉”构成，在不同地形上进行竞赛。OpenAI特意将整个竞赛程序从专用的遗传编码改写为Python版本，以展示新方法在现代编程语言中的适用性。例如，以下这段Python代码可以用作初始的种子机器人。

在定义好正方形的四个顶点关节及终点关节，并用“肌肉”连接后，结果如下。

不过，这种方形结构无法移动，接下来需要利用遗传算法对代码进行修改。研究团队认为，传统遗传算法修改代码与人类程序员手动修改之间在效率上存在两方面的差距：第一，软件的复杂性日益提升，人类可以通过模块化代码复用来应对，而当前最先进的遗传算法无法在编程语言中实现类似功能。其次，几乎所有遗传算法依赖随机突变，而人类程序员的每次代码修改都有明确的目的，可能是添加功能、提升效率或修复错误。那么，有没有可能让AI掌握人类修改代码的技巧呢？答案是肯定的，所需的训练数据均可在GitHub上找到。优秀的程序员在每次提交代码时，都会详细写下commit描述，清楚地说明这次修改的内容。

将commit描述与提交前后代码对比的diff数据结合，便成为了AI学习的绝佳材料。

研究人员筛选出一些意图明确且修改少量代码的提交数据，以训练一个基于GPT-3架构的AI模型。这相当于让AI学习人类程序员如何有目的地修改代码。本研究所用的模型并不需要完整的GPT-3的1750亿参数，最高7.5亿参数即可满足需求。

由此，基础AI模型便在遗传算法中充当了变异算子的角色。接下来，AI自主设计新机器人的过程分为三步。

探索AI机器人设计的新路径第一阶段，运用经典的MAP-Elites算法创建一批初始的机器人模型。

这种QD（质量多样性）算法能够确保生成的机器人在功能和性能上均具备较大的差异性且质量优良。

接下来，第二步是基于第一步的初始数据进行预训练，帮助AI掌握在特定数据分布下设计机器人的技能。这就是开头提到的那张引发广泛关注的动图，展示了AI如何将一个静止的“方块”逐步转变为双腿交替跳动的机器人。

第三步，将强化学习算法引入，以便让AI能够针对不同的地形条件创造出适应性强的机器人。

最终，研究团队选择了从最初的三个种子机器人进化而来的样本进行效果展示。显而易见，它们的结构与运动方式存在显著差异。

网友纷纷表示“创意独特”该研究一经发布，便引起了极大的反响。许多网友对这种“大模型与演化算法结合”的新颖方法表示惊讶：

曾参与相关研究的科学家们也表示，未曾想到可以通过大模型以差异形式来学习变异：

除了对研究方法的探讨，网友们还附上了这样的图片：

Emmm……确实有那么一点意思。团队背景介绍该研究的团队成员均来自OpenAI。论文的第一作者是Joel Lehman，他是一位专注于机器学习的科学家，其研究领域包括人工智能安全、强化学习以及开放式搜索算法。

与此同时，Joel Lehman曾根据对人工智能进展的思考，合著了一本名为《伟大无法被计划：客观的秘密》的科学书籍：

关于这项研究的后续发展，Joel Lehman表示：一个重要的课题是模型在多大程度上能被应用于其它环境。GP中的突变效果可以通过ELM显著提升，这将激发出众多新的应用和研究方向。那么，这项研究是否也给你带来了新的启示呢？欢迎在评论区分享你的看法~参考链接：[1]https://arxiv.org/abs/2206.08896[2]https://twitter.com/joelbot3000/status/1538770905119150080?s=21&t=l8AASYjgC6RAEEimcQaFog