Codex 还会写 C 语言的 AI 代码生成模型

用 AI 写代码可以说是大火，其中最著名的要属 OpenAI 的 Codex 和 DeepMind 的 AlphaCode。

△基于 Codex 的 Copilot

然而，这两个 AI 模型，全都没有开源：其中 AlphaCode 只给出了一些测试样例，而 Codex 只开放了 API。

为此，来自 CMU 的几个研究人员，用 GPT-2 搞出了一个名叫 PolyCoder 的 AI 代码生成模型，而且还是开源的。

据研究人员表示，虽然 PolyCoder 最大只有 27 亿参数（相比 Codex 有 120 亿参数），但它用 C 语言写出来的代码，比 Codex 的效果还要好。

这里面究竟有什么秘诀？

用 12 种编程语言代码集训练

首先来看训练用的数据集，这也是 PolyCoder 的最大特点之一。此前，包括 Codex、CodeParrot 等 AI 代码生成模型，主要都是基于 Python 语言的代码来训练。

例如 Codex 的评估数据集之一 HumanEval，评估的也是生成 Python 代码的效果。

相比之下，PolyCoder 采用了多种编程语言代码集来训练，一共有 12 种：C、C#、C++、Go、Java、JavaScript、PHP、Python、Ruby、Rust、Scala 和 TypeScript。

其中，C 语言的代码量是最多的，达到了 221GB；而 Python 代码的数据量比 Codex 和 CodeParrot 用得都要少。

这里 PolyCoder 用的是 GitHub 上的公开代码，主要选取的是各种编程语言中比较受欢迎的库，每个库至少有 50 Stars。

据研究人员表示，每种编程语言库的 Stars 总数加起来不超过 25k，以避免模型生成的代码效果太过于倾斜最流行的编程语言（通常编程语言越流行，库的 Stars 就越多）。

通过提取库中的文件、经过简单处理（包括消除重复代码）后，一共筛选出大约 254GB 的数据用于训练。

然后是预训练的方法。

语言模型的预训练方法通常有三种。第一种是自左向右的语言模型，根据上文预测下文，比较适用于代码生成等；第二种是掩蔽语言模型，基于上下文预测屏蔽片段，比较适合代码分类等；第三种是编解码器模型，比较适用于代码注释等任务。

这里 PolyCoder 主要采用的是第一种预训练方法。

相比于同样采用 GPT-2 训练的 CodeParrot 和 Codex，PolyCoder 在超参数设置上也稍微有一些差异：

PolyCoder 一共提供了三种不同的模型，分别有 27 亿参数、4 亿参数和 1.6 亿参数，研究人员可以根据自身需求和不同的训练能力来选取合适的模型。

那么，最终训练出来的 AI 模型，代码生成效果如何？

C 语言写得尤其好，但 Python 不行

研究人员将 PolyCoder 与已有的 AI 代码生成模型进行了对比。由于 AlphaCode 不好比较（接口没开放），所以研究人员主要分析了下面这些模型，包括 GPT-Neo、CodeParrot 和 Codex 等。

其中蓝色的是开源的，橙色的是没开源的：

从参数量来看，PolyCoder 并不是最顶尖的，最大的 27 亿参数模型也只有 Codex 的四分之一不到。

研究人员先是用语言模型评估常用的困惑度对一系列模型进行了比较。

困惑度（Perplexity），用于衡量语言模型（LM）的好坏。困惑度越低，语言模型面对代码感到困惑的程度就越低，模型生成效果越好。

从图中来看，PolyCoder 在 C 语言中意外取得了最好的效果（困惑度最低）。

用大量 C 语言训练 PolyCoder 的结果说明，即使模型整体原理不变（基于 GPT-2），单纯改变训练用的代码集，也能训练出擅长不同语言风格的 AI 代码生成模型。

可惜的是，从其他语言来看，生成的效果就完全没办法和 Codex 相比了：

例如，在主要用于评估 Python 代码的 HumanEval 上，PolyCoder 的能力远不如 Codex 好：

据论文分析，这可能是 Python 代码数据量、模型参数量不足等原因导致的。

此外，作者们也提到，做出 PolyCoder 的目的主要还是为了开源一个 AI 代码生成模型，让更多人参与研究和使用。

目前代码已经开源，无论是直接拿来用，还是试着在它的基础上开发新模型都可以。