剪辑：alan陈凯歌 男同

代码模子不错我方进化，诈欺自己生成的数据来进行指示调优，后果卓著GPT-4o告成蒸馏！

LLM当作智能的基座，不错繁衍出各式才略。

代码才略即是其中一种：方法补全、注意、优化、修bug、测试等等。

而思要充分确认LLM的宏大后劲，指示调优（Instruction Tuning）是至关遑急的一步。

现时，高质地指示数据主要有两个开首：东说念主工注意和蒸馏。

前者很贵，后者则受到适度。于是，东说念主们初始别有肺肠。

近日，来自UIUC、伯克利等机构的计划东说念主员提议了SelfCodeAlign。

这篇使命初度解说了，不错通过自对都（Self-Alignment）来取得苍劲的代码模子，不需要东说念主工注意梗概蒸馏，况兼后果更好！

论文地址：https://arxiv.org/pdf/2410.24198

SelfCodeAlign在通盘数据生成过程中，使用换取的基础模子进行推理，分为三步：

最初，从高质地的种子片断中索要不同的编码主见，以生成新任务。

然后，对每个任务的多个反应进行采样，将每个反应与测试用例配对，并在沙盒环境中对其进行考证。

临了，选拔考证通过的示例来进行指示调优。

SelfCodeAlign是第一个十足透明的pipeline，使用纯自生成的指示数据对基础代码模子进行自对都。

实验标明，使用SelfCodeAlign对CodeQwen1.5-7B进行指示微调，在HumanEval+上终明晰67.1 pass@1，高出了参数目大10倍的CodeLlama-70B-Instruct。

在沿路的三项基准测试（代码生成、数据科学编程、代码剪辑）中，SelfCodeAlign都校服了之前最先进的指示微调方法OctoPack。

此外，在HumanEval+上，SelfCodeAlign的性能卓著了基于GPT-3.5-Turbo的蒸馏方法（包括 OSS-Instruct（61.6）和Evol-Instruct（59.1）），甚而击败了GPT-4o的告成输出蒸馏（65.9）！

这意味着，从模子我方的数据漫步对都中学习，可能胜于使用苍劲的teacher模子。

SelfCodeAlign适用于各式领域（从3B到33B）的LLM，比如StarCoder2-Struct就所以此为基础创建的（base model为StarCoder2-15B）。

自对都代码生成陈凯歌 男同

下图以StarCoder2-15B的指示调优过程为例，展示了SelfCodeAlign的经过：

种子选拔

SelfCodeAlign最初从The Stack V1中网罗一组种子代码片断。

此要领中，确保种子片断千般化且高质地至关遑急，它们将用作生成讲解和反应的首先。

为了网罗种子片断，计划东说念主员从The Stack V1中索要通盘带有文档字符串的Python函数，明星换脸然后应用一系列过滤法例来确保种子片断的质地。

通过运行Pyright类型查验器、删除基准项、过滤掉文档质地差的函数，以及删除险些重迭的函数，系数从5M个函数中过滤出250k个Python函数。

主见生成

网罗种子函数后，初始实施Self-OSS-Instruct，对OSS-Instruct的自对都进行修改，以生成不同的指示。

具体来说，这里选择高低体裁习（In-context learning）让基础模子从给定的种子代码片断中自行生成指示。

### System : I - > R You are an extremely intelligent AI coding assistant . Please provide an accurate and reliable response to each user instruction . After delivering your response ， verify its consistency and correctness by writing a series of executable tests . ### System : C - > I Create a series of independent coding tasks that are original ， distinct ， diverse ， and high - quality ， fostering logical thinking . Each task must adhere to specified properties : - category : the type of task ( e . g . ， function implementation ， class implementation ， or program implementation ) - language : the programming language to be used - difficulty : the complexity level of the task ( e . g . ， easy ， medium ， or hard ) - concepts : fundamental principles and techniques the task is designed to incorporate ， which developers must understand to effectively solve the task Design the tasks so that the relevant concepts emerge naturally as the most appropriate solutions ， without explicitly mentioning that a particular concept should be used .

作家使用了21个经心机算的示例来教模子奈何使命:

指示生成过程分为以下两个要领：

主见索要：关于每个种子函数，教导基本模子生成函数中存在的代码主见列表。代码主见是指编程中使用的基本原则和技能，举例款式匹配和数据类型调节。

指示生成：教导基本模子凭据已识别的代码主见和两个附加属性（难度和类别）自生成编码任务，就地抽样以丰富生成指示的千般性。

实施筛选

凭据Self-OSS-Struct生成的指示，下一步是将每条指示与高质地teacher模子（比如GPT-4）相匹配。

不外，好多苍劲的贸易模子不允许用蒸馏来作念这种事，况兼，teacher模子也不一定就愈加猛烈，毕竟憨厚也会犯邪恶，这时就会起到负作用。

作家建议，明确衔尾模子在产生与当然言语交错的反应后，生成用于自我考证的测试来自对都基本模子。

具体来说，关于每个指示，基本模子对神色的多个输出（反应、测试）进行采样，然后过滤掉那些在沙箱环境中测试失败的反应。然后，为每个指示就地选拔一个考证通过的反应，应用于最终的指示微调数据集。

实验评估

本文全面评估了SelfCodeAlign在各式编码任务中的进展，包括：

函数生成：给定当然言语描摹，条目LLM生成一个自包含函数，并测试函数的正确性和效能。

类生成：给定一个包含类级和方法级信息的代码框架，条目LLM生成类偏激方法。

数据科学编程：给定数据科学任务的描摹和部分代码片断，条目LLM完成代码片断以通过相应的测试。

文献级代码剪辑：提供文献实质后，条目模子按照当然言语指示剪辑方法。

函数级代码生成

自制起见，比较对象为近似领域的最先进的开源模子，基准测试选拔LiveCodeBench。

LiveCodeBench是无羞辱评估的基准，包含2023年5月至2024年2月时刻的400项最新Python算法挑战。这些任务来自Codeforce和LeetCode等网站，每个网站平均有20多个测试用例。

上表论说了在3个特定初始日历之后创建的问题的测试终端（pass@1）。SelfCodeAlign-CQ-7B的性能耐久优于大多量基线模子。

此外，将初始日历上前出动对SelfCodeAlign-CQ-7B的影响很小，这标明模子不太可能受到羞辱。

类级代码生成

这里使用ClassEval评估类级代码生成的才略，ClassEval是100个类级Python代码生成任务的集中，涵盖100个类和410个方法，平均每个类33个测试，每个方法有8个测试。

作家将最大高低文大小建立为2048个token，测试了三种生成计谋中每个模子的最好类级pass@1（以及相应的方法级pass@1）：

1. 全体生成：在给定类框架的情况下生成通盘类；

2. 增量生成：将早期生成的方法放在教导符中来迭代生成类方法；

3. 组合生成：寂然生成每个类方法，不检察其他方法。

上表中的类级pass@1需要同期生成正确的类和方法，而方法级pass@1仅查验生成的方法是否能通过方法级测试。

上表的终端袒露，就类级性能而言，SelfCodeAlign-CQ-7B是进展最好的，不管是比拟于开源指示微调模子，一经使用未知或独有指示微调数据的模子。

数据科学

DS-1000包含7个流行的Python数据科学库中1000个施行数据科学挑战。在这个基准测试中，模子必须完成部分代码片断才智处罚问题。

上表袒露，尽管SelfCodeAlign-CQ-7B只使用了有限的数据科学代码进行历练，但在与一众模子的比较中仍然进展出色。

代码剪辑

代码剪辑任务选用CanItEdit当作基准测试，该基准测试由三种类型的210个代码剪辑任务（每种类型70个任务）构成：检阅（培植邪恶）、自适合（添加新功能）和完善（转变现存功能）。

关于每个任务，模子需要以原始代码片断和描摹所需代码更动的当然言语指示当作输入，生成知足指示的代码片断。恪守原始基准测试中的建立，在0.2的温度下为每个任务进行20次测试。

上表论说了每种类型的pass@1以及通盘任务的平均获利。尽管莫得挑升针对代码剪辑进行调优陈凯歌 男同，但SelfCodeAlign-CQ-7B在CanItEdit上进展出苍劲的性能，终明晰39.0%的pass@1，优于除CodeQwen1.5-Chat之外的通盘模子。