47K Skill只筛出3K,小红书给Agent造训练场

小红书 AllSpark 团队从 ClawHub 下载了超过 47K 个 Skill 文件夹,按真实场景适用性、沙箱兼容性和依赖配置可行性筛了一遍,最后只留下约 3K 个。这个筛选比例本身就说明一件事:Skill 很多,能直接拿来当训练素材的没那么多。 他们提出的框架叫 Skill2Env,思路是从已有 Skill 出发,把 Agent 的能力需求转化成可复用的难度模式,再据此合成任务和执行环境。最终构建了 2,963 个可执行任务 ,覆盖 25 个领域 ,初始工作空间包含 46,295 个文件 ,涵盖代码、文档、结构化数据、图像等资源。 一份 Skill 能告诉 Agent 怎么用工具,但离一个能训练的环境还差得远。比如一份文档处理 Skill 可以说明如何转换 PDF、提取表格或执行 OCR,可要让 Agent 完成一次供应商对账,还得准备合同、发票、收据和付款记录,明确交付物,再建立能判断结果对错的评估机制。 这些部分互相照应:合同里的规则要能在材料中找到依据,任务要求必须在工具和工作空间条件下可完成,评估器也要和实际验收标准一致。逐个手工搭这种环境,撑不起后训练需要的规模和多样性。 Skill2Env 把复杂任务执行中的能力需求归纳成五个维度: 环境理解 :从环境信息中识别相关事实,理解任务目标与约束 :根据目标和约束制定多步计划,并在执行中动态调整 技能使用 :正确理解和应用 Skill 提供的工具说明与执行流程 长程一致性 :在长程任务中持续追踪状态与上下文 错误恢复 :根据执行反馈定位问题、调整操作并继续执行 这些能力要落到具体任务上,靠的是一个可复用的难度模式池。比如“分散证据”把关键事实放在不同来源里,要求 Agent 综合判断;“状态依赖”让后续操作依赖前一步结果,要求 Agent 安排好执行顺序。 任务合成时,Agent 会根据 Skill 支持的工作流,挑选能自然组合进同一目标的难度模式,形成一份任务蓝图,统一说明任务目标、预期挑战、环境事实、验收标准和信息边界。 信息边界这一项挺关键:哪些内容直接写在任务说明里,哪些要到工作区查找,哪些需要由已有证据推断,都提前划清楚。解题所需的事实与证据保持可访问,参考结果及推导则留在任务构建侧。 围绕同一份蓝图,系统共同构建任务指令、运行依赖、初始工作区和基于评分细则的评估器——能程序检验的用确定性检查,其余用 LLM Judge,各项分数按权重汇总,并记录支持评分的证据。 初次合成时设计了挑战,不代表这些挑战对当前 Agent 足够难。有些任务可能被轻松完成,也有些预设难点可能被捷径绕过。Skill2Env 通过检查执行轨迹和评分结果来识别这些问题:奖励高于阈值的任务进入下一轮强化,其余保留。 诊断 Agent 对照任务蓝图,分析哪些挑战已被解决、哪些要求被绕过,然后针对性地强化已有难度模式,或引入与当前任务兼容的新模式。调整先体现在任务蓝图上,再同步更新任务指令、工作空间、执行环境和评估器。如果发现模式池尚未覆盖的通用挑战,还能把它抽象成新的难度模式。 论文里的 Docling 案例展示了完整过程。Docling Skill 用于指导 Agent 使用 Docling 工具做文档解析、格式转换、表格提取和 OCR 识别。最初的任务要求 Agent 对一家供应商的季度账单进行核对,读取 10 个文件、6 种格式 的材料,包括 DOCX 合同、HTML 费率附件、PDF 发票、扫描收据、XLSX 付款台账和 Markdown 说明,最终输出 CSV 明细、JSON 汇总和审计说明。 任务同时要求判断费率通知是否已经生效、核对差旅凭证、排除不属于本次项目的历史材料,并让三份交付物中的数字相互一致。原始任务设计了 3 项对账异常项,Agent 首次执行就拿了满分。 第一轮加难据此扩展工作流:把关键费率放进已签署的补充协议,加入跨月重复报销和另一个项目的干扰材料,并引入发票算术错误及部分付款。Agent 需要进一步区分原始开票金额、应纠正金额与实际已付款项。 第二次执行轨迹里,系统观察到 OCR 转换因命令参数问题多次中止,Agent 最终通过直接读取图片拿到了收据金额。第二轮修改就把必要证据放进没有文本层的扫描 PDF,要求 Agent 必须可靠完成转换与提取,同时增加与日期相关的费率、缺少凭证的申报和跨费率档位的天数上限扣减。 两轮之后,工作区文件数从 10 增至 21 ,设计的对账异常项从 3 增至 12 。更关键的是,这些异常项开始相互影响:提取、范围判断、费率计算与结算核对需要连成一套完整流程,才能得到一致的交付结果。 训练数据方面,团队使用 DeepSeek-V4-Flash 在合成环境中生成执行轨迹,筛选出 1.5K 条高分轨迹 ,对 Qwen3.6-35

about image

发表评论

订阅我们的邮箱