01淘宝直播数字人代理采用「配置感知」训练,团队称线上测试提升GMV与商品页浏览
淘宝直播团队公布了数字人代理的训练和部署方案。数字人主播需要实时回答商品问题、互动并执行营销策略,但其技能、提示、工具和钩子函数会频繁更新。大模型能零样本适应变化,却响应较慢;低延迟小模型若只在固定运行框架上训练,则容易记住技能名称、工具模式和提示模板,配置一变就可能失效。
团队提出Harness-Aware Training,以不改变任务本身的方式,调整技能标识和内容、工具模式、提示结构及钩子函数。训练分三步:先用强模型生成的轨迹做监督微调,学习推理和工具调用;再以通用在策略蒸馏恢复微调损失的泛化能力;最后在增强后的不同配置环境中进行强化学习,提高适应变化的稳定性。
论文报告称,该方法在Live-Stream QA和Harness-Variant QA上分别取得94.8分和94.6分。固定Harness监督微调会令IFEval较基础模型下降7.7分,而配置感知训练避免了这项退化,达到83.5分。
优化后的系统在单张NVIDIA H20上,P50和P95延迟分别为3.4秒和8.1秒。团队称系统已部署到淘宝直播数字人服务,并在GMV和商品详情页浏览量的线上A/B测试中得到正向结果,但未披露样本规模、测试时长及具体增幅。