微软 · 韩国科学技术院 · 西安交通大学
WordEval评测文档编辑中 Word 原生操作的执行准确性
AI 正从辅助写作走向直接操作办公软件。在 Microsoft Word 中,智能体已经可以设置段落格式、修改表格、为形状添加效果,以及更新图表。但要评测这些操作是否正确完成,不能只看文档的外观。
例如,用户要求把三个段落改成项目符号列表。智能体可能只是在文字前输入项目符号字符,Word 内部仍将它们表示为普通段落。页面看起来像列表,所要求的列表格式却没有真正应用。这样的差别也存在于其他 Word 功能中:外观相似的文档,其底层格式、属性或结构可能并不相同。
为评测这一差距,微软、韩国科学技术院(KAIST)和西安交通大学的合作团队提出了 WordEval。它检查用户要求的修改是否以正确的属性值应用于目标对象,并检查保留性验证所覆盖的属性是否保持不变。
WordEval 论文已被 NeurIPS 2026 Evaluations and Datasets Track 接收。
用 Word 本身验证编辑结果
在 Word 中,文档由段落、列表、表格、图片、形状和图表等结构化元素组成,这些元素的属性决定了它们的格式和行为。WordEval 在 Microsoft Word 中打开每份结果文档,通过 Word 自动化接口直接读取相关元素及其属性,并在需要时检查保存后的文件,确认修改确实被保留下来。
类似的差别不只存在于列表中。永久裁剪后替换图片,可能呈现与 Word 裁剪属性相同的视觉效果,却使原图无法继续调整。在页眉里直接输入标题,也不同于插入与文档 Title 属性关联的内容控件。因此,WordEval 检查的不只是外观,还包括操作是否作用于正确对象、属性值是否准确,以及保留性检查覆盖的属性是否保持不变。
从同一份规范构建任务与参考文档
每个任务都从一份统一的规范生成。输入构建器先创建起始文档,参考执行器再通过 Word 自动化接口执行规定操作,得到预期文档状态。指令与验证项也来自同一份规范:检查哪些元素和属性、属性应当取什么值,以及哪些已有属性需要保持不变。智能体可以自行选择工具和操作步骤,但最终结果都接受同一组检查。这样的构建方式使指令、参考答案和评测标准保持一致。
Write an editing spec
One spec per task
Build the input
All derived from the same spec
Apply the edit in Word
Run the operation on the input
Combine and link
Each combined edit links to its Atomic task
从单项编辑到组合编辑
WordEval 包含 642 个任务,覆盖文本、段落、列表、表格、图片、图表、SmartArt 和页面结构等 15 类 Word 功能。其中,546 个原子任务(Atomic)覆盖 231 个命令,96 个组合任务(Compositional)覆盖 27 个场景。
WordEval 既考察单项编辑的执行准确性,也考察多项编辑组合到同一文档后带来的额外挑战。每个原子任务考察一项操作,例如修改段落间距、裁剪图片或为形状添加效果。组合任务则将多项编辑放在一条指令中:这些编辑可能存在明确的先后依赖,也可能通过目标对象或页面布局相互影响。两类任务使用相同的操作集合和 Word 原生评测标准,组合任务中的每项操作也对应一个使用相同命令的原子任务。通过这样的对照,可以进一步观察:单独执行时能够成功的操作,组合到同一文档后是否仍能完成。
有些组合请求存在明确的先后依赖:例如,需要先插入图表,才能为它添加数据标签。另一些操作则会通过页面布局相互影响,例如定位与对齐。将组合任务中的操作与原子任务对应起来,可以帮助区分单项操作本身的难度,以及将多项操作组合后带来的额外挑战。
实验揭示了什么?
研究团队评测了八个智能体系统,总体通过率为 44.5% 至 87.1%。所有系统的组合任务通过率都低于原子任务,差距为 3.2 至 19.1 个百分点。原子任务通过率相近的系统,组合能力却可能差异明显。OpenCode(Gemini 3.8 Flash)和 ZCode(GLM-5.2)的原子任务通过率分别为 57.9% 和 58.2%,组合任务通过率却分别为 49.0% 和 39.6%。在涉及定位、对齐等布局交互的八个请求中,ZCode(GLM-5.2)通过了所有对应的原子任务,却只完成了两个组合任务。能单独完成的操作,放到同一份文档中,并不一定还能全部做对。
WordEvalAtomic vs Compositional · pass rate (%), 642 tasks
WordEval 还区分了两类失败:未能生成可评测文档,以及在有效 Word 文档中产生编辑错误。一些智能体没有输出文件,或生成了无效、损坏的文档。另一些文件可以正常打开,却存在属性值错误、元素缺失、改错目标,或本应保留的属性被意外改变等问题。对 Claude Code(Opus 5)的 59 份错误输出进一步分析发现,即使智能体选中了正确形状,也可能应用错误的阴影或映像类型。完成编辑不只是生成一个看起来相似的页面:每项操作都必须准确作用于 Word 的实际文档结构,多项修改之间也必须相互兼容。
迈向可靠的 Word 文档编辑智能体
WordEval 提供了一套任务与验证工具,用于评测智能体能否准确使用 Microsoft Word 的编辑功能。通过检查 Word 中的实际文档状态,它能够区分外观相似、却没有正确完成所要求操作的结果。相互关联的原子任务和组合任务,则进一步揭示了单项操作合并到更大请求后,智能体表现如何变化。