MeasuringU 复测 ChatGPT-5.6 对开放式反馈编码效果：与人类一致性显著提升

ChatGPT 能取代 UX 研究员吗？

三年前，我们在文章中写下了这个标题 three years ago，有些人认为这是点击诱饵。然而，副标题提到了我们认为 AI 可能擅长的一项工作——对调查中的开放式评论进行编码。这些评论往往被忽视，仅得到快速总结或被归入词云，尽管它们可以揭示有价值的见解。

我们的初步结果显示出希望。自那以后，AI 领域呈爆炸式增长。最初只是 OpenAI 一家独大，如今已演变为行业巨头之间的竞争，Google 的 Gemini 和 Anthropic 的 Claude 作为强有力的竞争者脱颖而出。模型变得更快、更智能，推理能力也显著提升。随着技术如此迅速地成熟，我们决定是时候重新审视最初的实验，看看如今的情况如何。

早在 2023 年，我们的研究发现人类编码员之间、ChatGPT-4 重复运行之间以及两者之间（平均 kappa 值从 .632 到 .704）存在高度一致性，这表明 ChatGPT 在帮助自动化此类分析方面可能很有用。但 ChatGPT 究竟进步了多少？新的行业领导者彼此相比又如何？

为了找出答案，我们启动了一系列基准测试，直接从起点开始，使用 ChatGPT 5.6 版本重新运行我们原始的数据集和提示词。在接下来的帖子中，我们将让 Gemini 和 Claude 经历完全相同的测试流程。

简而言之，我们发现 ChatGPT-5.6 不仅达到了人类评分者间一致性的水平，并实现了近乎完美的自我一致性，而且还进化成了更加细致的分析师，将核心主题细分为小的子类别。

通过 MeasuringU 保持信息更新。

每周将最新的研究洞察直接发送到您的收件箱。

研究详情

为了保持直接的可比性，我们使用了来自 2023 年原始研究的 SUPR-Q^® 基准数据。该数据集包含参与者报告的在最近一次访问以下三个网站之一时遇到的问题与困扰：

• Office Depot（来自 Office Supplies Websites Survey 的 52 条陈述）
• AT&T（来自 Wireless Service Provider Websites Survey 的 52 条陈述）
• Food Lion（来自 Grocery Websites Survey 的 50 条陈述）

所有数据集和提示词均与 2023 年的评估保持一致（完整提示词见 appendix）。2026 年 8 月 11 日，我们使用设置为“高”思考模式的 ChatGPT-5.6 Sol，对每个数据集进行了三次独立运行的评估。每次运行都在一个新的聊天会话中执行，并禁用了“记忆”功能以确保试验间的独立性。对于我们的比较，我们保留了三位人类评估员（1、2、3）的基线编码以及三次原始的 ChatGPT-4 运行（A、B、C），并将三次新的 ChatGPT-5.6 Sol 运行指定为 D、E 和 F。

这次我们如何对齐主题（以及这种方法与 2023 年的不同之处）

在我们最初的 2023 年研究中，ChatGPT-4 始终将调查回复归为六到九个宽泛类别。相比之下，配置为“高”思考模式的 ChatGPT-5.6 经常将回复拆分为更细的子类别。虽然这些细分保留了相同的核心概念洞察，但它们引入了实际的分析权衡。例如，在 Office Supplies 数据的所有新运行中，“Out of Stock”（缺货）类别被细分为两到四个更窄的组。这种增加的粒度可能为研究人员提供更深层的语境细微差别，但如果 LLM 过度细分这些数据，则存在碎片化宏观主题的风险。

这种结构性转变要求我们调整对齐方法。在 2023 年，我们采用自下而上的方法，严格基于各次运行中重叠陈述数量最多的原则来对齐主题。然而，将基于重叠的方法应用于新输出会人为压低一致性指标。相反，我们将新的运行结果与原始框架进行评估，手动合并和映射那些在逻辑上与基线结构一致的子类别。参见表 1，了解如何将新的 ChatGPT-5.6 类别组合起来以与我们现有的主题对齐。

通过从纯粹的数据驱动重叠模型转向自上而下的框架，我们在各次迭代之间保持了结构连续性，从而允许对 ChatGPT-5.6 和我们原始的基线代码进行更直接的、同等条件下的比较。

Office Supplies 数据：主题对齐

表 1：Office Supplies 数据集中 ChatGPT-5.6 运行的主题对齐情况。

研究结果

我们使用 2023 年研究的基线指标作为起点，评估评分者间一致性，并考察定性分析如何随着最新一代 ChatGPT 的发展而演变。

比较主题数量

正如我们此前讨论过的，定性编码通常反映了一种根本性的张力：即“合并者”（将较小概念归入广泛主题）与“拆分者”（使用更细粒度的类别）之间的差异。在我们的初步研究中，我们确定了两种不同的基线行为：实质性主题粒度（包含多个陈述的核心类别数量）和边缘主题敏感性（为单个孤立评论创建独立类别的意愿）。

2023 年，ChatGPT-4 生成的主题总数几乎只有人类编码员的一半，平均每个数据集生成七个主题，而人类为十三个。然而，这一差距几乎完全由边缘敏感性驱动。人类编码员经常为一次性评论创建专门类别，这占其生成主题总数的近一半。一旦移除这些单陈述主题，人类编码员和 ChatGPT-4 在宏观基线上趋于一致，均为六到七个实质性主题。两者在处理主要模式时都表现为宏观合并者。

人类编码员在宏观层面是合并者，而在边缘层面是拆分者。人类研究人员通过隔离单陈述的边缘主题并保持核心模式的较低分辨率，构建了较高的总体类别计数。在我们 2026 年的重新运行中，ChatGPT-5.6 对定性编码的方法发生了演变，显示出向激进拆分实质性主题的明显转变。

ChatGPT-5.6 缩小了与人类编码员的主题差距，通过将核心主题主要细分为包含两到四个陈述的小桶，生成了相似的数量（ChatGPT-5.6 为 15.6，人类为 13.3）。平均而言，该模型生成的实质性主题比人类多近 70%，几乎是 ChatGPT-4 的两倍。例如，2023 年的运行将反馈归入单一的“杂乱”类别，而 ChatGPT-5.6 将该节点拆分为两个不同的子主题：“杂乱、繁忙或令人不知所措的界面”和“分散注意力的广告、促销、弹出窗口或图形”。表 2 显示了每位编码员和 AI 生成的主题完整计数；人类和 ChatGPT-5.6 通常比 ChatGPT-4 的运行拥有更多的主题。表 3 显示，移除一次性类别后，人类编码员的主要主题与 ChatGPT-4 更具可比性，而 ChatGPT-5.6 保留了约两倍数量的主题（主要是由于包含两到四个陈述的类别）。

Table 2: Number of category themes generated by coder and ChatGPT runs.

Table 3: Number of category themes by coder and ChatGPT containing more than one statement.

Interrater agreement between humans and ChatGPT runs

为了评估 ChatGPT-5.6 与人类判断的一致性程度，以及其在重复运行中的可靠性，我们像 2023 年那样计算了每对评分者之间的 kappa 值。我们对产品内各主题的 kappa 平均值进行了汇总，再跨产品进行汇总，从而得到表 4 所示的总体结果。

关于 kappa 的简要回顾。 评估评分者间一致性程度的方法有多种。其中最著名的是 kappa 统计量（Fleiss, 1971）。Kappa 衡量的是超出偶然一致性估计值的评分者间一致程度。Kappa 值介于 −1（完全不一致）和 1（完全一致）之间，通常依据 Landis 和 Koch 指南进行解释（一致性差：≤ 0，轻微：0.01–0.20，一般：0.21–0.40，中等：0.41–0.60，显著：0.61–0.80，几乎完美：0.81–1.00）。

表 4：Kappa 矩阵，显示了人类编码员与 ChatGPT 运行之间每对组合经偶然性校正后的一致性，该数据基于从三个数据集中提取的十四个主题的平均值，并扩展包含了 ChatGPT-5.6 的运行结果（D、E、F）。

观察表 4 中的完整成对矩阵，出现了三个明显的趋势。首先，ChatGPT-5.6 与人类编码员的一致性始终高于 ChatGPT-4。其次，GPT-4 与 GPT-5.6 之间的跨代一致性仍保持在显著水平，证实尽管新模型的粒度增加，但底层主题具有连续性。最引人注目的是，ChatGPT-5.6 在独立运行中表现出近乎完美的自我一致性，将模型内部一致性提升至惊人的 0.949–0.952。

人类编码员 vs. ChatGPT 运行 vs. 综合

为了测试这些变化是否具有统计学意义，我们将成对 kappa 值汇总为组级平均值。以下是每种配对类型的平均 kappa 值，这些数值也在图 1 中以可视化方式呈现。

• 人类编码员：.704（显著）— 与 2023 年相比无变化
• ChatGPT-4：.684（显著）— 与 2023 年相比无变化
• ChatGPT-5.6：.950（几乎完美）
• 人类 ChatGPT-4：.632（显著）— 与 2023 年相比无变化
• 人类 ChatGPT-5.6：.749（显著）
• GPT-4 ChatGPT-5.6：.638（显著）

图 1：ChatGPT 与人类编码员之间的平均一致性。

这些组均值之间存在统计学上的显著差异（F(5,30) = 40.5, p < .001）。我们使用 Tukey 诚实显著差异检验（Tukey’s Honest Significant Difference test）来寻找具体差异，同时控制误差。我们发现，ChatGPT-5.6 与其他任何配对相比，其自我一致性都高得多：其自我一致性比其他 kappa 值高出 0.20 到 0.31（p < .001）。人类编码员与 ChatGPT-5.6 的一致性也显著高于其与 ChatGPT-4 的一致性（p < .001）。至关重要的是，人类与 ChatGPT-5.6 之间的一致性（0.749）在统计学上与人类之间的一致性（0.704, p = .475）没有区别。

这些发现表明，ChatGPT 的改进已达到高度一致且与人类判断相当吻合的程度。一致性当然是好事，但也可能持续犯错。

“无问题”与其他主题

与我们 2023 年的研究结果一致，“无问题”类别的评分者间信度依然极高，在三个数据集中平均 kappa 值保持在 .937，接近完美一致。然而，在某些情况下，ChatGPT-5.6 指出了表述不清的内容，并将其从主要分析中单独列出。这一行为体现在 ChatGPT-5.6 的不同运行对 Wireless 数据集中两个模糊参与者回答（第 16 条陈述“Na”和第 44 条陈述“Not sure.”）的评估差异上：

Wireless – ChatGPT D：

在此处，模型生成了明确的推理笔记，指出“‘Na’没有提供可用信息。它可能意味着‘N/A’，但这不够明确，无法自信地编码为‘没有问题’”，以及“‘Not sure’未指明具体问题，也未清楚表明未发生问题”。

Wireless – ChatGPT E：

在这次运行中，模型创建了一个单独的“未分类陈述”桶，将第 44 条陈述指定为离题/服务问题，同时将第 16 条陈述识别为非实质性回应。

Wireless – ChatGPT F：

在这种情况下，模型创建了一个名为“信息不足以分类的陈述”的专用类别，将第 16 条和第 44 条归为一组，因为它们缺乏实质性反馈。

人类通常将这些陈述归入“无问题”主题。根据分析视角的不同，两种分类方式均可成立。这种细微的分类变化可能导致信度降低。幸运的是，通过更明确的提示指令来处理边缘情况，此类模型方差很可能得到缓解。

总结与讨论

我们从这些分析中得出的关键结论是：

较新的 ChatGPT-5.6 模型与人类编码者的信度有所提高；人类与 ChatGPT-5.6 的信度高达人类之间的信度。平均评分者间信度增加，比较 ChatGPT 与人类编码者时，kappa 值从 .632 升至 .749。虽然 ChatGPT-4 已落在“实质一致”的既定指南范围内，但这一改进表明，使用 ChatGPT-5.6 对开放式调查回复进行编码现在几乎与比较多名人类研究人员一样可靠。

在此设置下，ChatGPT-5.6 的响应似乎具有显著更高的一致性。除了与人类编码者取得更好的信度外，ChatGPT-5.6 在重复运行中也表现出非凡的一致性。与我们 2023 年的测试相比，现在通过 ChatGPT-5.6 处理开放式评论已足够一致，单次分析运行很可能产生相同的分类输出。

ChatGPT-5.6 的响应可能会将类别细分为更多细节。在此设置中，ChatGPT-5.6 展示了构建更精确子类别的能力，同时保持与人类确定的总体核心主题的结构对齐。

注意事项

为确保可比性，提示词冻结于 2023 年版本。为了隔离模型性能随时间的变化，我们控制了提示结构和数据输入。然而，针对较新推理架构定制的优化提示技术可能会带来更强的性能表现。

对齐方法自 2023 年起有所变更。为了使输出结果与既有类别保持一致，我们转向了自上而下的对齐策略。由于 ChatGPT-5.6 经常将基线类别拆分为更狭窄的子主题，因此在跨模型评估时，我们将这些子类别在概念上进行了合并。

小数据集、单一提示词、三次运行、一个模型。2023 年，由于上下文窗口有限，LLM 在处理高输入量任务时表现不佳，迫使我们依赖紧凑的数据集（50–52 条陈述）。为了保持可比性，我们保留了这些小数据集，使用单一提示词进行了三次测试，并将这一初始阶段限制在 OpenAI 模型范围内。在将这些发现推广到不同情境下的开放式问题时，请牢记这一点。

下一步计划？

在本研究中，我们对原始分析进行了相当直接的复现。鉴于 ChatGPT 性能的大幅提升，进一步扩展研究是合理的。我们计划继续探索并测试以下想法：

• 如何改进我们的提示词以最大化准确性和易用性？
• Claude、Gemini、Meta AI 或其他模型在定性编码方面的表现如何？
• 随着上下文窗口的改进，LLM 现在在更大数据集上的表现如何？

附录：逐字提示词

作为一名 UX 研究员，你的任务是分析下面提供的数据集，其中包含了对问题“你在 XXXX 网站上遇到过哪些问题或挫折？”的回答。你的目标是根据常见主题对每条编号陈述进行分类。创建尽可能多的类别以将相似的陈述归为一组。如果某条陈述符合多个类别，请将其包含在所有相关类别中。

开始数据集：

[按参与者编号的数据集]

结束数据集

分析数据集后，请遵循以下步骤：

1. 列出你创建的类别，并为每个类别提供简要描述。
2. 对于每个类别，列出属于该类别的陈述编号。
3. 如果有任何陈述不符合你创建的任何类别，请单独列出它们的编号。