跳到正文
MeasuringU· Jim Lewis, PhD • Jeff Sauro, PhD·· 14 天前精选AI 评分78

MeasuringU 研究:AI 在视频可用性测试中错误率高且缺乏独立发现能力

Using AI To Find Usability Problems: Examining Task Failure

文章摘要

在视频可用性测试分析中,AI 模型(ChatGPT-5.4 Thinking 和 Gemini 3 Flash Thinking)识别出的可用性问题中有近半数存在错误,且未能发现人类专家遗漏的真实问题,表明当前 AI 难以替代资深 UX 研究员进行高判断力的问题分析。

MeasuringU 的研究团队针对一段 PetSmart 网站预约失败的用户测试视频进行了对比实验。一位拥有数十年经验的 UX 研究员识别出 11 个可用性问题,而 ChatGPT 和 Gemini 各运行四次后,分别识别出部分相同问题。数据显示,ChatGPT 与人类专家的 any-2 一致性为 47%,Gemini 为 39%。尽管两者均能捕捉到大部分由延迟、界面重置或导航困难导致的问题,但 AI 仅发现的问题中有一半属于“误报”(如将测试环境产物视为问题)或“幻觉”(如虚构未发生的点击行为)。在三个案例的横向对比中,AI 的平均错误率高达 48%。

该研究指出,虽然 AI 在处理编码评论等低级辅助任务上表现尚可,但在需要综合判断的“分析师”级任务中表现不稳定。

推荐理由

通过对比人类专家与AI在视频可用性测试中的问题发现率,量化了AI的高错误率及低独立价值,为评估AI辅助用研工具提供实证依据。

正文 · AI 翻译

Feature imageAI 能取代 UX 研究员吗?嗯,UX 研究员要做很多事情(在 MeasuringU 确实如此)。

我们已经看到 AI 可以相当出色地完成低级别的辅助工作(例如,对评论进行编码)。但当涉及到发现可用性问题的更高级“分析师”任务时,我们目前看到的成果喜忧参半。

关于持续且有效地发现可用性问题的挑战有大量文献。而且这还是针对人类的!我们需要类似的彻底分析来比较 AI 与人类的表现。因此,我们正在这样做,一次一个视频。

到目前为止,我们已经审查了两个视频。每个视频中都有一个参与者尝试完成任务。在一个视频中,参与者成功通过 OpenTable 预订了晚餐 。在第二个视频中,另一位参与者成功通过 PetSmart 预订了宠物美容服务 。

为了确定由人类识别的可用性问题列表,我们让四位研究员独立审查第一个视频,并让一位研究员审查第二个视频。然后,我们让 ChatGPT 和 Gemini 分析相同的视频以识别可用性问题。

我们在两个视频中都发现了类似的结果。大多数比较可用性问题重叠度的指标彼此相差不到十个百分点(例如,AI 找到的人类识别问题占比为 40% vs. 45%)。唯一真正的分歧在于仅由 AI 发现的错误类型:PetSmart 视频中有更多的误报(60% vs. 35%),但零幻觉(相比之下,OpenTable 案例研究中有三个幻觉)。

在这两个案例研究中,参与者遇到了一些可用性问题,但最终都成功了。在本文中,我们将案例研究的范围扩展到另一个 PetSmart 视频,其中受访者最终未能成功。

关注 MeasuringU 获取最新资讯。

每周将最新的研究洞察发送到您的收件箱。

实验设计:一位人类研究员、两个 AI、一个视频

重复我们前一个案例研究的方法,一位拥有数十年经验的 UX 研究员多次审查来自之前在线宠物网站可用性基准研究的一个类似视频,为该参与者创建关键事件时间线和观察到的可用性问题列表(本文中称为参与者 B;时间线详情见附录 A)。

新视频与第一个视频共有的特征是:

  • 类似的任务(预订指定预约的步骤)
  • 不同的结果(用户经历了几次可用性问题并最终未成功)

每次使用相同的提示词,我们将该视频四次输入到前一个案例研究中使用的相同两个 AI(ChatGPT-5.4 Thinking 和 Gemini 3 Flash Thinking)中。

在本研究中,我们保持提示词的关键要素以及 AI 版本/设置不变(这些都是我们计划最终改变的所有变量)。这次,就像前两个案例研究一样,我们只改变了分析师的类型:人类、ChatGPT 和 Gemini。

任务

在 MeasuringU 于 2019 年进行的一项可用性基准研究中,参与者使用 PetSmart 网站开始预订位于科罗拉多州 Glendale 的美容预约,为一只一岁的英国史宾格犬进行洗澡和全身修剪。如果参与者找到了特定的美容选项并报告了列出的价格 61 美元,则视为成功完成任务。有关完成此任务的“快乐”路径的分步细节,请参见附录 B。

提示词

我们用于这项研究的提示词是:

在可用性测试期间,主持人必须跟踪参与者在浏览网站、移动应用、软件程序等任务时的行为。我们希望你看一段可用性测试视频,其中参与者被要求为他们的狗预约美容服务。观看时,请寻找参与者在尝试完成任务时遇到的问题。例如,你可以记录用户采取的路径,描述他们遇到的问题以及网站上可能导致问题的因素。如果参与者找到了目标服务(“Bath & Full Haircut”,价格为 $61;而不是“Bath & Full Haircut with FURminator”,价格为 $74),则视为成功完成任务。如果你理解这些说明,请告诉我,我会把视频拖进来供你查看。你准备好看视频了吗?

主要发现

AI 和人类研究人员共识别出 17 个独特的可用性问题。

可用性问题不像观察产品中的视觉缺陷那样直观。它们需要判断力,因此值得深入探讨这些问题是什么,因为这种判断正是 AI 目前能否有效模拟 UX 研究人员的关键所在。所以,让我们沿着导致任务失败的路径继续分析。

参与者 B 最初点击 Pet Services,然后选择 Grooming Salon,走对了路径。随后情况迅速恶化。

图 1 展示了一组特别有问题的操作序列,由于严重的延迟问题导致了大量下游可用性问题。

a: The pet type (cat/dog) buttons were slow to appear, so the participant selected the age dropdown.

The pet type buttons are not visible as the user selects pet age.

 b: The age has been selected, but the pet type buttons have still not appeared.

The pet age has been selected, but the pet type buttons still have not appeared.

 c: After the pet type buttons appeared, the participant selected dog, but the age selection reset without the participant noticing.

User selects pet type, but this resets the pet age selection.

图 1:参与者 B 遇到的有问题的操作序列。

点击品种下拉菜单后,品种列表出现了,但列表很长且字母顺序不一致(图 2a)。然后参与者说:“我可以输入吗?”这表明他不想滚动浏览下拉列表,但不确定是否可以通过在“breed”字样上打字来过滤。尽管存在不确定性,他还是在该字段中输入了“english”,并成功选择了目标品种(图 2b)。

a: The breed dropdown

Breed dropdown on PetSmart.

b. After typing “english” over “breed”

Breed dropdown after typing "english."

图 2:品种下拉菜单 (a) 过滤前和 (b) 过滤后。

随后,与重置年龄选择相关的一系列问题事件开始发生,包括:

  • 点击“check prices and book now”按钮后,参与者被引导去选择年龄。
  • 再次点击“check prices and book now”按钮后,参与者被引导去选择门店。
  • 参与者忘记了任务是预订位于 Glendale, CO 的服务,而是输入了他所在的位置“Houston”。
  • 一旦美容服务列表出现,参与者没有向下滚动足够远以看到目标服务,而是错误地选择了目标服务上方的服务,导致任务失败。

人类与 AI 之间部分一致,三次幻觉,三次误报

表 1 列出了人类研究人员指出的十一个问题(其中八个也被 AI 识别出来)以及至少一个 AI 报告的其他六个额外问题。我们查看了仅由 AI 识别出的问题是误报(事件发生了,但并不是真正的可用性问题)还是幻觉(事件根本没有发生)。

AI 仅识别出的六个问题中,有一半是幻觉,另一半是误报。幻觉是指报告了从未实际发生的事件;对于误报,要么参与者实际上从未注意到 AI 标记的问题,要么未受其影响。

#问题描述人类ChatGPTGemini原因(如果是误报或幻觉)
H1由于宠物类型展示延迟过长,在点击狗按钮前选择了年龄下拉菜单Y------
C1先选择狗,然后选择年龄--N--幻觉:在选狗之前选择了年龄
H2选择“dog”后,年龄被重置YY----
H3品种下拉菜单过于庞大,难以尝试滚动YY----
G1参与者不得不多次参考任务说明----N误报:可用性测试产物
H4没有明确的可供性提示用户直接在占位符文本“breed”上输入以过滤下拉菜单Y------
H5参与者在直接输入覆盖“breed”时犹豫不决Y------
H6试图开始预订,但年龄已被取消选择YY----
H7在未选择地点的情况下试图开始预订YYY--
H8将地点设置为休斯顿而不是格伦代尔YYY--
C2网站允许参与者在错误的商店上下文中继续操作--N--误报:可用性测试产物
C3服务菜单包含高度相似的服务名称--N--误报:属实但属于次要问题
H9未滚动到菜单列表底部,因此错过了目标服务YYY--
G2参与者滚过了正确的服务,落在了更昂贵的“FURminator”选项上----N幻觉:目标从未显示
G3用户点击了 Bath & Full Haircut with FURminator 上的“show more”,然后选择了它----N幻觉:参与者并未点击“show more”链接
H10错误地选择了价格为 $74 的 Bath & Full Haircut w/ FurminatorYYY--
H11任务完成度被判定为不成功YYY--

表 1:人类研究员和 AI 发现的可用性问题汇总。在 # 列中,H 表示由人类研究员发现的问题,C 表示由 ChatGPT 发现的问题,G 表示由 Gemini 发现的问题。在 Human、ChatGPT 和 Gemini 列中,Y 表示发现了经过验证的可用性问题,N 表示报告了误报或幻觉。ChatGPT 和 Gemini 的完整运行结果见附录 A。

正如我们在其他研究中所做的那样,我们将视频通过 AI 运行了四次(因为它们工作方式的概率性质)。在这项分析中,统计了在四次运行中至少被识别过一次的问题。我们使用平均 any-2 agreement 来评估重叠程度。

技术说明: 我们量化两份可用性问题列表之间对应关系的首选方法是 any-2 agreement。Any-2 agreement 是两个集合交集与并集的比率。历史上,我们发现人类评分者之间的 any-2 agreement 为 50% 属于平均水平(典型),约 25% 属于低水平,约 75% 属于高水平。

ChatGPT Agreement: 47%

四次 ChatGPT 运行与 UX 研究员之间的平均任意两人一致率为 47%。ChatGPT 识别出了(至少一次)研究员报告的十一个问题中的八个(持续识别出五个),但也产生了两次误报和一次幻觉。

Gemini 一致率:39%

四次 Gemini 运行与 UX 研究员之间的平均任意两人一致率为 39%。Gemini 识别出了(至少一次)研究员报告的十一个问题中的五个(持续识别出四个),但也产生了一次误报和两次幻觉。

四次 AI 运行之间的平均任意两人一致率为 58%。图 3 展示了基于表 1 的 UX 研究员与 AI 的问题发现结果的韦恩图。

Venn diagram of usability problem discovery for Participant B by the human reviewer, ChatGPT, and Gemini.

图 3:参与者 B 的可用性问题的韦恩图,由人类审查员、ChatGPT 和 Gemini 分析得出。

该韦恩图展示了人类审查员与 AI 对参与者 B 的分析之间的关系。人类审查员识别出了十一个可用性问题,其中八个被至少一个 AI 识别出来。然而,三个可用性问题未被任何一个 AI 捕捉到,而 AI 产生的六个问题并非合法的可用性问题(三次误报,三次幻觉)。AI 没有发现任何人类审查员未能识别出的真实问题。

与先前案例研究结果的比较

这是我们要用此方法分析的第三个视频。第一个是 OpenTable 预订任务,第二个是另一位参与者 (A) 尝试 PetSmart 美容预约 的视频。在这两个先前的视频中,参与者遇到了一些问题,但最终成功完成了任务。在这个新视频中,参与者遇到了问题且最终未成功。表 2 和图 4 显示了这三个案例研究的关键结果。

比较参与者 B参与者 AOpenTable平均值
% 人类识别65%40%45%46%
% AI 与人类重叠47%30%30%34%
% 仅 AI 识别35%60%55%50%
% AI 错误(误报 + 幻觉)35%60%50%48%
% AI 误报18%60%35%38%
% AI 幻觉18% 0%15%11%
% 仅 AI 发现 0% 0% 5% 2%
总独特问题数17102016

表 2:PetSmart 参与者 B(本研究)与参与者 A 及 OpenTable 问题识别率的比较(先前研究)。

Problem identification rates for the three videos

图 4:三个视频的问题识别率。

与前两个视频相比,这第三个视频的结果存在一些有趣的差异。

人类识别的问题百分比以及 AI/人类重叠部分的增加,可能部分归因于当参与者任务失败时预期会有更多由人类识别的问题。

相对于前两个视频,参与者 B 的大部分“仅 AI”百分比明显较小。对参与者 A 和 B 的分析都发现了六个“仅 AI”问题,所有这些均为 AI 错误,但参与者 B 的基础总数(问题总数)更大(17 对比 10)。

最显著的差异是幻觉现象的回归。参与者 B 的幻觉率为 18%,接近 OpenTable 分析的比率(15%),但与参与者 A 的 0% 截然不同。

与参与者 A 一样,对参与者 B 的 AI 分析并未发现任何人类评估者未观察到的有效问题,这表明合法的“仅 AI”发现可能非常罕见。

总结与讨论

我们将 ChatGPT 和 Gemini 与一位经验丰富的 UX 研究员进行了比较,看他们能否从一段参与者任务失败的视频中识别出可用性问题。我们发现:

更高的 AI/人类重叠发现率。对于这段视频,人类发现率和 AI/人类重叠百分比高于前两个案例研究,这可能是因为当参与者未能成功完成任务时,预期由人类发现的可用性问题数量更多。

幻觉问题依然存在。当我们发布参与者 A 的结果时,PetSmart 任务似乎不容易产生 AI 幻觉。鉴于新案例研究中参与者 B 出现了三次记录在案的幻觉,情况显然并非如此。

AI 错误仍然是一个问题,表明需要专家进行人工监督。无论是误报还是幻觉,三个案例研究中 AI 的错误率都很高:参与者 B 为 35%,参与者 A 为 60%,OpenTable 为 50%,平均值为 48%。

与人类一样,AI 对视频的可用性审查容易受到“评估者效应”的影响。就像人类评估者一样,多次运行 AI 视频可用性评估并不完全一致,因此最好多次运行这些评估以进行一致性检查。在任何人工审查之前,运行多次评估并寻找跨运行的一致性是一种实用的过滤方法。

如果这些分析需要在回路中加入专家人类,那么 AI 带来的附加值很低。如果 AI 在可用性测试会话视频审查中识别出的约一半可用性问题存在错误,从而需要专家投入时间进行审查,并且 AI 发现人类遗漏的真实问题的情况很少见,那么这就引发了关于在此类研究中纳入 AI 的价值的问题(至少在使用这些模型和提示词的情况下)。

未来关于未发现问题的研究:我们研究计划的下一步是对另一段 PetSmart 视频执行相同的分析,在该视频中用户体验不同,因为参与者在完成任务时没有遇到任何问题。那些被设计为取悦用户的 AI 将如何应对这种情况?毕竟,我们发现大约 15% 的大样本可用性测试任务实现了 100% 的成功完成,并且我们估计约 10% 的可用性测试任务是无误完成的。敬请期待这些结果。

附录 A:详细时间线和逐问题分析表

参与者 B 的关键事件时间线

附录表 1 总结了视频中的关键事件(由 UX 研究员整理),确定了八个偏离“快乐”路径的问题事件(见附录 B)。

事件 #时间戳关键用户操作摘要备注
10:00:15点击 Pet Services > Grooming Salon
20:00:22美容表单出现,但没有宠物类型按钮
30:00:28选择年龄(6 个月或更大)
40:00:32出现狗或猫的选择按钮(延迟)
50:00:33选择狗
60:00:34选择狗后年龄选择被重置,但参与者未注意到问题事件
70:00:35查看指定品种的任务说明
80:00:44看着品种下拉菜单/过滤器——说:“我可以输入吗?”问题事件
90:00:49输入 "english" 并从过滤器下拉菜单中选择 "Springer Spaniel - English"问题事件
110:00:53点击检查价格和立即预订按钮
120:00:54年龄下拉菜单下出现消息:“请选择一个年龄”问题事件
130:00:55从年龄下拉菜单重新选择“6 个月及以上”
140:00:56点击按钮以查看价格并立即预订
150:00:57年龄下拉菜单下出现消息:“请选择一家门店”问题事件
160:01:00点击“选择一家门店”旁边的“选择”链接
170:01:09不记得目标是科罗拉多州格伦代尔,因此输入了“休斯顿”问题事件
180:01:15美容沙龙菜单打开,起始项为 Bath & Brush
190:01:21滚动菜单但在看到目标服务前停止问题事件
200:01:32选择了 Bath & Full Haircut w/ Furminator,价格为 $74问题事件

附录表 1:参与者 B 的时间线。

ChatGPT 逐问题分析结果

附录表 2 显示了 ChatGPT 和 UX 研究员报告的可用性问题,按运行次数排列。

问题编号描述第 1 次运行第 2 次运行第 3 次运行第 4 次运行
H1美容表单中狗/猫按钮的呈现延迟足够长,导致参与者在它们出现之前选择了年龄
C1先选择狗然后选择年龄(幻觉:在选狗之前选择了年龄,这导致了 H2 中指出的问题)1
H2选择“dog”后,已选的年龄被重置,但参与者没有注意到1
H3品种过滤器存在问题——品种众多且字母排序不一致(例如,“English Toy Spaniel”与“Springer Spaniel - English”)1
H4点击品种下拉菜单后,可以在带有占位符文本“breed”的字段中输入,但没有明显的可供性提示
H5参与者不确定是否可以通过输入来过滤品种
H6尝试在未选择年龄的情况下开始预订1
H7尝试在未选择位置的情况下开始预订1111
H8将位置设置为休斯顿而不是格伦代尔1111
C2网站允许参与者在错误的门店上下文中继续操作(误报 -- 属实,但是可用性测试环境的产物)1
C3服务菜单包含高度相似的服务名称(误报 -- 属实,但这是一个相对次要的问题)111
H9未滚动到菜单列表底部,从而错过了目标服务1111
H10选择了 Bath & Full Haircut w/ Furminator,价格为 $74(错误选择)1111
H11任务完成判定为不成功1111

附录表 2:ChatGPT 5.4 Thinking 和 UX 研究员为参与者 B 报告的可用性问题。

Gemini 逐问题分析结果

附录表 3 显示了 Gemini 和 UX 研究员报告的可用性问题,按运行次数排列。

问题编号描述第 1 次运行第 2 次运行第 3 次运行第 4 次运行
H1美容表单中狗/猫按钮的呈现延迟足够长,导致参与者在它们出现之前选择了年龄
H2选择“dog”后,已选的年龄被重置,但参与者没有注意到
G1参与者不得不多次参考任务说明(误报 -- 属实,但是可用性测试环境的产物)111
H3品种过滤器存在问题——品种众多且字母排序不一致(例如,“English Toy Spaniel”与“Springer Spaniel - English”)
H4点击品种下拉菜单后,可以在带有占位符文本“breed”的字段中输入,但没有明显的可供性提示
H5参与者不确定是否可以通过输入来过滤品种
H6由于之前的重置,尝试在未选择年龄的情况下开始预订
H7尝试在未选择位置的情况下开始预订1111
H8将位置设置为休斯顿而不是格伦代尔(忘记了任务位置要求)1111
H9未滚动到菜单列表底部,从而错过了目标服务111
G2参与者滚动错过了正确的服务,落在了更昂贵的“FURminator”选项上(HALLUCINATION -- 目标服务位于 FURminator 选项下方且从未显示)1
G3用户点击了 Bath & Full Haircut with FURminator 上的“show more”,然后选择了它(HALLUCINATION -- 此事件从未发生,因为没有标记为“Show More”的控件)1
H10选择了 Bath & Full Haircut w/ Furminator,价格为 $74(错误选择)1111
H11任务完成被判定为不成功1111

表 3:Gemini 3 Flash Thinking 和 UX 研究员报告的参与者 B 的可用性问题。

附录 B:PetSmart 预约任务

在2019 年进行的一项 UX 基准研究中,参与者的任务之一是使用 PetSmart 网站预订科罗拉多州 Glendale 的一只一岁英国史宾格犬的美容预约,然后在确定洗澡和全身修剪的费用后停止。在本节中,我们回顾通过“快乐路径”的步骤,并对可能合理的用户行为进行一些推测,以便为理解后面呈现的问题列表提供背景知识。

附录图 1 显示了主页。在继续之前,请问自己,你会从哪里开始?

Home page for the pet grooming task.

附录图 1:宠物美容任务的主页。

对于这个任务,最佳的首选是从页面顶部附近的水平导航菜单中点击“pet services”。从这里,有两条通往美容的路径。附录图 2a 显示了下拉菜单,用户可以向下拖动光标并释放按钮以选择 Grooming Salon。附录图 2b 显示了点击“pet services”但未拖动而释放鼠标按钮后出现的宠物服务菜单,从中用户可以点击 Grooming。

Appendix Figure 2a: Click and drag path

Click-and-drag path through PetSmart website.

Appendix Figure 2b: Click without dragging path

Click without dragging on PetSmart website.

附录图 2:通往美容菜单的两条路径。

附录图 3 显示了美容表单。不在 Glendale 的用户可以在这里将位置更改为 Glendale,选择狗,选择品种,选择年龄,然后点击按钮查看价格。

PetSmart's grooming form.

附录图 3:美容表单。

在查看价格之前,用户需要为其狗选择品种和年龄。如附录图 4 所示,点击品种会产生一个可搜索的品种下拉菜单。附录图 4a 显示了下拉菜单的初始外观;附录图 4b 显示了在组合框中的占位符文本“breed”上方输入“english”后的外观。

Appendix Figure 4a: Initial appearance of the breed dropdown

Appearance of breed dropdown on PetSmart website.

Appendix Figure 4b: Appearance of the breed dropdown after typing “english” over “breed”

Breed dropdown after typing "english."

附录图 4:可搜索的品种下拉菜单。

对于快乐路径,用户应在组合框中输入“english”,因此我们预期的潜在问题之一是用户没有意识到下拉列表可以被过滤。增加了此步骤复杂性的是,“English”一词在不同品种中的位置不一致。例如,过滤后,图 4b 中的列表包括 English Toy Spaniel、Old English Sheepdog 和 Springer Spaniel – English。过滤后这个问题较小,但如果在未过滤的列表中滚动则可能更具问题性。

附录图 5 显示的年龄下拉菜单相对简单,只有两个选项。

Pet age dropdown.

附录图 5:年龄下拉菜单。

填写完美容表单后,下一步是点击“查看价格并立即预订”,以获取附录图 6 中显示的美容选项列表。由于目标选项位于列表末尾且在首屏以下,我们预计部分用户可能会选择较早的选项。

Appendix Figure 6a: Completed grooming menu and first option in Grooming Salon Menu (above the fold)

Completed grooming form and first option.

Appendix Figure 6b: The other grooming options (below the fold; last option is the target)

Grooming options below the fold.

附录图 6:首屏上方和下方的美容选项,展示了价格为 61 美元的目标选项 Bath & Full Haircut。

原作者保留版权;来源:MeasuringU。本站维护者确认获准转载,非公共领域或开放许可证声明。 原文来源(转载授权由站点维护者确认) · 中文译文由 CxHub 客户体验社区生成,并非官方译文。

来源:MeasuringU · measuringu.com