跳到正文
UX Collective· Patrick Neeman·· 3 小时前AI 评分73

专业用户场景下AI对话界面的适用边界与替代方案

Where to draw the line before AI reaches professional users

文章摘要

在面向专家用户的B2B应用中,盲目引入AI聊天界面往往适得其反,因为专家已建立高效的操作肌肉记忆和认知地图,对话式交互反而构成“翻译层”障碍并降低效率。METR的随机试验显示,资深开发者使用AI工具后速度慢了19%,却误以为提速;Dell’Acqua等人的研究也指出,超出AI能力边界的任务会导致正确率下降19%。因此,需根据任务频率与性质划分界面策略:高频常规任务应保留图形界面以利用重复带来的速度优势;低频长尾任务适合对话界面,因其替代的是人工工单而非现有操作路径;持续性监控任务则应由环境智能体(Ambient Agent)主动推送异常,而非等待用户提问。此外,专业工作对可验证性要求极高,斯坦福研究发现法律AI工具幻觉率达17%-33%,迫使专家仍需逐条核查引用,抵消了生成速度优势。从业者应避免用对话取代核心界面,而是将聊天作为通往可审计、可调整图形视图的入口,并重点衡量“验证时间”而非“生成时间”,确保AI介入不破坏专家已有的技能资产与工作流确定性。

正文 · AI 翻译
每条路线图都有一个聊天框。但很少有回答它是为 谁准备的。

六个问题,用来判断对话层究竟能加快专家的工作,还是会在他们与已经熟悉的工作之间悄悄插入一个键盘。

我见过的几乎每个 B2B 应用都有聊天框。有时是侧边栏,有时是重构后让提示词成为前 门。

这个功能通常设计得很好,带有一种闪亮的工艺感,因为这就是我们现在定义 AI 工艺的方式, 对吧?

而它背后的问题——这是为谁设计的,三十秒前他们在做什么,他们在职业生涯中做这件事多久了——通常没有答案。

这个问题在专业应用中比其他任何地方都更重要,因为这些用户不是访客,而是特定领域的专家用户;他们花了几十年时间学习自己的领域和软件。

我 literally 花了几十年观察他们,并得出结论:某些用例永远不应被 AI 取代,因为它 永远 无法击败 他们。

他们是本周第 82 份档案的理赔理算员,是读过 10,000 份合同、知道转让与控制权变更的区别只是七年前写在合同里的几个字并今天仍复用相同模式的律师,是熟记每一个异常代码的供应链计划员。他们每天早上打开同样的六个屏幕,确切地知道每样东西在哪里。

对他们来说,对话是一场绕道,穿过一个布满地雷的文本字段,而这群用户的认知极限早已爆表,因为他们一直在自己的领域里, 永远如此。

我知道,我亲眼见过——实时 发生。

这些 UX 决策源于缺失的一步:没人先画那条线,而那条线是用铅笔写的。现实是,对于专业应用而言,这条线的位置有些模糊,但我们仍然必须画出它,尤其是在 AI 时代。

以下是六项考量,告诉你这条线应该画在哪儿。

Expertise is a skill someone already paid for. A redesign asks them to pay for it twice.
专业知识是某人已经付费获得的技能。重新设计要求他们为此 再付一次费。

它会破坏现有技能吗?

专家在你的产品中构建了技能——键盘路径、保存视图、他们在 2019 年发明的变通方法,写在便利贴上,每天节省 90 秒的任务时间。

最后这种情况我见得太多了,多到我不愿承认。

这些都不会出现在你的分析数据中,而在你替换其所在界面的那一天,所有这一切都被一笔勾销。

这种勾销比看起来更大,因为他们不仅在学习你的新屏幕,还在学习一种新的工作方式。Jakob Nielsen 认为 AI 是 “60 年来第一个新的 UI 范式”,继 1945 年的批处理和 1964 年的命令式交互之后。行业传授一个范式很慢,而 你的用户为每一个尝试的产品支付学费。

你会听到阻力被称为 沉没成本谬误,通常以此为由推翻 它。

标签错了。

沉没成本不应影响下一个决策。你的用户花在学习你产品上的时间并没有花费掉——那是投资,并且每天早上都在产生回报,他们甚至不会升级软件来改变他们的模式。

用户在保护一项资产。路线图在保护一个决策。

谬误存在于桌子的另一侧。一个团队资助了一个聊天界面两个季度,看着采用率停滞不前却仍然将其发布,这正是在重复 Barry Staw 在 “Knee-Deep in the Big Muddy” 中记录的规律:人们恰恰是在造成早期 损失时,向一条失败的路径投入了最多的资源。

专业知识反转效应指出了这种机制:对初学者有帮助的支持对于已经了解该领域的人来说反而变得昂贵。对话层是一种脚手架,在第一年是礼物,在第四年却成了障碍。

例如,自然语言可能看起来很酷,但那个拥有 400 个已保存搜索条件的招聘人员或律师呢?他们会想要那些旋钮和拨盘,因为他们比 AI 更懂行。

标准不是“更好”。

大声说出倍数:快三倍,或者是旧路径根本做不到的事情。如果你说不出一个数字,就将其与旧路径并行发布,以便你可以 学习。

图形界面让命令行延续了 20 年,而需要它的人从未停止使用 它。

对话降低了不了解系统的人的门槛。专家面临的是相反的 问题。

聊天只适合新手吗?

对话解决了 回忆问题。

如果你不了解一个系统,每个菜单都是一次你在公开场合不及格的词汇测试,这就是为什么大多数企业应用程序都是信息架构雷区。改为输入一句话,负担就转移到了机器上。这是一个真正的改进,也是为什么聊天在演示中效果很好——演示总是某人的第一 天。

Tesler 定律指出了实际发生的情况:复杂性是守恒的。每个系统都有不可减少的复杂性,唯一的问题是谁来吸收 它。

聊天并没有消除你产品的复杂性,而是将其重新定位并利用系统来帮助处理 AI。

对于不了解系统的人来说,这是一笔好交易——机器承担了他们无法承担的部分。对于专家来说,情况则相反。他们在多年前就已经吸收了这些复杂性,以字段名和状态码的形式存在,而提示词又把它作为一个措辞问题交还给 他们。

直接操作从另一个角度解决了同样的问题。Ben Shneiderman 1983 年的表述至今仍是任何人写过的最清晰的定义,它将对象放在屏幕上,让你可以看到它们、对它们进行操作并撤销你的操作。识别而非 回忆。

  • 对于新手,提示词是一种 救援。
  • 对于专家,它是覆盖在他们已经流利掌握的系统之上的一个翻译层,无论该系统多么 复杂。

NN/g 将新手的这种情况称为表达障碍——人们知道自己想要什么,却无法用语言表达,结果得到的是通用结果。专家面临的是相反的问题。他们知道字段名、状态码、确切的过滤器,并且使用它们的速度要快得 多。

要求他们用一句话来描述并不会降低门槛,在很多情况下反而会建立一道门槛。请据此进行测试。

用户需要看到整个 集合吗?

以下是过滤器能做而提示词不能做的事情:当理赔员将队列缩小到 12 个未结案件时,他们不仅得到了 12 个文件,还了解到有 12 个而不是 400 个,其中三个超过了 SLA,并且这种模式看起来像去年十一月的某个星期二。

这些都不是问题所在,所有这些都是答案,而扫描即是诊断。

过滤是一个你可以在半秒内运行并同样快速放弃的假设,这就是为什么专家会在确定一个之前先扫视六个。聊天回复直接返回结果,却没有展示其周围的上下文形态。

聊天回答告诉你你问了什么;屏幕告诉你你应该问什么。

Linus Lee 在2022年提出了这一观点的更深层版本:对话是跟踪信息的一种糟糕方式,因为你需要的状态最终位于滚动历史中而不是在你面前。

屏幕还承载着转录文本所不具备的东西——共享模型。两个人看着同一个视图看到的是同一件事,并且他们可以指点。对话在构造上是私密的,因此每个用户都建立自己的路径,没有人可以审计它。

对于消费级应用来说没问题,但对于拥有40人的运营团队来说是个真正的问题。这就是为什么AI搜索可能不是答案。

Experienced developers in METR’s trial were 19% slower with AI, and believed the opposite.
METR试验中的资深开发人员使用AI后速度慢了19%,但他们却认为情况相反。

它会拖慢专家的速度吗?

METR对资深开源开发人员在各自代码库上进行了一项随机试验,发现他们在使用AI工具时速度慢19%。更令人担忧的部分是:他们在开始前预期会有24%的速度提升,并且在结束后仍然认为自己获得了这种提升。他们感觉不到实际发生的减速。

样本量小,工作类型单一,所以不要过度解读。这与我们所拥有的最大规模现场实验相呼应。Dell’Acqua、Mollick、Lakhani及其合著者让758名顾问参与了锯齿状技术前沿研究:在AI能力范围内,受试者的速度提高了25.1%且质量更高;而在刚好超出AI能力的任务上,他们的正确率比对照组低19%。

专业知识本身就是一种压缩。提示词要求专家将其解压为英语,以便机器再将其压缩回去。

观察一位起草过200次相同赔偿条款的合伙人。他们不是在创作,而是在回忆,这种回忆几乎是即时的,其中的细微差别比AI所能理解的更为真实,而且他们必须按照原始语言的精神来书写。

提示-阅读-修正循环花费了他们更多的时间,并使他们在开始时更加不确定,因为他们现在是在检查别人的工作,而不是信任自己的工作。

模型并不差。它们非常好,但界面要求他们放慢到句子的速度。

验证有多难?

在专业工作中,答案出现并不意味着完成。只有当有人检查过并愿意署名时才算完成。这种成本从未在演示中体现出来。

斯坦福大学的研究人员测试了专门构建的法律研究工具——那些被特别宣传为有依据且可靠的工具——发现Lexis+ AI和汤森路透的工具幻觉率在17%到33%之间。

比通用聊天机器人好。

但对于助理来说,这远不足以让他们停止核对每一个引用,这意味着助理仍然需要核对每一个引用。

输出越是需要向第三方辩护,聊天框作为生成它的场所表现就越差。

聊天在结构上不利于支持核查。它返回的是散文,而散文会抹平检索内容与生成内容之间的差异。经过筛选的结果天生具备可审计性——查询条件就显示在表格上方的标签中,任何人都可以重新运行 它。

询问谁必须为输出结果辩护:答案传播得越远,界面就越需要展示其工作过程。

三个目的地,其中只有一个是对话框 。

工作应该去哪里?

这并不意味着不要构建它。这意味着工作有三个目的地,而其中只有一个是对话框 。

常规任务留在界面中

第一个目的地是某人每天要处理 200 次的队列、保存的视图,以及他们闭着眼睛都能走通的键盘路径。在这里,重复性带来了速度,而速度就是产品 。

成本也遵循同样的方向,并让团队措手不及:点击一次的服务成本为零,而对核心循环发起一次提示则会在每次有人做以前免费做的事情时向你收费——这就是为什么成本位居 Gartner 列出的此类项目被取消的原因之首。

在日常队列前放一个文本字段,就等于向你的最佳用户征税以使用他们自己的产品 。

罕见任务交给聊天

第二个目的地是没人愿意为其设计界面的长尾需求。比如:这 400 份合同中,哪些包含控制权变更条款和非标准责任上限?那些跨越整个架构的一次性请求,最终变成发给分析师的工单,三天后才能得到答复。或者是财务分析深处那些异常的答案。

这正是对话真正值钱的地方,因为替代方案不是过滤器,而是等待;一个每季度只问一次的问题,值得按次付费 。

称之为“工单测试”。

如果用户原本会提交工单,那么聊天是在与三天的等待竞争,门槛很低。如果他们原本会点击,那么它是在与肌肉记忆竞争,而肌肉记忆是不可战胜的。

持续任务交给智能体

第三个目的地是团队经常忽略的那个,而且它根本不是对话 。

  • 一份合同带着非标准的上限到达。
  • 一批货物错过了时间窗口。
  • 某个账户的使用量连续三周下降。

没有人需要就此输入任何问题,因为系统已经知道了。这项工作属于一个环境智能体(ambient agent),它在你的屏幕所显示的同一数据上运行,仅当有人必须做出决定时才进行中断。

这个想法并不新鲜。Christopher Noessel 十年前在 “Designing Agentive Technology” 中将这些系统称为 agentive,而 Golden Krishna 在 2015 年的 “The Best Interface Is No Interface” 中也主张用后台进程取代屏幕。如今,模型终于足够好,能让它 发挥作用了。

聊天等待被提问。环境智能体早已知晓。

聊天是拉取式的,需要用户知道存在一个问题。环境智能体是推送式的,需要系统准确判断什么值得关注,这是更难的问题,也是更好的产品。如果搞错了,你就制造了一个没人信任的通知,所以要为精确度调优,让智能体保持沉默。如果做对了,它能完成凌晨三点没人能做的扫描,然后交回一个过滤后的队列——也就是说,它在界面开始的地方结束。

结论

这条界线与你对对话的感受无关。它关乎的是谁站在屏幕前,以及他们之前做过多少次这样的操作。

真相:

  • 新手需要语言——他们没有地图,也没有词典。
  • 专家拥有地图——他们构建了它,维护着它,你产品中的每一个界面都是地图上的一个地标。

给他们一个文本框,就是要求他们放弃地图,转而向一个从未去过那里、偶尔还会凭空捏造地点的人描述地形。

所以,在开始冲刺开发之前先跑一遍检查清单。基于真实的用户数据而非脑海中的演示,诚实地回答这五个问题,路线图就会自动理清。

剩下的将是一个比你原本计划更小的聊天功能,旨在解决用户目前完全无法完成的工作,它位于一个无需道歉的界面旁边,同时有一个智能体在无人注视时默默处理队列。这是一个比在所有东西之上加个提示词更好的产品。它也更难演示,而这正是它往往不被构建的主要原因。

检查清单

六项测试简化为五个问题。它们故意保持抽象——即使在下一次模型发布后,甚至再下一次之后,它们应该仍然有效。Saleema Amershi、Mihaela Vorvoreanu 及其在 Microsoft Research 的同事于 2019 年针对 20 款已发布的产品验证了 18 条人机交互指南。这五条更为狭窄,仅用于确定对话是否适合出现在专家面前。

  • 这个人已经有多了解该系统?其他一切都由此衍生。语言有助于那些缺乏地图的人,但会阻碍那些绘制了地图的人。
  • 这项任务是常规性的、罕见的还是持续性的?常规工作属于界面,因为重复带来速度。罕见工作属于对话,因为没人会为它专门构建一个界面。持续性工作属于一个观察并中断的智能体,因为没人应该不得不记得去询问。
  • 用户需要一个答案,还是需要整个集合的形状?检索是一个有回复的问题。诊断是关于回复周围情况的问题,它需要一个能展示周边环境的界面。
  • 在这里谁更快,谁更确定?没有确定性的速度不是速度。它是一种稍后显现的成本,体现在某人信任输出结果并愿意为其签字所需的时间上。
  • 它值得切换成本吗?每一条新路径都会向用户收取他们已经掌握的老路径的费用。如果你不能清楚地说明这好多少,就把老路径留在原处,让他们自己选择。

行动项

  • 把聊天功能放在工单所在的地方。提取过去 90 天内客户发给分析师和运营部门的请求;那个队列是一份已经附带数量的经过验证的功能列表。
  • 给每个答案一个落脚的界面。将结果渲染为用户可以调整、保存和分享的过滤视图,以便对话交接给界面而不是取代它。
  • 衡量验证时间,而非生成时间。追踪用户信任答案并据此采取行动所需的时间,以及这个数字是否在下降。
  • 找出那些没人设置的警报。问问你的用户每天早上会手动检查什么,以及他们希望上周有人告诉他们什么。每个答案都是一个带有既定任务和受众的环境智能体,这些受众渴望得到 帮助。
  • 关注回退比例。保留点击路径并追踪用户实际选择哪一条。该比例反映了他们对功能的真实看法,且不会与他们在研究 会议中所说的一致。

原作者保留版权;来源:UX Collective。本站维护者确认获准转载,非公共领域或开放许可证声明。 原文来源(转载授权由站点维护者确认) · 中文译文由 CxHub 客户体验社区生成,并非官方译文。

来源:UX Collective · uxdesign.cc