跳到正文
UX Collective· Bill Guo·· 3 小时前精选AI 评分78

设计团队利用Slack智能体自动化处理高频重复咨询的实践

Everyone’s got a quick question

文章摘要

远程设计团队负责人通过分析两年半内2413条内部请求,发现53%的问题无需其亲自判断,答案已存在于文档或历史线程中但难以检索。为解决这一痛点,团队构建了名为“le goat”的Slack智能体原型,旨在自动响应日常查询。

该智能体的开发重点在于交互设计与信任机制。遵循Google People + AI Guidebook原则,团队优化了回复礼仪:即时显示思考状态、结论前置、明确标注不确定性来源以及仅起草而非直接修改文档。在MVP阶段,智能体聚焦于查找资源、同步遗漏信息、指引对接人、提供设计规范及整理讨论卡片五类高频场景。试点期间,团队两周内提出228个问题,日均量远超负责人此前最繁忙时段。

针对智能体回答准确性的评估显示,在检查的56个答案中,无自信错误案例,但约三分之一因源数据冲突(如PRD、Figma与设计代码版本不一致)而表现出不确定性。这揭示了团队协调与文档维护的深层问题。为此,后续迭代引入了主动协作功能:每日晨间更新变更摘要、每周自动检测源数据差异并提出修正建议、追踪未处理的修复项。

推荐理由

通过分类高频重复咨询并构建具备交互礼仪的Slack智能体,将团队隐性知识显性化,减少核心成员的中断损耗。

正文 · AI 翻译

而且你不必回答所有问题。

我收件箱里常见的问题,重新呈现。

我成了团队的搜索引擎

每个团队都有一个人是大家都要联系的。他们知道东西放在哪里,为什么某个决定是这样做的,以及当你卡住时该问谁。如果你在一个团队里,你今天可能已经给那个人发过消息了。 😏

在 Radical Candor 中,Kim Scott 将团队赖以建立的稳定可靠的人称为 rock stars。我们的团队体育迷太多了,所以我们称他们为 GOAT:史上最佳(greatest of all time)。

我领导一个由十五人组成的远程设计团队,很多团队的问题都会找到我。每个问题单独看似乎都很小,但不断的打断开始让我疲惫不堪。 🫣

显然,这种挫败感是有研究支持的:2008 CHI paper 发现人们经常通过加快工作来弥补被打断的时间,但结果却感到更有压力和沮丧。

我想知道这些打断中有多少是真正必要的。所以我回顾了两半年的请求——总共 2,413 个——并按回答所需的内容进行了分类。这促使我和我的实习生 Bryan 构建了一个 Slack agent 来分担一些我的 工作。

我的收件箱里有什么

在我最忙的时候,每个工作日大约有 nine 个杂务请求到达我这里,每周接近五十个。分布在日历上,它们几乎填满了每一个 工作日。

每个工作日一个方块;颜色越深表示 越多。

有些问题不断回来

很多感觉像是似曾相识。203 个问题以前被问过,有些甚至超过十几次。重复最多的——如何访问用户研究录音——出现了 32 次。我猜测大多数重复发生在 DMs 中,那里其他人看不到答案。即使在公共频道中,又有多少人会去翻旧的 Slack 线程呢?

每次提问一个点。

按小时计算的等待时间

我的大多数设计师都是兼职人员,按照自己的时间工作,通常在晚上,而我保持朝九晚五。白天,我试图尽快回复人们,通常在大约 15 分钟内(请允许我为自己骄傲一下 😎)。然而,在工作时间之外,一个问题可能要等待 12 到 13 个小时,直到第二天早上我回来。

按发送小时计算的首次回复中位等待时间。

这些都需要我吗?

并不完全是。仔细审查案例后,我发现 53% 根本不需要我。答案已经存在于某处,在文档、Figma 文件或旧线程中;人们只是找不到它,或者不知道它在那里。另外 35% 主要是跑腿工作,比如挖掘哪个规范是当前的或交接线程确定了什么,然后我才签字确认。最后的 12% 是只有我能做出的决定:某人的角色、他们的工时、谁应该帮助做什么。

2,413 个请求:每个请求来自哪里,是什么,需要什么。
大多数问题不需要我的判断。它们只需要一个 答案

Agent 能回答它们吗?

我承认,我一直在悄悄地对简单问题“作弊”:把它们粘贴到我自己的 agent 中,检查答案,然后用我自己的话传递出去。这经常奏效,以至于我在想,为什么不直接让团队提问呢?于是 Bryan 和我快速构建了一个 Slack 原型。我们叫它 le goat 🐐(我的 LeBron 粉丝同伴们,懂的都懂)。

这是我尝试一个简单问题时的情况。Cloudflare 上的一个小服务器捕捉到了这条提及,并用 👀 表情做出反应,这样提问者就知道 le goat 正在处理了。它跟踪该对话线程,并将问题交给 Gemini,后者在 Notion、GitHub 和网络上查找信息,然后在同一个 线程中回复。

一个不需要我介入的问题,通过原型进行了测试。回复返回时长度为 639 字。

虽然有效,但一个简单的提问可能会得到一篇 639 字的文章作为回复。如果在 Slack 上把这么长的内容甩给别人,我会感到非常愧疚。le goat 还需要 改进。

让它成为一个有礼貌的机器人

在其他人看到它之前,我教它如何回复。大部分交互设计灵感来自 Google 的 People + AI Guidebook 中的原则,特别是在传达不确定性、处理错误以及让用户保持控制权方面。挑战在于让这些原则在 Slack 对话中显得自然。

四种礼貌表现,前后对比。
  • 展示工作状态。以前一个问题会面临四分钟的沉默,然后是机器人的内心独白。现在“Thinking”(思考中)立即出现,步骤折叠在其下方,并有一个停止 按钮。
  • 直奔主题。答案以前藏在第二段。现在它首先出现,只有一行。比较变成一个小表格,计数变成 条形图。
  • 知道自己不知道什么。我们的一位开发人员喜欢引用苏格拉底的话:真正的智慧是知道自己不知道什么。le goat 不再给出毫无根据的自信断言,而是说明它没找到什么以及谁可能知道,其来源在一次点击后折叠 起来。
  • 将决策权留给人类。le goat 不再未经询问就编辑我们的指南,而是起草变更,比如文档更新或新卡片,并且绝不自行实施。草稿以 Slack 卡片形式送达,直到合适的人批准后才会有所 改变。

日常问题的 MVP

有了这些礼貌规范,我将 MVP 的范围限定为人们最常问我的五种类型的问题:查找某物(314 次询问)、补看错过的内容(565 次)、知道该问谁(448 次)、寻求设计系统指导(731 次),以及将讨论转化为 卡片。

五种日常询问,在 Slack 中得到解答。

团队试用

在试点期间,我邀请整个团队在 Slack 中试用 le goat 并向它提出任何问题。他们一直在提问:两周内提出了 228 个问题,第二周平均每天 31 个。这超过了我最繁忙的一周的三倍多。

试点期间提出的问题。

他们希望它在流程中

给人一个可以随意提问的智能体有个有趣的现象:人们开始希望它在任何地方都能用。设计师们希望 le goat 出现在 Figma 中,因为他们整天都在那里工作,所以我们构建了那个功能。现在他们可以在 Figma 评论中 @le goat,并直接在 那里获得回复。

在 Figma 评论中提问,在线程中获得答案。

从回答到提问

人们显然在使用 le goat。但我也想知道我是否可以信任它的 答案。

有能力,但不自信

所以我检查了它的 56 个答案是否有幻觉。幸运的是,没有一个是自信地错误的。但只有 37 个是既自信又正确的。另外 19 个,大约三分之一,回来时是不确定的。对于一个旨在帮助团队解除阻塞的智能体来说,这种不确定性太多了。

按置信度和准确性统计的 56 个已核对答案。

让我困惑的是,这些答案似乎都有充分依据。工具已连接,来源引用也正确。那为什么 le goat 如此不确定呢?

这里重现了那 19 个案例中的一个。有人问我们表单上的字段标签应该多大。le goat 找到了三个答案:Notion 中的 Forms PRD 写着 TBD,Figma 显示为 13px,而代码中是 14px。它无法判断哪个是当前的。

找到答案并不是问题。知道该信任哪一个才是。

文档为何不一致

为了了解它们是如何产生分歧的,我按时间顺序排列了各个来源。一位产品经理询问了字段标签的大小,PRD 记录为 TBD。设计团队后来确定为 13px,代码也随之跟进。但 PRD 从未更新,而且一次无关的重构最终将代码改成了 14px。难怪 le goat 会不确定。

这在一定程度上是团队协调问题。Atlassian 的工作协议等实践有助于明确团队协作方式以及决策存放位置。但决策会变化,而文档并不总能跟上。

各来源随时间推移如何产生分歧。

一位主动的队友

而且这并不是我们的来源唯一一次出现分歧。在 2,413 次提问中,有 204 次(8.5%)是人们在确认某个东西的正确版本。那些是我收到的最好的问题之一。它们帮助发现了差异,并使团队保持一致。

真正的 GOAT 不仅回答问题。他们知道哪些问题需要被提出。

所以我想知道 le goat 是否也能做到这一点。这成为了下一次迭代背后的理念:让它成为一个能够主动发声的队友,以三种方式实现。

le goat 主动性的三种方式。

分享须知信息。决策并不总能传达给每个需要知道的人。因此 le goat 每天发送一条简短的晨间更新,说明发生了什么变化以及在哪里做出的决定。

标记差异。每周一,le goat 检查是否存在不一致的来源。它不仅提出问题,还会向相关人员提供证据和建议的修复方案以供审查。

跟进落实。修复可能会被遗漏。当某项修复未被审查时,le goat 会先检查其是否已被处理,然后再向负责人发送提醒。

每一个被接受的修复都会留下一个更干净的来源。并且由于每位负责人只需审查自己负责的部分,没有人必须独自维护所有内容。一点分而治之的策略。

底层的一些调整

对于任何对技术感兴趣的人,以下是自第一个原型以来我做的一些极客式改进。

在第一个原型基础上的三项更改。

分类。并非每条消息都需要同等程度的思考(或花费 🤑)。小型快速模型 Jev 首先对消息进行分类:简单消息获得预设回复,而真正的问题则交给 LLM,并配以适当的思考级别。

连接器扩展。我们通过 Supabase 添加了 Figma 和我们的服务知识库,除了 Notion、GitHub 和网络之外。这就是我们如何让 le goat 直接在 Figma 评论中回答问题的方式:webhook 捕获提及,回复返回到同一线程中。

权限。我们让 le goat 知道它在哪里发言——公共频道、私有频道还是私信——以避免过度分享敏感信息。用户可以通过关联他们的 Slack 账户来选择加入,允许 le goat 搜索他们的私人对话,同时确保答案仅对 他们可见。

团队的三双表现

我追踪了三件事来观察 le goat 是否有帮助:还有多少问题最终交给我处理、人们等待了多久,以及它自信且正确的频率有多高。这三项指标都改善了。而且现在答案存在于共享线程中,下一个人可以找 到它们。

三个数字的前后对比,以及来自团队的一些笔记。

释放 GOAT

每个团队都需要一个知道东西放在哪里、为什么做出某些决定以及谁负责什么的人。但他们的日子不应该花在回答同样的问题上。

le goat 处理日常询问,把那些需要他们的工作留给这些人:艰难的设计决策、头脑风暴想法、突破界限,并提升 上限。

还有一个更大的好处。随着智能体成为日常工作的一部分,可靠的知识库变得更加重要。更少的差异意味着更少的编造答案,以及为人类和智能体提供更好的信息 。

让 le goat 处理琐事,这样真正的 GOATs 才有时间做 硬核工作。

下一步:智能体农场

既然 le goat 已经出了谷仓,我一直在考虑招募几个队友。一只爱讽刺的猫头鹰用于批评,一头勤劳的骡子干脏活,一匹快马处理紧急请求。每个 GOAT 都需要一个团队, 对吧?

谷仓门打开了。我们应该接下来构建哪个智能体?

延伸阅读

一些为这项工作提供依据或就所讨论的挑战提供有用视角的资源:

  • Radical Candor — Kim Scott。关于建立高效团队以及认可摇滚明星和超级巨星的贡献。
  • The Cost of Interrupted Work: More Speed and Stress — Gloria Mark, Daniela Gudith & Ulrich Klocke (CHI 2008)。关于工作中断的隐性成本。
  • People + AI Guidebook — Google PAIR。关于围绕不确定性、信任和人类 控制设计 AI 交互。
  • Working Agreements — Atlassian Team Playbook。关于确立团队沟通和决策方式的共同期望。

原作者保留版权;来源:UX Collective。本站维护者确认获准转载,非公共领域或开放许可证声明。 原文来源(转载授权由站点维护者确认) · 中文译文由 CxHub 客户体验社区生成,并非官方译文。

来源:UX Collective · uxdesign.cc