CxHub客户体验社区-用户研究、体验爱好者学习交流社区，专注客户体验(CX)研究。
社交媒体
可用性测试是确保产品满足用户需求、提升用户体验的关键环节。数字时代下，融入AI，深入探讨可用性测试中抽样方法的科学性及如何通过精心设计的测试流程来识别内容的真实性。我们将分析测试内容的验证覆盖情况，确保测试的全面性和适用性。介绍AB测试的实施流程，提供一套完整的可用性测试和AB测试的理论和实践指南。
我们因为之前的改善改进需要进一步论证正确性，开展的测试活动，不论是对于服务体验的改善，数字化产品功能，信息架构，交互设计，视觉设计都有一定的验证参考时，为此几个建议可以提高可行度和推进产品，开发改进。
用户分层，应该怎么分？哪些类型的用户？要找多少人？关于用户代表性，测试参与者应该代表目标用户群体，确保测试结果的普遍适用性。这个都需要根据现有客户数量分布情况特征分布等提取形成画像及一定比例（2—4）抽样；
可用性测试中识别内容真实性的方法主要包括以下几个方面：
使用AI内容检测工具：通过使用专业的AI内容检测工具，如GPTZero、AISEO AI Content Detector、天目、Smodin AI Content Detector等，可以辅助识别内容的真实性。这些工具通过分析文本模式和结构来区分机器与人类创作，确保文本的真实性和原创性。
任务设计的真实性：在可用性测试中，设计任务时需要考虑任务的真实性，即所有关键任务都在测试期间执行，以确保测试结果的有效性。
用户反馈和满意度评估：通过问卷调查获取可用性测试量表，如ASQ（任务后评估问卷）与SUS（系统可用性问卷），来评估用户对产品的满意度和任务完成情况，从而间接评估内容的真实性。
错误率和任务完成率：通过统计测试中的错误率和任务完成率，可以评估产品的易用性和用户体验，这些指标也能反映内容的真实性和准确性。
模拟真实使用环境：布置能代表真实使用环境的模拟使用环境，招募有合适的人口统计学特征和器械相关使用经验的测试人员，让测试流程尽可能顺畅，打扰地越少越好，以提高测试的真实性。
减少测试中断：在测试过程中减少打断次数，让测试人员自然地完成测试任务，任务不应分得过细，以减少对测试人员完成之后任务的影响，使测试过程更接近真实使用情况。
1-2-1，AI在内容真实性识别中的应用：
在可用性测试中，AI技术如自然语言处理（NLP）可以用于分析用户反馈和测试结果，以识别和提取关键信息，确保测试内容的真实性。AI还可以通过模式识别来预测和推荐解决方案，提高测试的准确性和可靠性。
在可用性测试中，测试内容确实需要验证，以确保测试结果的准确性和可靠性。
准确性：验证测试内容是否准确反映了用户的实际使用场景和需求。
完整性：确保测试覆盖了所有关键的用户任务和功能，没有遗漏重要的测试点。
一致性：检查测试内容是否与产品的目标和预期使用一致，确保测试的一致性。
任务覆盖：测试任务应该覆盖用户使用产品时可能遇到的各种情况，包括常见的和边缘的情况。
环境模拟：测试环境应该尽可能模拟真实世界中的使用环境，以确保测试结果的现实适用性。
数据收集：通过收集和分析测试中的数据，如错误率、任务完成时间、用户满意度等，来评估测试内容的覆盖情况是否合理。
1-3-1. 测试内容覆盖的AI验证：
AI可以辅助验证测试内容的覆盖情况，通过智能监控和分析，确保测试覆盖所有关键功能和用户场景。AI的预测模型能够提前识别代码中的潜在缺陷区域，帮助测试人员优先关注高风险模块。
可用性测试的结论分析是一个系统性的过程，涉及对测试数据的收集、整理和解释，评估产品或系统的可用性，并提出改进建议。
数据收集：「定量数据」：包括任务完成时间、错误次数、成功率、满意度评分等。「定性数据」：包括用户访谈、观察笔记、视频记录、用户反馈等。
数据整理：「分类」：将数据按照任务、用户群体、使用场景等进行分类；「汇总」：对定量数据进行汇总，计算平均值、中位数、众数等统计指标。「编码」：对定性数据进行编码，提取关键主题和模式。
数据分析：「比较分析」比较不同用户群体、不同任务或不同条件下的数据差异。「趋势分析」分析数据中的趋势，如用户满意度随时间的变化。「相关性分析」探索不同变量之间的相关性，如任务复杂度与错误率之间的关系。
问题识别：「错误分析」识别用户在测试中犯的错误类型和频率。「难点识别」确定用户在使用产品时遇到的主要难点和障碍。「用户反馈」分析用户的直接反馈，了解他们的体验和感受。
结论提炼：「可用性评级」根据分析结果，对产品的可用性进行评级。「优势和不足」总结产品在可用性方面的优势和不足。「改进建议」基于分析结果，提出具体的改进建议。
报告撰写：「结果呈现」以图表、表格和文本的形式呈现分析结果。「解释和讨论」对结果进行解释，并讨论其对产品和用户的意义。「行动计划」制定基于测试结论的行动计划，包括短期和长期的改进措施。
1-4-1 ，结论分析与AI辅助决策：
在可用性测试的结论分析中，AI可以提供数据驱动的洞察，帮助决策者理解测试结果的影响，并做出基于证据的决策。AI辅助的结果分析可以快速识别失败的测试用例，并提供可能的原因，加速问题的解决过程。
2，融入AI的可用性测试流程：AI技术能够全面融入可用性测试流程，提高测试的效率和质量，同时也为测试人员提供了更多的时间和空间去关注更复杂的测试场景和策略。
测试用例生成：AI可以根据需求文档和用户故事自动生成高质量的测试用例。自然语言处理（NLP）技术在这一领域尤其有用，它能够理解自然语言描述的功能需求，并将其转化为详细的测试步骤。这不仅能够节省大量时间，还能减少由于手动编写带来的遗漏和错误。
测试执行：AI可以模拟用户行为，自动执行测试用例，包括用户界面的交互、性能测试和安全测试。这种自动化的测试执行可以大幅提高测试效率，同时减少人为错误。
结果分析：AI在测试结果分析方面将发挥更大的作用。通过深度学习技术，AI可以更准确地识别和分类缺陷，提供开发团队更有针对性的信息，帮助快速修复问题。
性能监控：AI系统将实时监控应用程序的性能，并能够迅速识别性能瓶颈和潜在问题。这有助于在早期发现并解决性能方面的挑战，提高系统的稳定性
测试覆盖率优化：AI可以通过智能算法优化测试覆盖率，确保测试用例能够覆盖到更多的功能和场景。这包括自动定位未覆盖代码，节省手动分析时间，以及快速生成各种类型的测试用例，尤其是边界条件和极端值。
测试策略动态调整：AI可以根据应用程序的变化动态调整测试策略，确保测试始终与代码的最新版本保持同步。
缺陷预测和预防：通过分析历史数据，AI可以建立缺陷预测模型，预测潜在的错误热点，从而让开发团队能够在问题爆发前及时修复。
测试自动化工具：AI驱动的测试工具如Roost.ai、MagnifAI、ContextQA等，能够提供自动化软件测试，包括测试用例的生成、执行和结果分析，以及与自动化框架的集成。
3，可用性测试流程（人独立流程）
测试前：明确整体测试目标，测试范围，受众角色，输出可用性测试验证计划，测试用例及验证Dome，基于验证内容进行验证框架和要点梳理，拉齐利益相关者进行测试工作，共识问题，明确测试价值，感受用户诉求。
测试中：主持人开场白，告知客户相关事宜，客户进行试用/使用，观察试用者的行为，操作路径，情绪，话术，表情，肢体动作，停顿，诉求等进行记录；根据拟定的要点进行深度访谈并记录用户的看法，观点，建议和反馈等，形成文字/录音/视频等材料；
测试后：结束后我们进行数据趋势分析和占比分析，提取关键词等形成结论。对于改善建议和意见形成问题清单与利益相关者共识，分析根因和重要性及推进排期。
两个方案有利有弊，不知道怎么取舍，那么我们将启用AB测试，看看用户侧的表现，AB测试是一种数据驱动的决策方法，它帮助降低风险、优化用户体验，并提高转化率。可以科学地评估不同方案的效果，从而做出更精准的优化和决策。
AB测试是一种实验方法，通过将用户随机分成几个组，让他们看到不同的设计方案，然后根据用户的真实数据反馈进行效果校验。这种方法可以有效减少线上全用户发生事故的概率，并提升用户体验。
应用在「产品迭代」界面优化、功能增加、流程改进等，「算法优化」算法筛选和优化「市场营销」内容筛选、时间筛选、人群筛选等场景。
确定目标：明确想要通过AB测试改进的指标或目标。
设计测试：创建两个或多个版本，它们在关键方面有所不同。
分割样本：随机将用户或客户群体分配到不同的测试组中。
实施测试：确保每个测试组只接触到其分配的版本。
收集数据：在测试期间收集关键指标的数据。
分析结果：使用统计方法比较不同版本的性能。
得出结论：基于数据结果，选择表现最佳的版本。
迭代优化：将测试结果应用于产品或服务的改进，并考虑进行进一步的测试。
2-2，AB测试与AI的结合：
AI在AB测试中的应用可以优化测试流程，通过机器学习算法分析用户行为和测试结果，自动调整测试变量，以提高测试的效率和效果。AI还可以在测试过程中动态调整测试策略，对可能存在严重缺陷的部分进行更深入的探索性测试。
【案例情况】
我们在一个金融业务的审批系统的数字化产品改版过程中，针对不同角色，不同功能需求进行了功能改进与新增，对于交互设计和信息架构进行了重构，大的改动对于用户接受度而言是待论证，于是发起了A/B测试，针对5大岗位，500+人群进行数据采集，整体对于新版的认可度是75%，最高值79.05%，最低值33.33%；
通过结合AI技术，可用性测试和AB测试可以更加科学、高效地进行，从而为产品开发和体验优化提供更准确的数据支持。随着AI技术的不断进步，其在测试领域的应用将越来越广泛，为提升用户体验和产品性能带来革命性的变化。
