用户研究方法-用户体验知识库

报告可用性测试结果

在报告可用性测试的结果时,您应该主要关注您的发现和根据严重程度区分的建议。包括测试计划中的相关信息,并提供足够的细节,以便可以识别该方法。尽可能保持章节简短,使用表格显示指标,并使用可视化示例演示问题区域。

数据分析

在可用性测试结束时,您将根据您在测试计划中确定的指标收集几种类型的数据。在分析您收集的数据时,请仔细阅读注释以寻找模式,并确保添加每个问题的描述。寻找趋势并记录参与者之间发生的问题。

定量数据 定性数据
  • 在电子表格中输入数据以记录数据或进行计算,例如:
    • 成功率
    • 任务时间
    • 错误率
    • 满意度问卷评分
  • 您可能想要添加参与者的人口统计数据,以便您可以按人口统计数据进行排序,以查看是否有任何数据因人口统计变量而异。
  • 确保您确定每个指标的任务场景。
  • 记录相关数据:
    • 关于参与者采取的途径的观察
    • 遇到的问题
    • 评论/建议
    • 开放式问题的答案
  • 确保您的问题陈述准确而简洁。

例如:

    • 好的问题陈述:点击研究链接而不是临床试验。
    • 糟糕的问题陈述:点击了错误的链接。
    • 糟糕的问题陈述:对链接感到困惑。

报告问题的严重程度

在查看数据时,请考虑问题在整个站点中的全球性以及问题的严重性(或严重性)。您的发现可能会对站点中的其他页面(全球)产生影响。例如,您可能会发现参与者由于文本密集而无法在页面上找到他们需要的内容。您可以说只需要修复该页面,但您还应该考虑有多少其他页面同样密集的文本。

有些问题比其他问题更容易导致参与者无法完成场景。为了帮助区分,您应该以三分或四分制记录问题的严重性。例如:

  • 严重

:如果我们不解决此问题,用户将无法完成该场景。

  • 严重

:如果我们不解决这个问题,许多用户会感到沮丧;

他们可能会放弃。

  • 轻微

:用户很生气,但这并不妨碍他们完成场景。

这应该稍后再讨论。

编写可用性测试报告

一般来说,您的报告应包括背景摘要、您的方法、测试结果、发现和建议。您可以调整许多报告模板来帮助您报告您的发现。

  • 背景摘要

:包括一个简短的摘要,包括您测试的内容(网站或 Web 应用程序)、测试的地点和时间、设备信息、您在测试期间做了什么(包括所有测试材料作为附录)、测试团队和遇到的问题的简要描述以及什么是行之有效的。

  • 方法

:包括测试方法,以便其他人可以重新创建测试。

通过描述测试会话、测试的接口类型、收集的指标以及任务场景的概述来解释您是如何进行测试的。

描述参与者并提供背景/人口统计问卷答复的汇总表(例如,年龄、职业、互联网使用情况、访问过的网站等)。

提供人口统计数据的简要摘要,但不包括参与者的全名

  • 测试结果

:包括对主持人和数据记录器所记录内容的分析。

描述完成率最高和最低的任务。

按参与者、任务和任务的平均成功率提供成功任务完成率的摘要,并在表格中显示数据。

所有指标都遵循相同的模型。

根据您收集的指标,您可能希望显示:

    • 完成每个场景和所有场景的参与者的数量和百分比(条形图通常适用于此)
    • 完成场景的人完成每个场景所需的平均时间
    • 满意结果
    • 如果参与者的评论具有说明性,则可以包括在内。
  • 调查结果和建议

:使用所有数据(定量和定性、注释和电子表格)列出您的调查结果和建议。

每个发现都应该有数据基础——你实际看到和听到的。

您可能只想拥有一个调查结果和建议的总体列表,或者您可能希望逐个场景获得调查结果和建议,或者您可能希望同时拥有跨场景的主要调查结果和建议列表以及一个场景 -情景报告。

记住:

    • 尽管大多数可用性测试报告都关注问题,但报告积极的发现也很有用。

运行良好的东西必须通过进一步的开发来保持。

    • 完全负面的报道可能会令人沮丧;

它有助于团队了解何时有很多关于网站运行良好的信息。

    • 每个发现都应包括尽可能具体的情况说明。
    • 每个发现(或一组相关的发现)都应该包括关于做什么的建议。

结合视觉来说明特定点

通过包含视觉内容,您可以使报告更具信息性和趣味性。您可以考虑包括:

  • 给读者的屏幕截图可视化您正在测试的内容。

包括屏幕的某些部分,以说明运行得特别好或给用户带来问题的特定区域。

如果您以电子方式呈现报告并且报告的读者有技术可以查看视频剪辑,则可以使用简短的视频剪辑来说明具体要点。

没有观察实际测试环节的人通常最确信问题所在,并且需要通过观看和收听相关视频剪辑来解决这些问题。

实施和重新测试

要使可用性测试具有任何价值,您必须使用所学的知识来改进网站。您可能无法实施所有建议。开发任何产品都是一系列权衡,您需要在其中平衡计划、预算、人员可用性和所需的更改。如果您无法实施所有建议,请根据解决最全球性和最严重的问题来制定优先事项。当您确定优先级时,推动以获取用户需要的更改。

请记住,为设计不佳的网站的用户提供支持的成本远高于在网站仍在开发时修复该网站的成本。

运行可用性测试

一旦您计划好您的测试招募了您的测试参与者,就该准备进行测试了。为此,您需要考虑哪种调节技术适合您的测试,设置您的空间和设备,并确保在与实际参与者进行测试之前进行试点测试。

选择缓和技术

Jen Romano Bergstrom在她的主持可用性测试文章中指出,为您的测试选择最佳的主持技术取决于您的会话目标。一些常见的调节技术包括:

  • Concurrent Think Aloud (CTA)

用于了解参与者在与产品交互时的想法,让他们在工作时大声思考。

目标是鼓励参与者在工作时保持意识流。

  • 回顾性思考大声 (RTA)

中,主持人要求参与者在会话完成后回溯他们的步骤。

参与者通常会观看他们动作的视频回放,其中可能包含也可能不包含眼睛注视模式。

  • 并发探测 (CP)

要求参与者在完成任务时——当他们说一些有趣的事情或做一些独特的事情时,研究人员会提出后续问题。

  • 回顾性探索 (RP)

需要等到会话完成,然后询问有关参与者的想法和行为的问题。

研究人员经常将 RP 与其他方法结合使用——当参与者发表评论或采取行动时,研究人员会记笔记并在会议结束时跟进其他问题。

当您尝试决定使用哪种技术时,权衡利弊很重要:

技术 优点 缺点
并发大声思考 (CTA)
  • 了解参与者发生的想法以及他们尝试解决遇到的问题时的想法
  • 获得实时反馈和情绪反应
  • 可能会干扰可用性指标,例如准确性和任务时间
回顾性大声思考 (RTA)
  • 不干扰可用性指标
  • 总会话长度增加
  • 难以记住一个小时前的想法=糟糕的数据
并发探测 (CP)
  • 了解参与者在尝试完成任务时的想法
  • 干扰参与者自己进行的自然思维过程和进展,如果不间断的话
回顾性探测 (RP)
  • 不干扰可用性指标
  • 记忆困难=糟糕的数据

试点测试  

在进行可用性测试之前,请确保您已准备好并检查了所有材料、同意书和文件。与志愿者参与者一起对设备和材料进行试点测试非常重要。在第一次测试前 1-2 天进行试点测试,以便您有时间处理任何技术问题,或在必要时更改场景或其他材料。试点测试允许您:

  • 测试设备
  • 为辅导员和记录员提供练习
  • 充分了解参与者是否清楚您的问题和场景
  • 进行最后一分钟的调整

最佳实践

  • 尊重参与者,让他们感到舒适。
  • 请记住,您是在测试网站而不是用户。

帮助他们了解他们正在帮助我们测试原型或网站。

  • 保持中立——你在那里倾听和观看。

如果参与者提出问题,请回答“你觉得怎么样?”

或“我对你会做什么感兴趣。”

  • 不要立即跳进去帮助参与者,也不要带领参与者。

如果参与者放弃并寻求帮助,您必须决定是结束场景、给予提示还是给予更多实质性帮助。

  • 团队应该决定你将给出多少提示,以及当参与者显然走上一条非生产性的道路时,你将允许他们在场景上工作多长时间。
  • 记好笔记。

记笔记者应尽可能详细地记录参与者所做的事情以及他们所说的(用他们的话)。

会议期间做的笔记越好,分析就越容易。

  • 衡量绩效和主观(偏好)指标。

人们的表现和偏好并不总是匹配的。

通常用户的表现会很差,但他们的主观评价很高。

相反,它们可能表现良好,但主观评分非常低。

    • 绩效衡量包括:成功、时间、错误等。
    • 主观测量包括:用户自我报告的满意度和舒适度评分。

可用性测试会话示例

这是一个示例测试会话。

  1. 主持人将欢迎参与者并解释测试会话,要求参与者签署发布表格,并询问任何预测试或人口统计问题。
  2. 辅导员大声解释思考并询问参与者是否还有其他问题。

主持人解释从哪里开始。

  1. 参与者大声朗读任务场景,并在他们大声思考的同时开始处理该场景。
  2. 记录员记录参与者在每项任务上的行为、评论、错误和完成(成功或失败)。
  3. 会话将继续,直到所有任务方案都完成或分配的时间已经过去。
  4. 辅导员在会话结束时提出主观问题或将其发送到在线调查,感谢参与者,给予参与者商定的激励,并护送他们离开测试环境。

主持人然后重置材料和设备,与观察员简短交谈并等待下一位参与者到达。

招募可用性测试参与者

招募与您的网站用户相似的参与者进行可用性测试至关重要。根据站点或产品,您可能有多个潜在用户组。尝试包括所有这些组的代表,或者如果您真的想专注于基于角色的信息或功能,最好分别对每个组执行测试。

请记住,您不是您的用户。仅在以下情况下才使用您的内部员工作为参与者……

  • 他们没有参与网站或产品的设计或开发,并且
  • 他们代表目标受众

内部人员可能会被用于试点测试,因为您正在测试技术和测试流程,并且数据并未计入最终结果。

测试期间绝不应使用内部人员进行补充。您需要的不仅仅是任何参与者;它是来自合适观众的参与者。

多少参与者才够?

尼尔森根据大量案例研究概述了您需要的参与者数量: https://www.hhs.gov/disclaimer.html

  • 可用性测试

:测试5 个用户

可以让您发现与使用更多测试参与者时发现的几乎一样多的可用性问题。

  • 定量研究

(针对统计数据,而不是洞察力):测试至少 20 个用户

以获得具有统计意义的数字;

紧密的置信区间需要更多的用户。

  • 卡片分类

:至少测试 15个用户

  • 眼动追踪

:如果您想要稳定的热图,请

测试 39 个用户。

如果您在联邦空间进行测试,请查看与减少文书工作法案相关的 OMB 指南以进行可用性测试。对于诊断可用性测试,给定目标受众的六到八个用户通常足以发现产品中的主要问题。

注意:如果您计划在网站开发过程中进行迭代(重复)可用性测试,您需要为每个测试招募一个新小组。您需要将其纳入您的计划、招聘和预算编制中。

筛选参与者

参与者筛选器由问题组成,这些问题将帮助那些为您的测试招募人员来判断个人是否参与竞争。它们可能像性别和年龄一样简单,也可能像您的目标受众所要求的那样复杂。例如,请参阅我们的筛选器模板

招聘费用

招聘人员通常会为每个“成功”招聘的参与者收取费用。一名成功的新兵是符合标准、参加测试并能够完成测试的人。一个好的招聘人员会筛选、安排和提醒参与者他们的考试预约,以确保他们所有的招聘人员都成功。

如果需要,您还可以聘请招聘人员处理额外的行政职责,例如管理参与者的奖励(即礼物或金钱),以及在某些情况下的差旅/停车费用。额外服务将收取费用,因此最好在与招聘人员进行初步讨论时讨论您的团队需要的任何额外服务。

与招聘人员合作

如果团队有权访问代表用户,您可以从这些人那里招募。如果团队无法访问代表用户,您将不得不聘请商业招聘公司。大多数招聘公司需要两到三周的时间来找到和安排必要数量和类型的参与者。以下是您与招聘人员交谈或索取其服务报价时应掌握的基本信息:

  • 您需要多少参与者;

总数和指定组内。

  • 测试的地点、日期和时间。

如果可能,提供您的筛选器草稿(以政府为重点的模板和非政府模板)、详细的时间表以及前往您设施的地图或路线会很有帮助。

  • 每个会话需要多长时间。
  • 如果你要补偿测试,多少[以及以什么格式;

现金、支票或礼品卡或证书),以及您将提供的其他任何东西(例如旅行或停车)。  与招聘人员的示例公报:

细节:

  • 日期和时间:7 月 19 日星期五和 7 月 22 日星期一至 7 月 26 日星期五。

(时间表有我们希望填补的那些日子的具体时间段。)

  • 地点:现场:(附地图)
  • 每节课时长:1 小时的可用性测试课
  • 参与者报酬:会议费用___美元(我们不会为旅行或停车提供额外的报酬。)

至于参与者 – 总数(18):

  • 家中有吸烟者的非吸烟者/非吸烟者(5 名参与者)
  • 不吸烟者/不吸烟者在家中没有吸烟者(4 名参与者)
  • 当前吸烟者或烟草使用者(4 名参与者)
  • 前吸烟者或烟草使用者(5 名参与者)
  • 性别混合
  • 种族的混合
  • 混合的教育背景
  • 我希望在每个细分受众群中代表以下年龄:
    • 18-30
    • 31-50
    • 50+

补偿参与者

在确定如何和多少补偿参与者的时间时,重要的是确定以前使用了哪些方法和数量。您的招聘人员可能有助于了解他们招聘的测试的典型特征。如果您的同事进行过或参与过测试,他们也可能会有所帮助。

补偿参与者时需要考虑的一些事项:

  • 如果您的参与者是联邦雇员

,您不能支付他们的时间。

  • 如果您的参与者是非联邦雇员

,则补偿方式应该是潜在参与者所需要的。

通常可以接受任何形式的金钱,但为在线或本地供应商提供礼品卡或证书可能更方便。

请记住,从在线供应商处购买通常会向您的参与者收取运费。

您可能需要相应地调整补偿。

  • 如果您正在进行远程测试

,您可能需要考虑一种电子补偿方式,例如向在线供应商提供电子证书。

  • 请记住

为您的参与者提供收据(模板部分中包含成人

一张和未成年人

一张),以便签名用于:

    • 表明他们收到了赔偿和
    • 向您的会计部门或人员提供文件。

规划可用性测试

每轮可用性测试的第一步是制定测试计划。该计划的目的是记录您将要做什么、您将如何进行测试、您将捕获哪些指标、您将要测试的参与者数量以及您将使用哪些场景。

通常,可用性专家会与站点或产品所有者以及开发团队成员会面,以决定计划的主要元素。通常,可用性专家会起草计划,然后传给管理层和团队的其他成员。一旦每个人都发表评论并就最终计划达成一致,可用性专家会修改书面计划以反映最终决定。

测试计划的要素 

您需要在可用性测试计划中包含这些元素。

  • 范围

:指明您正在测试的内容:给出网站、Web 应用程序或其他产品的名称。

指定测试将覆盖多少产品(例如,特定日期的原型;导航;导航和内容)。

  • 目的

:确定此测试的关注点、问题和目标。

这些可能相当广泛;

例如,“用户可以从原型主页导航到重要信息吗?”

它们可以非常具体;

例如,“用户会在当前位置轻松找到搜索框吗?”

在每一轮测试中,您可能会关注几个一般和几个具体问题。

您的担忧应该推动您为可用性测试选择的场景。

  • 时间表和地点

:说明您将在何时何地进行测试。

如果您设置了时间表,您可能需要具体说明一天将举行多少次会议以及会议的确切时间。

  • 会话

:您需要描述会话、会话的长度(通常为 1 小时到 90 分钟)。

在安排参与者时,请记住在会议之间留出时间(通常是 30 分钟)以重置环境,与观察者简要回顾会议,并为可能会晚一点结束的会议或可能会迟到的参与者留出缓冲时间晚的

  • 设备

:说明您将在测试中使用的设备类型;

台式机、笔记本电脑、手机/智能手机。

如果相关,请包括有关显示器尺寸和分辨率、操作系统、浏览器等的信息。还请说明您是否计划录制或录音测试会话或使用任何特殊的可用性测试和/或可访问性工具。

  • 参与者

:指明您将招募的要测试的参与者的数量和类型。

描述这些参与者是如何被招募或将如何被招募的,并考虑将筛选器

作为附录的一部分。

:指出测试中包含的任务的数量和类型。

通常,持续 60 分钟。

测试,您应该最终得到大约 10 (+/-2) 个用于台式机或笔记本电脑测试的场景和 8 (+/-2) 个用于移动/智能手机测试的场景。

您可能希望在测试计划中包含更多内容,以便团队可以选择适当的任务。

  • 指标

: 主观指标:包括您将在会议之前向参与者提出的问题(例如,背景调查问卷),在每个任务场景完成之后(关于任务的轻松度和满意度问题),以及总体轻松度、满意度和可能性会话完成时使用/推荐问题。

  • 定量指标

:表明您将在测试中测量的定量数据(例如,成功完成率、错误率、完成任务的时间)。

  • 角色

:包括将参与可用性测试的人员列表以及每个人将扮演的角色。

可用性专家应该是会议的促进者。

可用性团队也可以提供主要的笔记记录者。

应该期望其他团队成员以观察员的身份参与,也许还以记录者的身份参与。

识别测试指标

在测试过程中,您可能希望收集几个指标。

  • 成功完成任务

:每个场景都要求参与者获得将在典型任务中使用的特定数据。

当参与者表示他们已经找到答案或完成了任务目标时,场景就成功完成了。

在某些情况下,您可能希望向参与者提供多项选择题。

请记住在测试计划中包含问题和答案,并将它们提供给记录者和观察者。

  • 严重错误

:严重错误是指完成时与场景目标的偏差。

例如,由于参与者的工作流程而报告错误的数据值。

本质上,参与者将无法完成任务。

参与者可能知道也可能不知道任务目标不正确或不完整。

  • 非关键错误

:非关键错误是由参与者恢复的错误,不会导致参与者成功完成任务的能力。

这些错误会导致任务完成效率降低。

例如,诸如打开错误的导航菜单项或不正确地使用控件等探索性行为是非严重错误。

  • 无错误率

:无错误率是完成任务且没有任何错误(关键或非关键错误)的测试参与者的百分比。

  • 任务时间

:参与者完成任务所需的时间。

  • 主观测量

:这些评估是参与者自我报告的满意度、易用性、易于查找信息等评分,参与者以 5 到 7 分的李克特量表对测量进行评分。

  • 喜欢、不喜欢和建议

:参与者提供他们最喜欢网站的内容、最不喜欢网站的内容以及改进网站的建议。

可用性测试

可用性测试是指通过与代表用户一起测试来评估产品或服务。通常,在测试期间,参与者将尝试完成典型任务,而观察者则观看、聆听和做笔记。目标是识别任何可用性问题,收集定性和定量数据并确定参与者对产品的满意度。

进行有效的可用性测试,您需要制定可靠的测试计划招募参与者 ,然后分析并报告您的发现

可用性测试的好处

可用性测试可以让设计和开发团队在编码之前发现问题。越早发现和修复问题,就员工时间和对进度的可能影响而言,修复成本就越低。在可用性测试期间,您将:

  • 了解参与者是否能够成功完成指定的任务,以及
  • 确定完成指定任务需要多长时间
  • 了解参与者对您的网站或其他产品的满意度
  • 确定提高用户绩效和满意度所需的更改
  • 并分析性能以查看它是否符合您的可用性目标

您不需要正式的实验室

有效的可用性测试不需要正式的可用性实验室进行测试。您可以在以下任何设置中进行有效的可用性测试:

  • 固定实验室,有两个或三个相连的房间,配备视听设备
  • 带便携式录音设备的房间
  • 没有录音设备的房间,只要有人在观察用户并做笔记
  • 远程,用户在不同的位置(有管理或无管理)

影响成本的因素

您的测试成本取决于

  • 执行的测试类型
  • 为测试而组装的团队规模
  • 参加测试的人数
  • 您将要测试的天数

请记住为不止一项可用性测试做预算。在网站(或任何产品)中构建可用性是一个迭代过程。在为可用性测试做预算时考虑这些元素:

  • 时间

:您需要时间来计划可用性测试。

可用性专家和团队需要时间来熟悉站点并对测试场景进行试点测试。

请务必及时为这次测试准备以及运行测试、分析数据、编写报告和展示结果进行预算。

  • 招募成本

:考虑如何或在哪里招募参与者。

您将需要留出员工时间来招聘或聘请招聘公司根据要求为您安排参与者。

  • 参与者补偿

:如果您要补偿参与者的时间或旅行,请将其纳入您的测试预算。

  • 租赁成本

:如果您没有监控或记录设备,则需要预算实验室或其他设备的租赁成本。

您可能还需要确保测试位置,例如会议室,因此也要考虑这一点。

重要的是要记住,可用性测试不仅仅是在项目时间表上检查的里程碑。团队应该有一个目标,说明他们为什么要测试,然后实施结果。

首次点击测试

首次点击测试检查测试参与者为了完成他们的预期任务而首先在界面上点击的内容。它可以在功能正常的网站、原型或线框图上执行。

为什么用户的第一次点击很重要

成功的网站会预先考虑用户的任务。首次点击测试可让您评估网站链接结构(包括导航)的有效性,以了解用户是否如何绕过网站并完成他们的预期任务。

测量可用性的 Jeff Sauro 引用了支持首次点击测试重要性的研究。 https://www.hhs.gov/Disclaimer.html它指出:

  • 在第一次点击时点击正确路径的参与者将在 87% 的时间内成功完成任务。
  • 在第一次点击时点击错误路径的参与者往往只有 46% 的时间成功完成他们的任务。

方法

与所有可用性测试一样,最好确保您的参与者来自您网站的目标受众。

  • 在创建任务时,专注于为参与者提供需要解决的问题;“你有兴趣找出有多少……多少……去哪里……”以促进与网站的更自然的互动。
  • 确保您知道并记录了为您自己和您的观察者完成每项任务的正确路径。这将简化笔记和转录。
  • 跟踪每次点击。
  • 时间用户进行此点击所需的时间。花费很长时间进行第一次单击可能表明导航存在需要监控或解决的问题。
  • 在每项任务之后,评估参与者是否觉得他们能够使用满意度或信心量表找到正确的信息。
  • 接下来评估完成每项任务的难易程度。在此处使用响应量表也将有助于分析,但也要考虑免费响应选项以提供额外的上下文。

尽管可以仅通过观察来完成此测试,但建议记录会话。有可用的软件可以帮助您跟踪点击和创建活动的热图。

最佳实践

在设计首次点击测试时,请考虑以下事项:

  • 在测试之前进行彻底的试点,以确保记录者/数据记录器对最佳路径和文档点击导航感到满意。
  • 最好不要告诉参与者他们正在参加首次点击测试。这似乎很明显,但可能值得一提。
  • 考虑从主屏幕或基本屏幕开始此测试的每项任务 – 从而限制参与者在后续任务中可能出现的错误转弯次数。

参考

系统可用性量表 (SUS)

系统可用性量表 (SUS) 提供了一种“快速而肮脏”的可靠工具来衡量可用性。它由一份 10 项问卷组成,为受访者提供五个回答选项;从非常同意到非常不同意。它最初由 John Brooke 于 1986 年创建,可让您评估各种产品和服务,包括硬件、软件、移动设备、网站和应用程序。

使用 SUS 的好处

SUS 已成为行业标准,在 1300 多篇文章和出版物中都有参考。使用 SUS 的显着好处包括:

  • 是一个非常容易对参与者进行管理的量表
  • 可用于小样本,结果可靠
  • 是有效的——它可以有效地区分可用和不可用的系统

使用 SUS 时的注意事项

如果您正在考虑使用 SUS,请记住以下几点:

  • 评分系统有些复杂
  • 有一种诱惑,当你看分数时,因为它们是在 0-100 的范围内,将它们解释为百分比,它们不是
  • 解释结果的最佳方法是对分数进行“标准化”以产生百分位排名
  • SUS 不是诊断性的——它的用途是对被测试的站点、应用程序或环境的易用性进行分类

系统可用性量表

当使用 SUS 时,要求参与者使用从非常同意到非常不同意的五个回答之一对以下 10 个项目进行评分:

  1. 我想我想经常使用这个系统。
  2. 我发现系统不必要地复杂。
  3. 我认为该系统易于使用。
  4. 我认为我需要技术人员的支持才能使用这个系统。
  5. 我发现这个系统中的各种功能都很好地集成了。
  6. 我认为这个系统有太多的不一致之处。
  7. 我想大多数人会很快学会使用这个系统。
  8. 我发现该系统使用起来非常麻烦。
  9. 我对使用该系统感到非常有信心。
  10. 在我开始使用这个系统之前,我需要学习很多东西。

系统可用性量表 (SUS) 模板中概述了问卷和评分。

解读分数

解释评分可能很复杂。参与者对每个问题的分数转换为一个新的数字,加在一起然后乘以 2.5,将原来的 0-40 分数转换为 0-100。尽管分数是 0-100,但这些不是百分比,应仅根据百分位排名来考虑。

根据研究,高于 68 的 SUS 分数将被视为高于平均水平,低于 68 的任何分数均低于平均水平,但是解释结果的最佳方法是对分数进行“标准化”以产生百分位排名。

本页末尾的参考资料和模板在上下文中提供了有关该过程的更多信息。

参考

情境访谈

在这些采访中,研究人员观察和倾听用户在自己的环境中工作,而不是在实验室中。结果,情境访谈往往更自然,有时也更现实。它们通常也没有实验室测试那么正式,并且不使用任务或脚本。

进行情境访谈

在上下文访谈中,您在用户工作时观看和倾听。你通常不会给用户任务或场景。

要了解用户在做什么或在想什么,您可以在用户浏览网站时提出问题。结果通常是定性的观察数据,而不是定量的测量数据。

你从情境访谈中学到什么

情境访谈将观察与访谈相结合。通过访问用户,您可以看到用户的环境和用户使用的实际技术。因此,您将能够回答以下问题:

  • 用户面临的任何问题
  • 他们正在使用的设备
  • 他们的空间是如何设置的
  • 鼠标和键盘之间的偏好`
  • 他们拥有的互联网连接类型
  • 完成常见或目标任务需要多长时间
  • 如果用户需要帮助完成任务,是否有人在那里并愿意帮助用户

结合上下文访谈和可用性测试

可用性测试中,您通常让所有用户尝试完成相同的场景,从而产生来自几个尝试相同事物的人的比较数据。在情境访谈中,您会观察人们在自己的环境中完成自己的任务的行为。但是,您可以通过以下方式将上下文访谈和可用性测试结合起来:

  • https://www.usability.gov/how-to-and-tools/methods/scenarios.html在情境访谈中沿用场景。结合观察用户在他们的环境中做他们自己的工作并要求他们尝试你的一些任务。
  • 在可用性测试期间采访用户,以了解他们将带着什么样的问题、问题和任务来到网站。让用户完成他们自己的任务,但也让他们完成您的一些任务。

网站可用性测试通常是非正式的,并且很像上下文访谈。然而,可用性测试的范围可以从非正式和定性到非常正式和定量。

专门小组

焦点小组是一个有主持的讨论,通常涉及 5 到 10 名参与者。通过焦点小组,您可以了解用户的态度、信念、愿望和对概念的反应。

焦点小组与可用性测试或情境访谈有何不同

焦点小组是一种传统的市场研究技术。与可用性测试情境访谈相比,营销部门通常更熟悉焦点小组。然而,这些技术会产生不同种类的信息。

  • 在典型的焦点小组中,参与者会说话。在焦点小组中,用户会告诉您他们的经历或期望,但您无法验证或观察这些经历。
  • 在典型的可用性测试或上下文访谈中,用户会采取行动。结果,您可以观看(并聆听)它们并从中得出结论。

选择参与者

焦点小组的一个重要方面是从目标受众/人口统计中获得反馈。

在招募时,研究人员通常会根据特定的特征或特征选择参与者,包括:

  • 年龄
  • 职业
  • 经验
  • 教育
  • 种族

开展焦点小组

进行焦点小组时:

  • 在会议开始前确定您想涵盖的主题范围
  • 预先测试问题以确保它们清晰且合乎逻辑
  • 开发开放式问题以鼓励讨论
  • 以自然流畅的方式安排问题
  • 聘请熟练的主持人来促进讨论
  • 创建一个脚本,以便版主知道要问什么以及要涵盖哪些主题
  • 允许主持人更改问题和主题的顺序,以保持讨论顺畅
  • 计划与小组一起度过大约两个小时
  • 录音会议
  • 有一个或多个记录员以确保记录所有内容

个人访谈

在个人采访中,采访者与一位用户交谈 30 分钟到一个小时。通过个人访谈,您可以了解他们的态度、信念、愿望和经历,从而更深入地了解访问您网站的用户。您还可以要求他们对网站内容的选择进行评分或排名。这些采访可以面对面、通过电话或视频会议或通过即时消息系统进行。

何时进行个人访谈

理想情况下,面试在开发周期开始时进行,同时您正在开发或审查网站的目标和目标。

您也可以使用访谈来补充在线调查。在调查之前进行采访可以帮助您细化调查的问题。在调查后采访参与者可以让您探究用户在调查中给出的答案背后的细节和原因

进行个人访谈的最佳实践

当您进行个人访谈时,请考虑:

  • 您想学习什么,然后选择有代表性的参与者与之交谈
  • 为面试官编写面试协议。该协议包括用于跟进的问题和调查
  • 聘请熟练的面试官,他知道如何让被面试者感觉更舒服,以中立的方式提问,善于倾听,并且知道何时以及如何探究更多细节
  • 获得录制会议的许可并拥有一名或多名笔记记录者

个人访谈与其他方法有何不同

由于这些访谈不涉及观看用户工作,因此它们不同于在可用性测试中访谈用户或进行上下文访谈

个人访谈类似于焦点小组,因为它们涉及与用户交谈,但它们的不同之处在于,在个人访谈中,您:

  • 一次只与一个人交谈
  • 有更多时间详细讨论话题
  • 不必担心焦点小组中不可避免的群体动态
  • 可以让被采访者全神贯注,并根据被采访者的需要调整你的采访风格

人物角色

人物角色的目的是为您的关键受众群体创建可靠且真实的表示以供参考。这些表示应该基于定性和一些定量的用户研究网络分析。请记住,您的角色与他们背后的研究一样好。有效角色:

  • 代表您网站的主要用户组
  • 表达并关注最重要的用户群体的主要需求和期望
  • 清楚地了解用户的期望以及他们可能如何使用该网站
  • 帮助发现通用特性和功能
  • 描述具有背景、目标和价值观的真实人物

角色的好处

人物角色通过在对话中添加一层现实世界的考虑来帮助集中围绕站点组件的决策。它们还提供了一种快速且廉价的方法来在整个开发过程中测试这些功能并确定其优先级。此外,它们还可以提供帮助:

  • 利益相关者和领导者评估新的网站功能创意
  • 信息架构师开发知情的线框、界面行为和标签
  • 设计师创建网站的整体外观和感觉
  • 系统工程师/开发人员根据用户行为决定采用哪种方法
  • 文案作者确保将网站内容写入适当的受众

开发角色的最佳实践

人物角色开发属于项目的开始,因为人物角色可以告知网站功能,帮助发现差距或突出新机会。

您可以为一个项目开发一个或多个角色,但仅限于网站的主要受众。对于任何给定的项目,最好只创建三个或四个角色。请记住,与试图满足每个人的需求相比,最好用宽大的画笔进行绘画并满足更多人群的需求。人物角色的目标不是代表所有受众或解决网站的所有需求,而是关注最重要用户群体的主要需求。

为确保您的角色准确地代表您的用户并在整个过程中获得利益相关者的支持,您应该:

  • 进行用户研究:回答以下问题:您的用户是谁,他们为什么使用该系统?哪些行为、假设和期望影响了他们对系统的看法?
  • 浓缩研究:寻找对系统及其用户具有特定、相关和通用性的主题/特征。
  • 头脑风暴:将元素组织成代表目标用户的角色组。命名或分类每个组。
  • 细化:结合并优先考虑粗略的角色。将它们分为主要、次要和必要时互补的类别。您应该有大约 3-5 个角色及其已识别的特征。
  • 让他们变得现实:对每个角色的背景、动机和期望进行适当的描述。不要包含很多个人信息。是相关的和严肃的;幽默是不恰当的。

角色发展过程中要问的问题

以下问题和讨论领域将帮助您构建网站访问者的快照。

客观的 问题
定义

网站的目的/愿景

  • 该网站的目的是什么?
  • 网站的目标是什么?
描述用户
  • 个人的你的人的年龄是多少?
  • 你的人的性别是什么?
  • 此人接受的最高教育程度是多少?

专业的

  • 你的人有多少工作经验?
  • 你的人的专业背景是什么?
  • 他们为什么会来现场?(用户需求、兴趣和目标)
  • 此人还从哪里(或从谁那里)获取有关您的问题或类似计划或服务的信息?
  • 用户何时何地访问该网站?(用户环境和上下文)

技术的

  • 您的人经常使用哪些技术设备?
  • 您的人经常使用哪些软件和/或应用程序?
  • 您的用户主要通过什么技术设备访问网络以获取信息?
  • 你的人每天花多少时间浏览网页?
用户动机
  • 你的人的动机是什么?
  • 他们在找什么?
  • 你的人想要做什么?
  • 他的需求是什么?

角色的元素

人物角色通常包括以下关键信息:

  • Persona Group(即网络管理员)
  • 虚构名称
  • 职称及主要职责
  • 人口统计数据,例如年龄、教育程度、种族和家庭状况
  • 他们尝试使用该网站完成的目标和任务
  • 他们的物理、社会和技术环境
  • 一句话总结了与您的网站相关的角色最重要的内容
  • 代表该用户组的休闲图片

以易于阅读的逻辑格式组织角色信息。根据您能够进行的用户研究的数量和组织的性质,可以通过多种方式布置角色,包括:

最适合那些不太关心用户需求的技术细节的利益相关者。 最适合需要一种简单方法将设计与用户需求进行比较的设计师。 最好在角色缺乏足够研究的情况下使用。
叙事 桌子 又快又脏

资料来源:丹布朗

示例角色

有些角色非常详细,而其他角色只是提供每种类型用户的简要概述。以下是美国农业部 (USDA) 经济研究局 (ERS) 开发的更大角色的一部分示例。

角色: 美国农业部高级经理守门人
照片:
虚构名称: 马修·约翰逊
职称/

主要职责:

美国农业部项目参谋总监
人口统计:
  • 51岁
  • 已婚
  • 三个孩子的父亲
  • 一个孩子的祖父
  • 拥有博士学位。在农业经济学。
目标和任务: 他在强有力的领导角色中专注、以目标为导向。他关心的问题之一是保持所有程序输出的质量。

花费他的工作时间:

  • 请求和审查研究报告,
  • 为机构负责人准备备忘录和简报,以及
  • 监督员工在食品安全和检查方面的工作。
环境: 他习惯于使用计算机,并称自己为中级互联网用户。他在工作时通过 T1 连接和在家拨号连接。他广泛使用电子邮件并在工作日使用网络大约 1.5 小时。
引用: “你能在星期二之前把那份员工分析报告给我吗?”

由美国农业部 (USDA) 经济研究局 (ERS) 开发的角​​色。

参考

在线调查

在线调查是一种结构化问卷,您的目标受众通常通过填写表格在互联网上完成。在线调查的长度和格式可能会有所不同。数据存储在数据库中,调查工具通常提供一定程度的数据分析,并由受过培训的专家进行审查。

调查的好处

与传统调查不同,在线调查为公司提供了一种以极低的成本从广泛受众那里收集信息的方式。进行在线调查时,您有机会了解:

  • 你的用户是谁
  • 你的用户想要完成什么
  • 您的用户正在寻找什么信息

何时进行在线调查

您可以在开发过程的任何阶段进行在线调查:

  • 在重新设计网站之前,您会了解当前用户以及他们想要完成的工作
  • 在启动一个新的或修改后的网站后,您可以了解您的新设计是否满足用户的需求并确定需要改进的地方。
  • 当您想要对内容或功能进行评级或排名时,您可以进行持续的调查以获得未来改进的想法。

开发在线调查的最佳实践

在创建在线调查之前,您应该确定:

  • 你的目的
  • 在哪里可以找到受访者
  • 您将使用的软件
  • 您将如何收集数据以及对信息收集的任何限制
  • 谁来分析数据

一旦你概述了这些基础知识,你需要考虑以下几点:

  • 使您的调查尽可能简短
  • 预先向参与者提供完成时间的估计,以及表明他们进度的东西
  • 包括开放式问题(用户在其中完成答案)和封闭式问题的混合
  • 询问受访者是否愿意在后续调查或访谈中回答更深入的问题

创建问题

一旦你确定了软件和目的,就创建你的问题。您可能需要考虑收集以下信息:

  • 如果用户能够找到他们寻求的信息
  • 用户对您的网站的满意度如何
  • 用户对您的网站或类似网站的体验
  • 用户喜欢和不喜欢您的网站的哪些方面
  • 用户对您的网站有什么挫折或问题
  • 如果用户将您的网站推荐给其他人
  • 如果用户有任何改进的想法或建议

政府信息收集

为避免联邦政府赞助的数据收集使公众负担过重,《减少文书工作法》(PRA)要求联邦机构在向公众请求或收集大多数类型的信息之前,必须获得管理和预算办公室 (OMB) 的批准。

场景

场景描述了特定用户或用户组访问您网站的原因背后的故事和背景。他们注意到要实现的目标和问题,有时还定义用户如何在网站上实现它们的可能性。

场景对于设计界面和可用性测试都至关重要。

编写场景时要考虑什么

好的场景很简洁,但要回答以下关键问题:

  • 用户是谁?使用已开发的角色来反映访问您网站的真实主要用户群。
  • 用户为什么来到网站? 请注意是什么促使用户访问该站点以及他们在到达时的期望(如果有的话)。
  • 他/她有什么目标?通过任务分析,您可以更好地了解用户在您的网站上想要什么,以及网站必须具备什么才能让他们满意。

一些场景也回答:

  • 用户如何在网站上实现他们的目标?定义用户如何在网站上实现他/她的目标,确定各种可能性和任何潜在障碍。

场景类型

基于目标或任务的场景仅说明用户想要做什么。不要包含有关用户如何完成场景的任何信息。这些场景有助于定义您的站点架构和内容。您应该在可用性测试中向用户提供这些类型的场景。它为他们提供了访问该站点的理由和目标,但它可以让他们向您展示他们将如何使用该站点来实现该目标。
  • 示例:一位家长担心一个 10 岁的孩子拒绝喝牛奶,并想知道孩子摄入很少的钙是否真的有影响。
  • 示例:您下周要去西雅图工作,您想查看可以报销的餐费和其他费用的金额。
精心设计的场景提供了更多的用户故事细节。这些细节让 Web 团队更深入地了解可能有助于或阻碍站点交互的用户和用户特征。了解这些信息后,团队更有可能开发用户觉得舒适且易于使用的内容、功能和网站行为。
  • 例子: Macomb 先生和夫人是退休的教师,现在已经 70 多岁了。他们的社会保障支票是他们收入的重要组成部分。他们刚刚卖掉了他们的大房子,搬到了一间小公寓。他们知道他们现在需要做的许多家务之一就是告诉社会保障局他们已经搬家了。他们不知道最近的社会保障办公室在哪里,而且他们越来越难以步行或开车。如果它足够简单和安全,他们想使用计算机将他们的举动通知社会保障局。但是,他们对通过计算机完成这样的任务感到有些紧张。他们从未在工作中使用过计算机。然而,他们的儿子史蒂夫去年给了他们一台电脑,为他们设置了电脑,并向他们展示了如何使用电子邮件和访问网站。他们从未访问过社会保障局的网站,所以他们不知道它是如何组织的。此外,他们不愿意在网上提供个人信息,因此他们想知道以这种方式告诉该机构他们的新地址有多安全。
全尺寸任务方案包括完成任务的步骤。完整方案可以报告特定用户当前为完成任务而采取的所有步骤,也可以描述您计划为新站点中的用户设置的步骤。此级别的场景与用例非常相似,但它们从用户的角度而不是从网站的角度来布置步骤。他们解释了该站点如何支持您开始使用的面向目标的场景。  
类型 例子

在网站设计中使用场景

不可能写下每个用户访问您的网站的每个场景。相反,在您开始将网站放在一起之前,请写下 10 到 30 个用户访问的最常见原因或用户想要执行的任务。

场景还可以通过充当特定角色为什么会出现在您的网站背后的故事来与角色一起工作。角色希望通过访问该网站来完成什么?角色的哪些特征可能有助于或阻碍他或她的站点交互?

您应该关注用户及其任务,而不是站点的组织和内部结构。结果,您将知道该站点必须具有哪些内容以及应该如何组织它。

在可用性测试中使用场景

在确定可用性测试的场景时,由于时间限制,您应该将测试限制在 10 到 12 个任务。此外,在可用性测试中,您可以向用户询问他们自己的场景。他们为什么会来你的网站?他们想做什么?

可用性测试场景不应包含任何有关如何完成任务的信息。可用性测试将展示参与者如何完成任务,并向您展示界面是否有助于完成场景。

但是,您应该写下如何完成任务。此信息包含在观察员和记录员将使用的材料中。包括主要途径和参与者可以用来完成场景的任何替代途径。测试后,将您认为用户完成任务的方式与他们实际完成任务的方式进行比较。这种比较为您的网站架构和导航的有效性提供了宝贵的洞察力。

任务分析

任务分析是通过观察普通用户的行动来了解他们的过程,以详细了解他们如何执行任务并实现预期目标。任务分析有助于确定您的网站和应用程序必须支持的任务,还可以通过确定适当的内容范围来帮助您改进或重新定义网站的导航或搜索。

任务分析的目的

JoAnn Hackos 和 Janice Redish在他们的《界面设计的用户和任务分析》一书中指出,执行任务分析可以帮助您理解:

  • 您的用户的目标是什么;他们想要达到的目标
  • 用户为实现这些目标实际做了什么
  • 用户为任务带来了哪些体验(个人、社交和文化)
  • 用户如何受到物理环境的影响
  • 用户以前的知识和经验如何影响:他们如何看待自己的工作
    • 他们执行任务所遵循的工作流程

何时执行任务分析

在流程的早期进行任务分析很重要,尤其是在设计工作之前。任务分析有助于支持以用户为中心的设计过程的其他几个方面,包括:

任务分析的类型

有几种类型的任务分析,但最常用的技术包括:

  • 认知任务分析专注于理解需要决策、解决问题、记忆、注意力和判断的任务。
  • 分层任务分析专注于分解高级任务子任务。

如何进行任务分析

您的任务分析可能有几个级别的查询,从一般到非常具体。除了市场研究、竞争分析和网络指标分析之外,您还可以通过各种用户研究技术确定首要任务。

UXPA 的可用性知识体系 https://www.hhs.gov/Disclaimer.html将高级任务分解为以下步骤:

  1. 确定要分析的任务。
  2. 将此高级任务分解为 4 到 8 个子任务。应根据目标指定子任务,并且在它们之间,应涵盖整个感兴趣的领域。
  3. 绘制每个子任务的分层任务图,确保其完整
  4. 制作书面说明以及分解图。
  5. 将分析呈现给未参与分解但对任务非常了解以检查一致性的其他人

重要的是要注意,您需要决定要分解子任务的详细程度,以确保您在整体上保持一致。

例子

至少要确定任务,您可以简单地询问用户他们正在尝试完成的总体任务或他们当前如何完成任务。

用户试图在我们的网站上完成哪些总体任务?

  • 试图为一位年长的亲戚寻找您附近的疗养院。
  • 试图获取有关皮肤癌治疗方案的信息。
  • 尝试注册以在付款到期时接收电子邮件通知。

用户目前如何完成任务?人们正在使用以下方法完成该任务:

  • 使用搜索引擎
  • 浏览您的网站
  • 使用其他网站
  • (通过其他方式)

参考

Scroll to Top