Evaluierung digitaler Produkte mit Nutzerforschung und Usability-Tests
Eine Schlüsselkomponente des nutzerzentrierten Designs ist die Bewertung digitaler Produkte mit echten Nutzern, die aus der Zielgruppe rekrutiert werden. Es gibt eine Vielzahl von Methoden und Ansätzen, die je nach den spezifischen Zielen des Projekts, dem Entwicklungsstadium und der Komplexität verwendet werden können.
Es gibt sehr gute Argumente für die Durchführung von Tests zur Bewertung der Benutzerfreundlichkeit von Produkten in der Entwicklungsphase. Die Kosten für Änderungen sind gering und die Anzahl der Designalternativen ist hoch, so dass die Prototyp-Benutzerforschung ein wichtiger Bestandteil des Entwicklungsprozesses ist.
Attribute der Nutzerforschung
Es gibt viele verschiedene Möglichkeiten, Benutzertests durchzuführen, und alle enthalten die folgenden grundlegenden Eigenschaften:
- Dabei werden die Benutzer aufgefordert, Aufgaben zu lösen, die denen in der realen Welt ähneln.
- Die Nutzer sind in gewisser Weise repräsentativ für das Zielpublikum des Kunden
- Die Benutzer interagieren so natürlich wie möglich mit dem Prototyp und geben Feedback, in der Regel mit Hilfe eines Protokolls zum lauten Denken.
- Die Beobachtungen werden analysiert und es werden Empfehlungen für die Iteration des Prototyps gegeben.
Mit diesen Kernelementen im Hinterkopf unterscheiden sich die verschiedenen Methoden:
- Wo die Forschung findet statt
- Mit wie viele Nutzer
- Was ist die Gegenstand der Forschung
- Welche Daten wollen wir erfassen
BEWERTUNG DER BENUTZERFREUNDLICHKEIT
Forschungsprozess
Die Methodik für die Durchführung qualitativer Forschung (Usability-Evaluierungen) dieser Art umfasst Folgendes:
- Rekrutierung: Rekrutierte Teilnehmer gegen die vom Kunden angegebenen Zielprofile
- Vorbereitung:
- A Testskript und Diskussionsleitfaden entwickelt, um den Teilnehmern die Interaktion mit dem Entwurf zu erleichtern
- A Einrichtung zur Durchführung der Forschung
- Ausrüstung Einrichtung für die Aufzeichnung der Sitzungen und Geräte, die der Teilnehmer verwenden kann (z. B. Tablet, Smartphone, PC)
- Forschungssitzung:
- Kompetent Moderation der einzelnen Sitzungen
- Beobachtung und Aufzeichnung von Themen
- Analyse und Berichterstattung
Teilnehmerzahl und Sitzungsdauer
Wenn wir die Designtestphase erreichen, führen wir die Usability-Evaluierung normalerweise auf allen Plattformen durch - Smartphone, Tablet und PC. Unserer Erfahrung nach müssen wir jedoch nicht 5 Sitzungen auf jeder Plattform durchführen, da wir in der Regel schwerwiegende Probleme in früheren Runden beseitigt haben.
In den meisten Fällen führen wir zehn Sitzungen (ca. 60 Minuten) an zwei Forschungstagenmit den folgenden plattformübergreifend aufgeteilt:
- Smartphone = 4 Teilnehmer
- PC = 4 Teilnehmer
- Tablette = 4 Teilnehmer
Wir sind der Meinung, dass die Ergebnisse auf dem Smartphone und dem PC für das Tablet ausschlaggebend sind, aber wir führen gerne mehrere Sitzungen durch, um zu vermeiden, dass wir ein offensichtliches Problem mit Unterbrechungspunkten und Schlüsselinformationen übersehen.
Forschungseinrichtung und Besichtigung
Forschungseinrichtungen bieten Betrachtung durch einen Einwegspiegel oder über einen Bildschirm so dass das Designteam und die Interessengruppen aus erster Hand sehen können, wie die Teilnehmer mit den entstehenden Designs zurechtkommen. Da sich die Zuschauer am selben Ort befinden wie der Moderator, besteht die Gelegenheit, die Beobachtungen zwischen den Sitzungen zu diskutieren und Aktualisierungen und Änderungen zu planen.
Da die Besichtigungsräume von Forschungseinrichtungen in der Regel schalldicht sind, bietet sich hier auch eine Gelegenheit für das Planungsteam und die Beteiligten, zusammenzuarbeiten und zu diskutieren, was sie sehen.
Forschungseinrichtungen sind jedoch mit Kosten verbunden und alternativ kann die Forschung fast überall durchgeführt werden ? in Sitzungsräumen, bei den Teilnehmern zu Hause, bei Kunden usw. Wir können die Sitzungen über das Internet streamen, so dass Live-Übertragung aus der Ferne ist möglich.
Es gibt jedoch Einschränkungen die sind:
- Nur der Bildschirm des Geräts ist sichtbar, nicht die Mimik der Teilnehmer
- Das Betrachten von Videos über längere Zeiträume über das Internet kann aufgrund der hohen Bandbreitenbelastung von Videos etwas unzuverlässig sein
- Die Bildschirmauflösung kann das Erkennen feiner Details erschweren
Alternativ können Sie sich die hochauflösenden Videos der Sitzungen ansehen, die wir selbstverständlich aufzeichnen und in einen gemeinsamen Dropbox-Ordner hochladen. Wenn es die Bandbreite zulässt, laden wir diese Videos nach und nach hoch und stellen sofort einen Link zur Verfügung, damit Sie sie nach etwa einer Stunde ansehen können.
Prüfgeräte
Wir stellen die gesamte Technologie zur Verfügung, die für die Durchführung der Nutzerforschung erforderlich ist.
Dazu gehören;
- Die Test-Laptop das mit spezieller Software für Bild-in-Bild-Aufnahmen ausgestattet ist
- Hochauflösendes Video des Bildschirms, den der Teilnehmer benutzt, sowie seine Mimik.
- Die Software für den Anschluss von Smartphones und Tablets benötigt, damit wir den Bildschirm aufzeichnen können.
Das Setup, das wir für die mobile Aufzeichnung verwenden, nutzt eine Hardware- und Softwarekonfiguration, bei der das Smartphone lediglich mit dem Stromkabel verbunden ist. Der Teilnehmer kann das Telefon in die Hand nehmen und ganz natürlich damit interagieren, ohne Aufsätze für Overhead-Kameras oder Halterungen oder das Gerät fest auf dem Schreibtisch zu positionieren.
Wir haben eine Reihe von Geräten, die wir für die Tests zur Verfügung stellen, darunter iOS- und Android-Smartphones, Tablets und Microsoft PC?s. Wenn Sie es wünschen, nutzen wir gerne Ihre Geräte und können uns in der Regel problemlos mit ihnen verbinden.
Testskript, Moderation, Analyse und Berichterstattung
Alle unsere Projekte werden von einem unserer erfahrenen UX-Berater geleitet, der von unabhängiger Seite bewertet und ausgezeichnet wurde. Akkreditierter Praktiker Status. Unsere Berater verfügen alle über mindestens 5 Jahre Erfahrung, die erforderlichen Qualifikationen und die Fähigkeit, diese Art von Designforschung durchzuführen.
Test-Skript
Im Gespräch mit dem Kunden wird unser UX-Berater das Testskript entwickeln, das die Aufgaben und Szenarien enthält, die die Interaktion der Teilnehmer leiten werdensowie alle Fragen, die Sie im Rahmen der Recherche beantwortet haben möchten.
Wir dokumentieren dies in einer ForschungsplanDieser enthält alle weiteren Details zur Recherche und wird Ihnen zur Wiederholung und Freigabe vorgelegt. Eine typische Sitzungsstruktur könnte wie folgt aussehen:
- Bevor sie beginnen
- Diskussion über den Nutzungskontext, aktuelle Verhaltensweisen und Einstellungen zum Forschungsgegenstand.
- Aufgaben
- Wir erstellen Aufgaben zu den wichtigsten Fahrten, Interaktionen, Merkmalen und Funktionen, die bewertet werden sollen
- Fragen im Zusammenhang mit Aufgaben, für deren Beantwortung der Moderator sorgen muss.
- Abschließendes Interview
- Eine Diskussion über ihre Erfahrungen
Moderation
Alle unsere Berater verfügen über langjährige Erfahrung in der Durchführung von Forschungsarbeiten dieser Art und, sofern nicht anders gewünscht, über ein umfangreiches Wissen, unser Ansatz zur Moderation ist wie folgt:
- Mündliche Übermittlung der Aufgaben an die Teilnehmer, um Formalitäten zu vermeiden
- Dem Benutzer die Möglichkeit geben, frei mit dem Prototyp zu interagieren und ihn nicht zu führen
- den Benutzer nur dann zu unterbrechen, wenn er zögert oder verwirrt ist und wenn dies nicht dazu führt, dass der Schwung der Aufgabe oder potenzielle Lehren aus seinem Verhalten verloren gehen
- Sie nach einer Aufgabe oder Teilaufgabe zu befragen, falls erforderlich
Gelegentlich sind wir von anderen Kunden gebeten worden, einen formelleren Moderationsansatz zu verfolgen, und wir sind gerne bereit, unseren Stil zu ändern, wenn dies erforderlich ist.
Während der Benutzertestsitzungen beobachtet der Moderator die Sitzung und macht sich Notizen, die er später für die Analyse verwenden wird. Diese Notizen können mit einem Zeitstempel versehen werden, so dass sie sich später darauf beziehen und das Video der Sitzungen ansehen können.
Analyse und Berichterstattung
Nach der Recherche führen sie die Analyse durch und beginnen mit der Erstellung des Berichts - wenn dies das gewünschte Ergebnis ist. Wenn eine Berichterstattung erforderlich ist, folgen wir den Best-Practice-Standards für die Berichterstattung über User Experience.
Wir verwenden ein Ampelmeldesystem zu Beobachtungen zu kategorisieren und Schweregrade zuzuordnen wie unten dargestellt:
Ampel-Meldesystem
FALLSTUDIE:
In einer generativen Studie für eine Hotelkette überprüften wir eine bestehende App im Vorfeld des Redesigns. Die Rekrutierung der Teilnehmer erfolgte aus dem gesamten Nutzerkreis, einschließlich Geschäfts- und Privatkunden, Gruppen und Einzelpersonen. Das Durchstöbern und die Suche wurden streng getestet, ebenso wie die Bezahlung, die Kontoverwaltung, die E-Mail-Nachrichten und das Treueprogramm. Die Studie umfasste auch Besuche bei Apps von Mitbewerbern, so dass die Nutzer die von ihnen bevorzugten Bereiche identifizieren konnten, auf die bei der Neugestaltung Bezug genommen werden konnte.
Diese Studie wurde in einer Forschungseinrichtung durchgeführt, weil der Kunde das Feedback aus erster Hand hören wollte, aber es ist nicht ungewöhnlich, dass diese Phase der Forschung bei den Nutzern zu Hause stattfindet, wie wir es für ein Versicherungsvergleichsunternehmen vor der Neugestaltung getan haben, oder in den Büros oder Besprechungsräumen der Kunden. Die Entscheidung hängt im Allgemeinen von den Kosten, der Verfügbarkeit, ein paar Tage außerhalb des Büros zu verbringen, und dem Standort der Benutzer ab. Die Videos der Sitzungen werden immer zur Verfügung gestellt (kostenlos von uns), so dass Sie auch dann sehen können, was passiert ist, wenn Sie nicht teilnehmen können.
PRÜFUNG DER PROZESSGESTALTUNG
Vorbereitungen für die Forschung
Der Ansatz für Prozesstests ist dem für Usability-Tests sehr ähnlich, wobei die Kernelemente vorhanden sind:
- Die Testobjekte
- Die Teilnehmer
- Der Ort der Forschung
- Die Vorbereitung, Moderation, Analyse und Berichterstattung.
Die größte Unterschiede bei Prozesstests ist, dass die Testanlagen erstellt werden müssen und die Berichterstattung normalerweise in Form von überarbeiteten Prozessdesigns erfolgt.
Prozessdesigns können uns als User-Journey-Maps, Use-Case-Workflows, Prozessflussdiagramme und mehr zur Verfügung gestellt werden. Diese Assets erklären, wie der Prozess funktionieren wird, die möglichen Interaktionen, Fehlerpfade, alternative Abläufe, Erfolgskriterien und mehr. Sie können jedoch nicht in dieser Form vor den Nutzern platziert werden, da sie sie nur verwirren würden.
PROZESSKARTEN:
Der von uns verfolgte Ansatz besteht in der Entwicklung von farbcodierten Prozesskarten, die verschiedene Attribute des Prozesses darstellen.
Ein kürzlich durchgeführtes Projekt umfasste die folgenden Kartentypen:
Oftmals werden bereits in dieser Phase Probleme und Lücken in den Prozessen aufgedeckt, die noch vor dem Nutzertest behoben werden können. Aus diesem Grund empfehlen wir, für diese Phase zusätzliche Zeit im Projekt einzuplanen, um ein paar Runden zu durchlaufen Iteration.
Durchführung der Prüfung
Wenn Sie Usability-Tests aus dem Zuschauerraum einer Forschungseinrichtung beobachtet haben, haben Sie bereits eine ziemlich gute Vorstellung davon, was bei Prozesstests passiert. Die Teilnehmer werden anhand des Zielnutzerprofils (Persona) rekrutiert und nehmen an einer 45- bis 60-minütigen Sitzung teil, die von einem erfahrenen UX-Berater moderiert wird. Nachdem sie sich hingesetzt und mit ein paar einleitenden Fragen beruhigt haben, beginnen wir mit dem Prozesstest.
Jeder Satz von Prozesskarten steht für eine User Journey oder Sub-Journey, und die erste Karte im Satz ist die User Story. Der Teilnehmer erhält die Karte mit der Benutzergeschichte und wird gebeten, sie zu lesen. Auf der Karte könnte etwas stehen wie:
- Sie möchten sich bei Ihrem Online-Bankkonto anmelden
- Sie suchen nach bank.de, um Ihr Konto einzusehen, und klicken sich zum Anmeldebildschirm durch.
- Sie können sich nicht mehr an Ihre Anmeldedaten erinnern und die Website rät Ihnen, den Support zu kontaktieren
Wie werden Sie vorgehen?
Der Benutzer hat auf der Karte eine Reihe von Auswahlmöglichkeiten, die über zugehörige Karten zu verschiedenen Wegen durch den Prozess führen.
Unser Ziel bei der Forschung ist es, zu verstehen, ob der Prozess die Art und Weise, wie der Benutzer interagieren möchte, auf natürliche Weise unterstützt.. Durch Beobachtung ihres Verhaltens, Zuhören ihrer verbalisierten Gedankengänge und Feedback können wir die Prozesse verfeinern und optimieren.
Gemeinsame Nutzung der Ergebnisse
Der beste Weg, die Ergebnisse von Prozesstests weiterzugeben, ist die Bereitstellung überarbeitete Prozesslandkarten oder -abläufe als das wichtigste Ergebnis. A Bericht liefert die Begründung, warum der Prozess in dieser Weise verändert oder angepasst wurde. Für jeden Schritt in jedem Prozess wird ermittelt, was funktioniert hat und was nicht und wie er geändert oder angepasst werden muss.
Diese Ergebnisse geben Aufschluss darüber, wie die Wireframes oder der Prototyp gestaltet sein sollten, um die Benutzerführung und den Prozess zu unterstützen.
VERGLEICHENDE USABILITY-TESTS
AUSGLEICHEND:
Um sicherzustellen, dass die Bewertung mehrerer Prototypen unvoreingenommen ist, verwenden wir eine Methode, die als "Counterbalancing" bezeichnet wird. Anstatt jeden Benutzer in der gleichen Reihenfolge mit den Prototypen interagieren zu lassen, d. h. Prototyp ?a?, Prototyp ?b?, dann ?c? und so weiter, wechseln wir die Reihenfolge ab, so dass jeder Prototyp gleich oft und in der gleichen Reihenfolge interagiert wird.
Das folgende ist ein echtes Testprotokoll aus einem Projekt, bei dem es um drei Prototyp-Versionen (zwei nur auf Smartphones) und auf drei Plattformen:
Tag/Teilnehmer | Schreibtisch | Tablette | Smartphone | |||||
Tag 1 | Vs1 | Vs2 | Vs3 | Vs1 | Vs2 | Vs3 | Vs1 | Vs2 |
1 | 1. | 2. | 3. | 6. | 5. | 4. | ||
2 | 2. | 3. | 1. | 4. | 6. | 5. | ||
3 | 3. | 1. | 2. | 5. | 4. | 6. | ||
4 | 1. | 2. | 3. | 5. | 4. | |||
5 | 2. | 3. | 1. | 5. | 4. | |||
6 | 3. | 1. | 2. | 4. | 5. | |||
Tag 2 | Vs1 | Vs2 | Vs3 | Vs1 | Vs2 | Vs3 | Vs1 | Vs2 |
1 | 5. | 4. | 3. | 1. | 2. | |||
2 | 3. | 5. | 4. | 2. | 1. | |||
3 | 4. | 3. | 5. | 1. | 2. | |||
4 | 1. | 2. | 3. | 5. | 4. | 3. | ||
5 | 1. | 2. | 3. | 5. | 4. | |||
6 | 5. | 4. | 3. | 1. | 2. |
Beispiel für ein Testprotokoll
Diese Art von Tests setzt voraus, dass der Moderator gut organisiert ist und gute Notizen macht. Es kann sehr nützlich sein, zusätzlich zum Moderator einen Notizenmacher zu haben, der den Überblick über die Versionen und die Reihenfolge behält.
BENCHMARKING-AUSWERTUNG
Durchführung der Bewertung
Die Testaufbau ist sehr einfach, da die zu verwendenden Aufgaben und Szenarien für den Prototyp und die Live-Version identisch sind. Wir werden einen ausgewogenen Ansatz verwenden, um sicherzustellen, dass jegliche Verzerrung beseitigt wird und die Live- und die Prototypversion gleich oft gesehen werden.
Der Teilnehmer interagiert mit jedem von ihnen, indem er nacheinander dieselbe Aufgabe stellt und die verbales Feedback und beobachtete Verhaltensweisen.
Die Kriterien, anhand derer der Vergleich durchgeführt wird, müssen gut durchdacht und die Aufgaben und das Testprotokoll entsprechend geplant sein. Die Teilnehmer können nicht immer den Sprung vom Prototyp zum Live-Betrieb schaffen, so dass ihr Feedback auf einem unfairen Urteil beruhen kann.
Wenn wir uns gut vorbereitet haben, können wir das ignorieren und uns auf die wichtigsten Bereiche konzentrieren, wie zum Beispiel;
- Interaktion
- User Journey
- Funktion der Merkmale
Diese werden die Grundlage für die Benchmark und das Bewertungs-/Berichtsformat haben wir mit Ihnen vereinbart.
FALLSTUDIE:
Einer unserer Hotelkunden entwickelte eine neue App und bat uns, eine Benchmarking-Evaluierung der entwickelten Prototyp-App im Vergleich zur bestehenden Live-App durchzuführen. Wir setzten ein Counterbalancing ein, um sicherzustellen, dass die 6 Teilnehmer in einer 1:2-Reihenfolge mit dem Prototyp und der Live-App interagierten. Das Ergebnis umfasste einen detaillierten Vergleich der Stärken und Schwächen der Live-App und des Prototyps.
Haben Sie ein Projekt im Sinn?