Pengujian Kegunaan

Mengevaluasi Produk Digital dengan Riset Pengguna dan Pengujian Kegunaan

Komponen kunci dari desain yang berpusat pada pengguna adalah evaluasi produk digital dengan pengguna nyata, yang direkrut dari demografi target. Ada berbagai metode dan pendekatan yang dapat digunakan tergantung pada tujuan spesifik proyek, tahap pengembangan dan kompleksitas.

Ada kasus bisnis yang sangat kuat untuk melaksanakan pengujian kegunaan untuk mengevaluasi produk saat sedang dikembangkan. Biaya perubahannya kecil dan jumlah alternatif desainnya tinggi, sehingga penelitian pengguna prototipe merupakan bagian penting dari proses pengembangan.

Atribut Penelitian Pengguna

Ada banyak cara yang berbeda dalam memberikan pengujian pengguna dan semuanya mengandung atribut fundamental berikut ini:

Mereka melibatkan pengguna yang diminta untuk mencoba tugas-tugas yang serupa dengan yang akan mereka coba di dunia nyata
Para pengguna dalam beberapa hal mewakili audiens target klien
Pengguna berinteraksi dengan prototipe sealami mungkin dan memberikan umpan balik, umumnya dengan menggunakan protokol think aloud
Pengamatan dianalisis dan rekomendasi dibuat untuk mengulangi prototipe.

Dengan mengingat elemen-elemen inti ini, apa yang membedakan metode-metode yang berbeda:

Di mana penelitian berlangsung
Dengan berapa banyak pengguna
Apa itu subjek penelitian
Data apa kami ingin menangkap

EVALUASI KEGUNAAN

Evaluasi kegunaan standar melibatkan 5 hingga 12 peserta yang direkrut berdasarkan profil pelanggan target yang menghadiri sesi satu lawan satu (kadang-kadang dikenal sebagai "kedalaman") yang berlangsung antara 45 dan 60 menit. Peserta akan menghabiskan waktu ini dengan peneliti pengalaman pengguna (bukan desainer UX) yang akan memoderatori sesi, yang dalam sebagian besar kasus, telah mereka persiapkan sebelumnya.

Proses Penelitian

Metodologi untuk melakukan penelitian kualitatif (evaluasi kegunaan) jenis ini melibatkan hal-hal berikut:

Rekrutmen: Peserta yang direkrut terhadap profil target yang ditentukan oleh klien
Persiapan:
- A naskah tes dan panduan diskusi dirancang untuk memfasilitasi interaksi peserta dengan desain
- A fasilitas untuk melaksanakan penelitian
- Peralatan menyiapkan untuk merekam sesi dan perangkat untuk digunakan peserta (yaitu tablet, smartphone, PC)
Sesi Penelitian:
- Terampil moderasi dari setiap sesi
- Pengamatan dan pencatatan masalah
Analisis & Pelaporan

Jumlah Peserta & Lama Sesi

Pada saat kami sampai pada tahap pengujian desain, kami biasanya melakukan evaluasi kegunaan pada semua platform - ponsel cerdas, tablet, dan PC. Namun berdasarkan pengalaman kami, kami tidak perlu menjalankan 5 sesi pada setiap platform karena kami biasanya telah menemukan masalah serius pada putaran sebelumnya.

Dalam kebanyakan kasus, kami menjalankan sepuluh sesi (kira-kira 60 menit) selama dua hari penelitian, dengan yang berikut ini terbagi di seluruh platform:

Smartphone = 4 peserta
PC = 4 peserta
Tablet = 4 peserta

Kami umumnya menemukan bahwa tablet dapat diinformasikan oleh temuan pada smartphone dan PC, tetapi kami ingin menjalankan beberapa sesi untuk menghindari kami melewatkan masalah yang jelas dengan titik-titik istirahat dan informasi utama di bawah lipatan

Fasilitas Penelitian dan Penayangan

Fasilitas penelitian menyediakan melihat melalui cermin satu arah atau melalui layar sehingga tim desain dan para pemangku kepentingan dapat melihat, secara langsung, bagaimana para peserta dapat melanjutkan pengembangan desain. Karena orang-orang yang melihat berada di lokasi yang sama dengan moderator, maka ada kesempatan untuk mendiskusikan apa yang mereka amati di antara sesi dan mulai merencanakan pembaruan dan perubahan.
Ini juga merupakan kesempatan bagi tim desain dan pemangku kepentingan untuk berkolaborasi dan mendiskusikan apa yang mereka lihat, karena ruang pandang fasilitas penelitian cenderung kedap suara.

Namun demikian, fasilitas penelitian memerlukan biaya dan sebagai alternatif, penelitian dapat dilakukan hampir di mana saja di ruang pertemuan, rumah peserta, kantor klien, dll. Kami dapat melakukan streaming sesi melalui internet sehingga menonton langsung dari jarak jauh adalah mungkin.

Namun, ada keterbatasan yaitu:

Hanya layar perangkat yang terlihat, bukan ekspresi wajah peserta
Melihat video untuk waktu yang lama melalui internet bisa sedikit tidak dapat diandalkan karena sifat bandwidth video yang berat
Resolusi layar bisa menyulitkan untuk melihat detail yang halus

Alternatifnya adalah meninjau video sesi definisi tinggi yang kami rekam sebagai hal yang biasa dan mengunggah ke folder Dropbox bersama. Bandwidth memungkinkan, kami akan mengunggahnya saat kami pergi dan segera membagikan tautan sehingga Anda dapat menonton dengan selang waktu sekitar satu jam.

Peralatan Uji

Kami menyediakan semua teknologi yang diperlukan untuk menjalankan sesi penelitian pengguna.

Ini termasuk;

The uji laptop yang dimuat dengan perangkat lunak khusus untuk merekam gambar dalam gambar
Video definisi tinggi dari layar yang digunakan peserta ditambah ekspresi wajah mereka.
The perangkat lunak diperlukan untuk menghubungkan perangkat smartphone dan tablet sehingga kita dapat merekam layar.

Pengaturan yang kami gunakan untuk merekam ponsel menggunakan konfigurasi perangkat keras dan perangkat lunak yang berarti smartphone hanya memiliki kabel daya yang dicolokkan. Peserta dapat mengambil telepon dan memegang serta berinteraksi dengannya secara alami tanpa lampiran apa pun untuk kamera di atas kepala, atau dudukan atau dengan perangkat yang tetap pada posisinya di atas meja.

Kami memiliki berbagai perangkat yang kami sediakan untuk pengujian, termasuk smartphone iOS dan Android, tablet, dan Microsoft PC. Kami dengan senang hati menggunakan perangkat Anda jika Anda membutuhkannya dan umumnya dapat terhubung dengan mudah.

Naskah Tes, Moderasi, Analisis dan Pelaporan

Semua proyek kami dijalankan oleh salah satu tim konsultan UX kami yang sangat berpengalaman yang telah dievaluasi secara independen dan mendapatkan penghargaan. Praktisi Terakreditasi status. Semua konsultan kami memiliki pengalaman minimal 5 tahun, kualifikasi yang diperlukan plus kemampuan untuk menjalankan jenis riset desain ini.

Naskah Tes

Dalam diskusi dengan klien, konsultan UX kami akan mengembangkan naskah tes yang mencakup tugas dan skenario yang akan memandu interaksi peserta?ditambah pertanyaan apa pun yang perlu dijawab oleh penelitian.

Kami mendokumentasikan ini dalam Rencana Penelitianyang berisi semua rincian lain mengenai penelitian, dan dibagikan kepada Anda untuk iterasi dan penandatanganan. Struktur sesi yang khas mungkin terlihat seperti ini:

Sebelum mereka mulai
- Diskusi tentang konteks penggunaan, perilaku saat ini dan sikap terhadap subjek penelitian.
Tugas
- Kami akan membuat tugas-tugas yang mencakup perjalanan, interaksi, fitur dan fungsi utama yang akan dievaluasi
- Pertanyaan-pertanyaan yang berhubungan dengan tugas-tugas yang harus dipastikan dijawab oleh moderator.
Wawancara Penutup
- Diskusi tentang pengalaman mereka

Moderasi

Semua konsultan kami memiliki pengalaman bertahun-tahun dalam menjalankan penelitian jenis ini dan, kecuali jika diminta sebaliknya, pendekatan kami terhadap moderasi adalah sebagai berikut:

Untuk mengkomunikasikan tugas-tugas secara lisan kepada para peserta untuk menghindari formalitas
Untuk memungkinkan pengguna berinteraksi secara bebas dengan prototipe dan tidak menuntun mereka
Hanya untuk menginterupsi pengguna ketika mereka ragu-ragu atau bingung dan jika hal tersebut tidak mengakibatkan hilangnya momentum tugas atau potensi pembelajaran dari perilaku mereka
Menanyakan kepada mereka setelah tugas atau sub-tugas jika perlu

Kadang-kadang, kami telah diminta untuk menjalankan pendekatan moderasi yang lebih formal oleh pelanggan lain dan dengan senang hati mengubah gaya kami jika diperlukan.

Selama sesi pengujian pengguna, moderator akan mengamati sesi dan membuat catatan yang akan mereka gunakan nanti untuk analisis. Catatan-catatan ini mungkin berupa catatan yang diberi cap waktu sehingga mereka dapat merujuknya nanti dan meninjau video sesi tersebut.

Analisis & Pelaporan

Setelah penelitian, mereka akan melakukan analisis dan mulai membuat laporan, jika itu adalah hasil yang diperlukan. Jika pelaporan diperlukan, kami mengikuti standar pelaporan praktik terbaik Pengalaman Pengguna.

Kami memanfaatkan skema pelaporan lampu lalu lintas untuk mengkategorikan pengamatan dan menetapkan peringkat keparahan seperti ditunjukkan di bawah ini:

Skema Pelaporan Lampu Lalu Lintas

STUDI KASUS:

Dalam studi generatif untuk jaringan hotel, kami meninjau aplikasi yang ada sebelum proses desain ulang. Perekrutan menargetkan peserta dari seluruh basis pengguna mereka termasuk pengguna bisnis dan konsumen, kelompok dan individu. Perjalanan penelusuran dan pencarian diuji secara ketat, begitu juga dengan pembayaran, manajemen akun, pesan email, dan skema loyalitas. Studi ini juga mencakup kunjungan ke aplikasi pesaing sehingga pengguna dapat mengidentifikasi area yang mereka sukai yang dapat dirujuk dalam desain ulang.

Penelitian ini dilakukan di fasilitas penelitian karena klien ingin mendengar umpan balik secara langsung, tetapi tidak jarang tahap penelitian ini dilakukan di rumah pengguna, seperti yang kami lakukan untuk perusahaan pembanding asuransi sebelum mendesain ulang, atau di kantor klien atau ruang rapat. Keputusan umumnya tergantung pada biaya, ketersediaan untuk menghabiskan beberapa hari di luar kantor, dan lokasi pengguna. Video sesi selalu disediakan (gratis dari kami) sehingga Anda masih dapat melihat apa yang terjadi meskipun Anda tidak dapat hadir.

PENGUJIAN DESAIN PROSES

Pengujian desain proses dilakukan sebelum media interaktif dibuat untuk memastikan alur kerja dan langkah-langkah proses mendukung interaksi pengguna yang diinginkan. Ini melibatkan pengguna yang menghadiri sesi penelitian kualitatif satu-ke-satu dan berinteraksi dengan kartu proses berkode warna yang dibuat untuk mewakili setiap aspek proses atau perjalanan.

Mempersiapkan Penelitian

Pendekatan untuk pengujian proses sangat mirip dengan yang digunakan untuk pengujian kegunaan dengan elemen inti yang ada:

Aset uji
Para peserta
Lokasi penelitian
Persiapan, moderasi, analisis dan pelaporan.

Yang terbesar perbedaan dengan pengujian proses adalah bahwa aset uji harus dibuat dan pelaporan biasanya dalam bentuk desain proses yang direvisi.

Desain proses dapat dikirimkan kepada kami sebagai peta perjalanan pengguna, alur kerja use case, diagram alur proses, dan lainnya. Aset-aset ini menjelaskan bagaimana proses akan bekerja, interaksi yang mungkin terjadi, jalur kesalahan, alur alternatif, kriteria keberhasilan, dan lainnya. Tetapi, mereka tidak dapat ditempatkan di depan pengguna dalam bentuk ini karena mereka hanya akan membingungkan mereka.

KARTU PROSES:

Pendekatan yang kami ambil adalah mengembangkan kartu proses berkode warna yang mewakili berbagai atribut dalam proses.

Proyek terbaru mencakup jenis kartu berikut ini:

Sering kali tahap ini dalam prosesnya sendiri memunculkan masalah dan kelalaian dari proses yang dapat diperbaiki sebelum pengujian pengguna dilakukan. Untuk alasan itu, kami merekomendasikan untuk memberikan waktu tambahan dalam proyek untuk tahap ini untuk melalui beberapa putaran iterasi.

Melaksanakan Pengujian

Jika Anda telah mengamati pengujian kegunaan dari ruang menonton di fasilitas penelitian, Anda sudah memiliki gagasan yang cukup bagus tentang apa yang terjadi dengan pengujian proses. Peserta direkrut berdasarkan profil pengguna target (persona) dan menghadiri sesi 45 hingga 60 menit sendiri dan dimoderatori oleh konsultan UX senior. Setelah mereka duduk dan dibuat merasa rileks dengan beberapa pertanyaan pembuka, kami memulai proses pengujian.

Setiap set kartu proses mewakili perjalanan pengguna atau sub-perjalanan dan kartu pertama dalam set adalah cerita pengguna. Peserta diberikan kartu cerita pengguna dan diminta untuk membacanya. Kartu tersebut mungkin mengatakan sesuatu seperti:

- Anda ingin masuk ke rekening bank online Anda

Anda mencari bank.co.uk untuk melihat akun Anda dan klik ke layar login.
Anda tidak dapat mengingat detail logon Anda dan situs web menyarankan Anda untuk menghubungi bagian dukungan

Bagaimana Anda akan melanjutkannya?

Pengguna akan memiliki sejumlah pilihan yang disajikan pada kartu dan ini akan mengarah ke rute yang berbeda melalui proses melalui kartu terkait.

Tujuan kami dalam penelitian ini adalah untuk memahami apakah prosesnya mendukung cara pengguna ingin berinteraksi secara alamiah. Dengan mengamati perilaku mereka, mendengarkan proses pemikiran verbal dan umpan balik mereka, kita bisa memperbaiki dan mengoptimalkan prosesnya.

Berbagi Temuan

Cara terbaik untuk berbagi temuan dari pengujian proses adalah dengan memberikan peta atau alur proses yang direvisi sebagai hasil utama. A laporan memberikan narasi tentang mengapa proses tersebut telah berubah atau diubah dengan cara yang telah dilakukan. Hal ini akan mengambil setiap langkah dalam setiap proses dan mengidentifikasi apa yang berhasil dan apa yang tidak serta bagaimana proses tersebut perlu diubah atau diadaptasi.

Bersama-sama, hasil ini akan menginformasikan bagaimana wireframe atau prototipe harus dirancang untuk mendukung perjalanan dan proses pengguna.

PENGUJIAN KEGUNAAN KOMPARATIF

Pengujian prototipe komparatif dilakukan ketika ada lebih dari satu alternatif desain prototipe yang akan dievaluasi. Ini terjadi ketika tim desain menghasilkan lebih dari satu solusi untuk kasus penggunaan atau persyaratan tertentu. Pengujian pengguna adalah salah satu cara untuk menentukan pendekatan mana yang harus dipilih.

PENYEIMBANG:

Untuk memastikan bahwa evaluasi beberapa prototipe tidak bias, kami menggunakan metode yang disebut penyeimbangan. Daripada meminta setiap pengguna berinteraksi dengan prototipe dalam urutan yang sama, misalnya prototipe "a", prototipe "b", lalu "c" dan seterusnya, kami mengganti urutannya sehingga setiap prototipe berinteraksi dengan jumlah yang sama dan dalam urutan yang sama.

Berikut ini adalah protokol uji nyata dari sebuah proyek di mana terdapat tiga versi purwarupa (dua hanya pada smartphone) dan pada tiga platform:

Hari/Peserta	Desktop			Tablet			Smartphone
Hari ke-1	Vs1	Vs2	Vs3	Vs1	Vs2	Vs3	Vs1	Vs2
1	1	2	3	6	5	4
2	2	3	1	4	6	5
3	3	1	2	5	4	6
4				1	2	3	5	4
5				2	3	1	5	4
6				3	1	2	4	5
Hari ke-2	Vs1	Vs2	Vs3	Vs1	Vs2	Vs3	Vs1	Vs2
1	5	4	3				1	2
2	3	5	4				2	1
3	4	3	5				1	2
4	1	2	3	5	4	3
5				1	2	3	5	4
6	5	4	3				1	2

Contoh Protokol Uji

Jenis pengujian ini bergantung pada moderator yang terorganisir dengan baik dan membuat catatan yang baik, dan akan sangat berguna untuk memiliki pencatat selain moderator untuk melacak versi dan urutan

EVALUASI PEMBANDINGAN

Evaluasi benchmarking adalah ketika kita mengevaluasi prototipe terhadap alternatif langsung. Proyek yang telah kami jalankan hanya mencakup situs langsung atau situs langsung ditambah pesaing. Tujuannya adalah untuk mengevaluasi apakah prototipe yang dikembangkan dapat mengatasi kekurangan yang dirasakan di situs langsung, atau sama baiknya dengan pesaing.

Melaksanakan Evaluasi

The pengaturan tes sangat sederhana karena tugas-tugas dan skenario yang akan digunakan identik untuk prototipe dan live. Kami akan menggunakan pendekatan penyeimbangan untuk memastikan bahwa bias apa pun dihilangkan dan versi live dan prototipe dilihat pertama dan kedua dalam jumlah yang sama.

Peserta akan berinteraksi dengan masing-masing, satu demi satu, mencoba tugas yang sama dan menyediakan Umpan balik verbal ditambah perilaku yang diamati.

Kriteria yang digunakan untuk membandingkan perlu dipikirkan dengan baik dan tugas serta protokol pengujian yang direncanakan dengan tepat. Peserta tidak selalu dapat melakukan lompatan dari prototipe ke produk langsung, sehingga umpan balik mereka dapat didasarkan pada penilaian yang tidak adil.

Jika kita sudah mempersiapkan diri dengan baik, kita bisa mengabaikan hal itu dan fokus pada area-area kunci seperti;

Interaksi
Perjalanan Pengguna
Fungsi fitur

Ini akan menjadi dasar untuk tolok ukur dan format penilaian/pelaporan kami telah sepakat dengan Anda.

STUDI KASUS:

Salah satu klien hotel kami sedang mengembangkan aplikasi baru dan meminta kami untuk melakukan evaluasi benchmarking dari aplikasi prototipe yang sedang dikembangkan dibandingkan dengan aplikasi live yang ada. Kami menggunakan counterbalancing untuk memastikan bahwa 6 peserta berinteraksi dengan prototipe dan aplikasi langsung dalam urutan 1:2 secara seimbang. Hasil yang diberikan termasuk tolok ukur terperinci dari perbandingan kekuatan dan kelemahan live versus prototipe.



Punya Proyek dalam Pikiran?

Hubungi Kami