Judul Asli : Backtracking Events as Indicators of Usability Problems in Creation-Oriented Applications

 

Penulis : 

DAVID AKERS, University of Puget Sound

ROBIN JEFFRIES and MATTHEW SIMPSON, Google, Inc.

TERRY WINOGRAD, Stanford University

URL : http://dx.doi.org/10.1145/2240156.2240164

Abstrak Asli   :

A diversity of user goals and strategies make creation-oriented applications such as word processors or photo-editors difficult to comprehensively test. Evaluating such applications requires testing a large pool of participants to capture the diversity of experience, but traditional usability testing can be prohibitively expensive. To address this problem, this article contributes a new usability evaluation method called backtracking analysis, designed to automate the process of detecting and characterizing usability problems in creation-oriented applications. The key insight is that interaction breakdowns in creation-oriented applications often manifest themselves in backtracking operations that can be automatically logged (e.g., undo and erase operations). Backtracking analysis synchronizes these events to contextual data such as screen capture video, helping the evaluator to characterize specific usability problems. The results from three experiments demonstrate that backtracking events can be effective indicators of usability problems in creationoriented applications, and can yield a cost-effective alternative to traditional laboratory usability testing. Categories and Subject Descriptors: H.5.2. [Information interfaces and Presentation]: User Interfaces— Evaluation/methodology General Terms: Design, Information Systems Additional Key Words and Phrases: Usability testing, backtracking analysis, undo, cost-effectiveness.

ACM Reference Format:

Akers, D., Jeffries, R., Simpson, M., and Winograd, T. 2012. Backtracking events as indicators of usability

problems in creation-oriented applications. ACM Trans. Comput.-Hum. Interact. 19, 2, Article 16 (July

2012), 40 pages. DOI = 10.1145/2240156.2240164 http://doi.acm.org/10.1145/2240156.2240164

 

Pengkaji : ILHAM SATYABUDI

Ulasan :

1.    Pendahuluan

                Aplikasi berorientasi penciptaan seperti word processor, photo editor, dan 3D Modeling sulit untuk divaluasi secara komperhensif, karena aplikasi-aplikasi tersebut memiliki banyak tujuan penggunaan, tergantung pada keinginan user. Penggunaan metode usability testing tradisional untuk memecahkan masalah ini, terbilang tidak efektif dan efisien, karena membutuhkan biaya yang tinggi. Oleh karena itu, diciptakanlah metode baru untuk mengevaluasi kegunaan perangkan lunak berorientasi penciptaan yang bernama backtracking analysis.

                Konsep kerja backtracking analysis adalah dengan mengotomatisasi proses deteksi dan karakterisasi masalah dalam penggunaan aplikasi berorientasi penciptaan. Caranya adalah dengan menggunakan operasi yang dapat mencatat secara otomatis aktivitas suatu aplikasi. Contoh operasinya adalah undo, redo, dan erase. Backtracking analysis mensinkronisasi operasi tersebut kedalam bentuk data kontekstual seperti screen capture video, sehingga tidak diperlukan perhatian secara intensif dari user.

                Ada beberapa tantangan dalam penggunaan metode backtracking events ini. Pertama, mendeteksi masalah pengguaan dengan metode ini tidak sepenuhnya menggambarkan tingkat masalah yang dialami user. Kedua adalah tidak semua masalah penggunaan aplikasi dapat dideteksi backtracking events dan tidak semua backtracking events mengindikasikan suatu masalah.

2.    Backtracking Analysis

Deskripsi dari backtracking analysis dibagi menjadi tiga bagian, yaitu sebelum pembelajaran, saat pembelajaran, dan setelah pembelajaran. Pada bagian sebelum pembelajaran, metode backtracking analysis didefinisikan sebagai instrumen pada aplikasi yang mencatat secara otomatis suatu perintah backtracking. Pada bagian ini juga dijelaskan bahwa  backtracking analysis membutuhkan partisipan yang menggunakan komputer dengan task yang berbeda-beda, serta tiap komputer harus dilengkapi dengan fasilitas aplikasi screen capture.  

          Pada bagian saat pembelajaran, backtracking analysis dilaksanakan dengan cara memperkenalkan eksperimen, menginstruksikan setiap partisipan untuk bekerja secara simultan dalam menyelesaikan testing task, dan merekam dengan screen capture video, tentang berapa kali partisipan menggunakan perintah backtracking. Aktivitas selanjutnya adalah mengekstrak backtracking episodes dari hasil screen capture video sebelumnya. Pada bagian terakhir, yaiut setelah pembelajaran, backtracking analysis melakukan analisis terhadap komentar retrospektif, identifikasi masalah penggunaan, membuat peringkat severity pada setiap masalah, dan melaporkan isu penggunaan kepada pengembang.

3.    Waktu yang Tepat untuk Menggunakan Backtracking Analysis

Seperti metode evaluasi lainnya, backtracking analysis digunakan pada kriteria-kriteria tertentu saja, yaitu aplikasi yang dievaluasi adalah yang berjenis creation-oriented. Karena pada aplikasi jenis tersebut, backtracking event sering kali mengindikasikan tingkat kesulitan suatu aplikasi dalam mencapai tujuan yang diharapkan user. Kriteria yang lain adalah jenis backtracking event yang sering digunakan adalah undo dan erase. Selain itu, aplikasi yang akan dievaluasi harus mendukung fitur event logs untuk memfasilitasi proses analisis backtracking.

4.    Hasil Kerja yang Berkaitan

Ivory and Hearst [2001] mengklasifikasikan metode usability evaluation menjadi lima tipe: testing methods (e.g., traditional laboratory usability tests [Dumas and Redish 1999; Rubin and Chisnell 2008], remote usability tests [Hartson et al. 1996], log file analysis [Hilbert and Redmiles 2000], and A/B tests [Kohavi et al. 2007]), inspection methods (e.g., Cognitive Walkthroughs [Wharton et al. 1992], heuristic evaluations [Nielsen and Molich 1990], and pluralistic walkthroughs [Bias 1991]), inquiry methods (e.g., contextual inquiry, questionnaires, or interviews), analytical modeling methods (e.g., GOMS [Card et al. 1983] and CogTool [John et al. 2004]), and simulation methods (e.g., Petri net models [Rauterberg 1995] and information processing models [Robertson et al. 1989]). Backtracking analysis  masuk ke dalam kategori pertama, yaitu testing methods), dan merupakan turunan dari critical incident technique Flanagan [1954] yang mengoleksi dan menganalisis observer-observer yang terlatih.

5.     Penangkapan Konteks untuk Backtracking Events

Backtracking Events tidak akan berfungsi tanpa adanya informasi kontekstual untuk menginterpretasikan arti dari event-event yang ada. Salah satu cara untuk menangkap konteks tersebut adalah dengan merekam setiap Backtracking Events yang dilakukan oleh user. Langkah selanjutnya adalah menanyakan user mengenai alasan dari setiap aksi Backtracking Events yang mereka lakukan.

6.    Efektifitas

Efektifitas yang dimaksud disini adalah kombinasi dari hit rate (persentase dari masalah penggunaan yang dapat diidentifikasi) dan false alarm rate (persentase dari events yang salah diidentifiasi sebagai masalah penggunaan). Dari keduanya, diketahui bahwa jumlah masalah yang dideteksi metode-metode ini dapat dibandingkan dan diverifikasi. Seperti kebanyakan pendekatan event-based lainnya, Backtracking Analysis menghasilkan false alarms, tetapi tetap pada jumlah yang telah diperkirakan (27% pada Sketch Up dan 4.9% pada Photoshop).

7.    Kesimpulan

Hasil dari beberapa eksperimen yang telah dilakukan menunjukkan bahwa Backtracking Analysis menyediakan sebuah pendekatan yang menjanjikan untuk mendeteksi masalah dalam aplikasi yang berorientasi penciptaan, seperti SketchUp dan Photoshop. Hal ini pun juga didukung dengan hasil problem detection rate yang memuaskan, serta komentar yang positif dari usability evaluator yang profesional yang telah melakukan eksperimen dengan metode backtracking analysis ini.