Judul Asli : Backtracking Events as Indicators of Usability Problems in Creation-Oriented Applications

 

Penulis : 

DAVID AKERS, University of Puget Sound

ROBIN JEFFRIES and MATTHEW SIMPSON, Google, Inc.

TERRY WINOGRAD, Stanford University

URL : http://dx.doi.org/10.1145/2240156.2240164

Abstrak Asli   :

A diversity of user goals and strategies make creation-oriented applications such as word processors or photo-editors difficult to comprehensively test. Evaluating such applications requires testing a large pool of participants to capture the diversity of experience, but traditional usability testing can be prohibitively expensive. To address this problem, this article contributes a new usability evaluation method called backtracking analysis, designed to automate the process of detecting and characterizing usability problems in creation-oriented applications. The key insight is that interaction breakdowns in creation-oriented applications often manifest themselves in backtracking operations that can be automatically logged (e.g., undo and erase operations). Backtracking analysis synchronizes these events to contextual data such as screen capture video, helping the evaluator to characterize specific usability problems. The results from three experiments demonstrate that backtracking events can be effective indicators of usability problems in creationoriented applications, and can yield a cost-effective alternative to traditional laboratory usability testing. Categories and Subject Descriptors: H.5.2. [Information interfaces and Presentation]: User Interfaces— Evaluation/methodology General Terms: Design, Information Systems Additional Key Words and Phrases: Usability testing, backtracking analysis, undo, cost-effectiveness.

ACM Reference Format:

Akers, D., Jeffries, R., Simpson, M., and Winograd, T. 2012. Backtracking events as indicators of usability

problems in creation-oriented applications. ACM Trans. Comput.-Hum. Interact. 19, 2, Article 16 (July

2012), 40 pages. DOI = 10.1145/2240156.2240164 http://doi.acm.org/10.1145/2240156.2240164

 

Pengkaji : ILHAM SATYABUDI

Ulasan :

1.    Pendahuluan

                Aplikasi berorientasi penciptaan seperti word processor, photo editor, dan 3D Modeling sulit untuk divaluasi secara komperhensif, karena aplikasi-aplikasi tersebut memiliki banyak tujuan penggunaan, tergantung pada keinginan user. Penggunaan metode usability testing tradisional untuk memecahkan masalah ini, terbilang tidak efektif dan efisien, karena membutuhkan biaya yang tinggi. Oleh karena itu, diciptakanlah metode baru untuk mengevaluasi kegunaan perangkan lunak berorientasi penciptaan yang bernama backtracking analysis.

                Konsep kerja backtracking analysis adalah dengan mengotomatisasi proses deteksi dan karakterisasi masalah dalam penggunaan aplikasi berorientasi penciptaan. Caranya adalah dengan menggunakan operasi yang dapat mencatat secara otomatis aktivitas suatu aplikasi. Contoh operasinya adalah undo, redo, dan erase. Backtracking analysis mensinkronisasi operasi tersebut kedalam bentuk data kontekstual seperti screen capture video, sehingga tidak diperlukan perhatian secara intensif dari user.

                Ada beberapa tantangan dalam penggunaan metode backtracking events ini. Pertama, mendeteksi masalah pengguaan dengan metode ini tidak sepenuhnya menggambarkan tingkat masalah yang dialami user. Kedua adalah tidak semua masalah penggunaan aplikasi dapat dideteksi backtracking events dan tidak semua backtracking events mengindikasikan suatu masalah.

2.    Backtracking Analysis

Deskripsi dari backtracking analysis dibagi menjadi tiga bagian, yaitu sebelum pembelajaran, saat pembelajaran, dan setelah pembelajaran. Pada bagian sebelum pembelajaran, metode backtracking analysis didefinisikan sebagai instrumen pada aplikasi yang mencatat secara otomatis suatu perintah backtracking. Pada bagian ini juga dijelaskan bahwa  backtracking analysis membutuhkan partisipan yang menggunakan komputer dengan task yang berbeda-beda, serta tiap komputer harus dilengkapi dengan fasilitas aplikasi screen capture.  

          Pada bagian saat pembelajaran, backtracking analysis dilaksanakan dengan cara memperkenalkan eksperimen, menginstruksikan setiap partisipan untuk bekerja secara simultan dalam menyelesaikan testing task, dan merekam dengan screen capture video, tentang berapa kali partisipan menggunakan perintah backtracking. Aktivitas selanjutnya adalah mengekstrak backtracking episodes dari hasil screen capture video sebelumnya. Pada bagian terakhir, yaiut setelah pembelajaran, backtracking analysis melakukan analisis terhadap komentar retrospektif, identifikasi masalah penggunaan, membuat peringkat severity pada setiap masalah, dan melaporkan isu penggunaan kepada pengembang.

3.    Waktu yang Tepat untuk Menggunakan Backtracking Analysis

Seperti metode evaluasi lainnya, backtracking analysis digunakan pada kriteria-kriteria tertentu saja, yaitu aplikasi yang dievaluasi adalah yang berjenis creation-oriented. Karena pada aplikasi jenis tersebut, backtracking event sering kali mengindikasikan tingkat kesulitan suatu aplikasi dalam mencapai tujuan yang diharapkan user. Kriteria yang lain adalah jenis backtracking event yang sering digunakan adalah undo dan erase. Selain itu, aplikasi yang akan dievaluasi harus mendukung fitur event logs untuk memfasilitasi proses analisis backtracking.

4.    Hasil Kerja yang Berkaitan

Ivory and Hearst [2001] mengklasifikasikan metode usability evaluation menjadi lima tipe: testing methods (e.g., traditional laboratory usability tests [Dumas and Redish 1999; Rubin and Chisnell 2008], remote usability tests [Hartson et al. 1996], log file analysis [Hilbert and Redmiles 2000], and A/B tests [Kohavi et al. 2007]), inspection methods (e.g., Cognitive Walkthroughs [Wharton et al. 1992], heuristic evaluations [Nielsen and Molich 1990], and pluralistic walkthroughs [Bias 1991]), inquiry methods (e.g., contextual inquiry, questionnaires, or interviews), analytical modeling methods (e.g., GOMS [Card et al. 1983] and CogTool [John et al. 2004]), and simulation methods (e.g., Petri net models [Rauterberg 1995] and information processing models [Robertson et al. 1989]). Backtracking analysis  masuk ke dalam kategori pertama, yaitu testing methods), dan merupakan turunan dari critical incident technique Flanagan [1954] yang mengoleksi dan menganalisis observer-observer yang terlatih.

5.     Penangkapan Konteks untuk Backtracking Events

Backtracking Events tidak akan berfungsi tanpa adanya informasi kontekstual untuk menginterpretasikan arti dari event-event yang ada. Salah satu cara untuk menangkap konteks tersebut adalah dengan merekam setiap Backtracking Events yang dilakukan oleh user. Langkah selanjutnya adalah menanyakan user mengenai alasan dari setiap aksi Backtracking Events yang mereka lakukan.

6.    Efektifitas

Efektifitas yang dimaksud disini adalah kombinasi dari hit rate (persentase dari masalah penggunaan yang dapat diidentifikasi) dan false alarm rate (persentase dari events yang salah diidentifiasi sebagai masalah penggunaan). Dari keduanya, diketahui bahwa jumlah masalah yang dideteksi metode-metode ini dapat dibandingkan dan diverifikasi. Seperti kebanyakan pendekatan event-based lainnya, Backtracking Analysis menghasilkan false alarms, tetapi tetap pada jumlah yang telah diperkirakan (27% pada Sketch Up dan 4.9% pada Photoshop).

7.    Kesimpulan

Hasil dari beberapa eksperimen yang telah dilakukan menunjukkan bahwa Backtracking Analysis menyediakan sebuah pendekatan yang menjanjikan untuk mendeteksi masalah dalam aplikasi yang berorientasi penciptaan, seperti SketchUp dan Photoshop. Hal ini pun juga didukung dengan hasil problem detection rate yang memuaskan, serta komentar yang positif dari usability evaluator yang profesional yang telah melakukan eksperimen dengan metode backtracking analysis ini.

           

                               

Recognition rather than Recall - ipb.ac.id

Terdapat beberapa konten yang apabila menerapkan metode Recognition, maka akan dapat meningkatkan efisensi User yang menggunakan website ipb.ac.id

1).  S1, S2, dan S3

Bagi mahasiswa baru, kata-kata pascasarjana mungkin masih terdengan asing dan belum mereka kenali. Oleh karena itu penambahan kata S1, S2, S3 pada website akan lebih memudahkan orang awam yang ingin mengakses website.

Severity Rating : 1 = Cosmetic problem only: need not be fixed unless extra time is available on projec.

---------------------------------------------------------------------------------------------------------------

2). Warna Fakultas

Setiap fakultas memiliki warna  lambang masing-masing yang sudah dikenali dengan baik oleh setiap mahasiswanya. Misalnya FMIPA adalah lambang ipb dengan warna putih dan Fapet adalah cokelat
Oleh karena itu, akan lebih baik apabila pada website, di samping nama fakultas, terdapat lambang dari masing-masing fakultas itu sendiri agar mahasiswa yang mengakses website ipb tersebut akan
dapat langsung dengan mudah mengenali fakultas mereka.

Saverity Rating : 1 = Cosmetic problem only: need not be fixed unless extra time is available on projec.

Match Between System and the Real World - ipb.ac.id

Dalam website ipb.ac.id, terdapat beberapa kata yang tidak familiar dalam dunia nyata. Dan juga ada beberapa term yang kurang dikenali oleh user.

1). Kata yang Tidak Familiar

Isi dari link procurement adalah pelelangan untuk pengadaan barang-barang fasilitas IPB. Namun lebih baik kata procurement diganti dengan kata yang lebih terdengar familiar, yaitu auction.

Severity Rating : 1 = Cosmetic problem only: need not be fixed unless extra time is available on projec.

---------------------------------------------------------------------------------------------------------------

2). Tautam ke Halaman Home

Link untuk menuju halaman Home, sebaiknya menggunakan lambang ipb saja, bukan dengan kata "IPB Home". Karena sekarang kebanyakan orang terbiasa untuk menuju ke hompage dengan mengklik lambang suatu website.

Severity Rating : 1 = Cosmetic problem only: need not be fixed unless extra time is available on projec.

Consistency and Standards - ipb.ac.id

Terdapat beberapa komponen dalam website ipb.ac.id yang tidak konsisten, baik dalam hal pemilihan kata maupun warna.

1). Warna yang Tidak Konsisten

Warna teks yang berbeda pada satu halaman dengan halaman yang lain. Di mana pada gambar yang paling atas, warna teks Home, About This Site dan Contact Us berwarna putih. Sedangkan pada halamana lainnya,  warna teks Home, About This Site dan Contact Us berwarna biru.

Solusi dari masalah ini adalah menyeragamkan warna pada teks Home, About This Site dan Contact Us.

Severity Ratings : 2 = Minor usability problem: fixing this should be given low priority

-------------------------------------------------------------------------------------------------------------

2) Pemilihan Bahasa yang Tidak Konsisten

Penggunaan kata yang tidak konsisten, dimana pada saat mengklik kata "more..." bahasa yang digunakan berubah. Contohnya adalah kata Ambulance Service berubah menjadi pelayanan ambulan ipb.

Seharusnya website pada setiap halaman, bahasa yang digunakan haruslah konsisten.

Severity Rating : 2 = Minor usability problem: fixing this should be given low priority

Error Prevention - ipb.ac.id

Website ipb.ac.id memiliki error prevention yang kurang memadai. Terutama pada fitur login ke email dan source code halaman website yang masih belum jadi.

1). Fitur Login yang Tidak Memiliki Error Prevention

Login pada email ipb yang tidak menunjukkan pesan error/perbaikan apapun saat user menekan
tombol Sign in padahal username dan password yang diisikan kosong.

Solusinya adalah sistem akan mengeluarkan pop up peringatan bahwa data yang diisikan tidak boleh kosong.

Severity Rating : 2 = Minor usability problem: fixing this should be given low priority

---------------------------------------------------------------------------------------------------------------

2). Source Code yang Belum Jadi

Halaman website di atas menampilkan source code html dan css yang seharusnya tidak boleh dilihat oleh end user.

Apabila masih ada Script css dan html yang masih belum jadi ataupun yang masih error, sebaiknya page tersebut memunculkan notifikasi Under Maintenance.

Severity Rating : 4 = Usability catastrophe: imperative to fix this before product can be released

Visibility of system status - ipb.ac.id

Ada beberapa kesalahan visibilitas pada  website ipb.ac.id. Yaitu ada beberapa halaman web yang tidak menginformasikan status halaman mana yang sedang aktif. Penjelasanannya adalah sebagai berikut :

1). Ambiguitas Halaman yang bernama "About Us"

Nama halaman yang bernama "About Us" membingungkan user, apakah kata "Us" nya itu menunjukkan bahwa user sedang ada di halaman profil IPB atau profil Pengembang website. 

Sehingga lebih baik kata "About Us" diganti dengan kata "About Devloper" apabila page yang dimaksud adalaha tentang profil devloper.

Severity Rating : 2 = Minor usability problem: fixing this should be given low priority 

--------------------------------------------------------------------------------------------------------------

2). Navigasi yang Salah

 

Navigasi yang kurang tepat, karena menu yang aktif pada page tersebut adalah "Community", sedangkan user sedang membuka artikel tentang undergraduate.

Perbaikan yang perlu dilakukan adalah dengan mengganti halaman yang aktif dari "Community" ke "Education".

Severity Rating : 2 = Minor usability problem: fixing this should be given low priority