ヒューリスティック評価の99パーセントは間違い？
何やら刺激的なタイトルでビックリですが、「Web担当者フォーラム」の「HCD-Net通信」というコーナーで、「ヒューリスティック評価法の99％は間違っている？ / HCD-Net通信 #15」という記事がありましたので、ご紹介したいと思います。
UPA（Usability Professionals' Association）という米国のユーザビリティ専門家団体が主催している国際会議において、「Heuristic Evaluation: Use and Abuse（ヒューリスティック評価法の使用と乱用）」というセッションがあったのですが、パネリストでありヒューリスティック評価法の開発者でもあるRolf Molich氏が、「現状行なわれているヒューリスティック評価の99パーセントはよくないものだ」と切り出したというのです。
そのココロは、よく見られるヒューリスティック評価の実態は、有名な「ユーザビリティに関する10のヒューリスティクス (問題解決に役立つ知見) / Ten Usability Heuristics（ちなみにこのガイドラインは、元々はJacob Nielsen氏とRolf Molich氏が1990年に共同で編み出したもので、その後Nielsen氏によって1994年までに度々改訂が加えられたものです）」を使って、ユーザビリティ専門家でない人が（機械的に）評価を行なっているというのです。本来あるべきヒューリスティック評価は、ユーザビリティ専門家が自分の経験に基づいた洞察によって問題点を洗い出すものである、というのがMolich氏の主張のようです。
たしかにヒューリスティック評価を実施するにあたっては、ある一定のガイドライン（評価基準）は必要だと思います。でないと、評価者の主観によって評価結果が大きく異なる危険性があるからです。私自身がヒューリスティック評価を行なう場合も、これまでの経験をもとに独自に作成したガイドラインを使用しています。ただし、ガイドラインを唯一の基準としてヒューリスティック評価を行なっているわけではありません。気をつけなければならないのは、「ガイドラインの項目をパスしさえすればユーザビリティの問題がないと言える」わけでは決してないということです。やはり、ヒューリスティック評価においては、評価者（ユーザビリティ専門家）の経験や洞察も加味した形で評価がなされるべきでしょう（Rolf Molich 氏は、こうした専門家の経験や洞察を加味した評価を「エキスパートレビュー」と表現しています）。
「HCD-Net通信」の記事では、エキスパートレビューレビューと可能であれば認知的ウォークスルー、それにユーザビリティテストを組み合わせて評価を行なうのが一番良い評価手法だと結んでいます。この点については私もまったく同感です。
それにしても、ユーザビリティの研究やノウハウの蓄積について進んでいると思っていた米国の実態が、上記のようなお寒い状況だとは正直思っていなかったので、ちょっとびっくりでした。