以下は、2009 年 5 月 4 日に書かれた WordPress.org 公式ブログの記事、「Contributing to WordPress, Part III: Usability Testing」を訳したものです。

WordPress 2.7 が成功したプロジェクトとなった理由の一つに、開発サイクル中に非常に多くのユーザビリティテストを行ったことがあります。2.5 および Crazyhorse プロトタイプのテストから始めて 2.7 ベータに至るまで、アプリケーションに含まれるほとんど全ての機能を調査しました。こういった事には非常に長くの時間がかかります。 🙂

ユーザビリティテストの背景にあるプロセスになじみがない読者の方々のために、概要を説明します。まず、テストの範囲を決定し、テスト用プロトコル/スクリプトを用意します。その後、テストグループに含める観客のセグメントを決め、その条件に合った人を募ります。参加者を探してくれる代理機関にお金を払って人員募集の依頼をしたりする事もありますが、WordPress のテストにはコミュニティの中から参加者を募る方がより理にかなっています。つまり、スクリーニング用のアンケートを作り、返答を全て読み、応募してくれた人たちをカテゴリー分けし、求めているそれぞれのセグメントの定員数に達するまで応募者に連絡を取るということを意味しています (セグメントには例えば、初心者、上級ユーザー、開発者、CMS ユーザー、フォト・ブロガー、モブログユーザーなどがあります)。その後、テストセッションを開始します。

何をテストするかによって、これらのセッションは30分から1時間半ほどかかります。たいていスクリーンキャプチャソフトと Web カメラ、そしてバックアップとしてのビデオカメラを使ってこれらを録画します。モデレーターは通常セッション中にメモをとったり、録画ソフトによってはタスクの達成時に動画内に印をつけたり、興味深い点にコメントを追加したりします。場合によっては、アイトラッキングテストなどの補助的テスト方法を含める事もあります。

セッションが完了したら、結果を分析します。メモや動画をレビューし、パターンを見つけ出し、リポートを書き、そのフィードバックによって次回に向けての修正案を導き出します。

これらのことすべてを行うのに、そんなに時間がかからないと思っている人もいます。Jakob Nielsen 博士の古い記事を持ち出し、「ユーザビリティ上の問題はすぐに明らかになるから、5人以上のユーザーに対してテストする必要はないよ」と言ってくる人はいまだにたくさんいます。それはたいていの場合事実だと私も思いますが、経験のレベル、目的、プラットフォーム校正、言語 (右から左に書く言語の場合、まったく違う体験になります)、人口統計学上の分布などで非常に広範囲のユーザーを扱っている WordPress コミュニティの場合、5人のユーザーによるテストは物事をはっきりと見るために十分だとは言えません。私たちは各ラウンドで10数人にテストをしてもらうように努力していますが、WordPress のユーザーは世界中に散らばっているにも関わらず、テストが行える地理的な地域は限られています (ニューヨーク、サンフランシスコ、そして連続して十分な人数のテスターのスケジュールを合わせられ、無駄のないテストが行えるいずれかの場所)。

この問題に取り組むため、ユーザビリティテストプログラムを拡大するための新しい貢献の機会を導入します。コード開発およびグラフィックデザインと同様、ユーザビリティテストにコミュニティが参加できるインフラを構築するつもりです。これまでは X という都市で Y という日に参加者が必要です、という告知を行っていましたが、今後は皆さんに定期的に、より広範囲な参加をしてもらえるようになります。参加者だけでなく、モデレーターも募集する予定です。また、世界中の人に参加してもらえればと思っています。

モデレーター 観察型ユーザビリティテストはロケット科学ほど難しいわけではありませんが、偏りを軽減するのは単純なタスクではありません。この理由から、少なくとも初期の段階ではプロとしてユーザビリティテストを行った経験がある方のみを選びたいと思っています。初回の採用においては、デザイン会社やソフトウェア会社、ユーザビリティコンサルタント企業などでテストを行っている人たちが選ばれる可能性が高いでしょう。将来的に、定期的にボランティアしてくれる方々のグループができ、プロセスの問題点をすべて解消できた時には、経験の豊富なテスト参加者と意欲的な参加者を引き合わせ、指導モデルを使い、この方法で貢献できる人の人数を増やしていきたいと思います。

テスト参加者 もしあなたが WordPress をお使いであれば、いつかユーザビリティテストに参加できる可能性があります。特定の行動 (大きな動画ファイルをアップロードする人、iPhone でブログを更新している人、5つ以上のブログを持っている人など) を行う人を探す場合もありますし、より一般的な参加者 (サイドバーにウィジェットを使っている人、過去6ヶ月以内にテーマを変更した人、複数の執筆者がいるブログを持っている人など) を探す事もあると思います。

それでは、このような貢献の機会はいつからスタートし、どうやって WordPress をより良いものにしていくことになるのでしょうか？

まず、モデレーターの募集からはじめ、地理的にほどほどに離れた人たちを集めたいと思います。それから、モデレーターのいるエリアのテスト参加者候補を募集します (ただし、今後もテストツアーを行う予定はあるので、全体的な地域からの登録も受け付けることにします)。現在、テスト参加者候補の登録プロセスの作成を進めています。基本情報 (所在地、連絡先) を記入し、WordPress 利用に関する質問に答えてもらいます。この質問の回答をデータベースに保存し、あなたに合ったテストの機会が発生したら、興味があるかどうかの確認に地域のモデレーターが連絡をとることになります。将来はリモート (遠隔地) テストや他の方法も試してみるかもしれませんが、現在のところはこのアプローチでテストの地理的範囲を広げることができるでしょう。

全てのモデレーターは同一のテストプロトコルおよびスクリプトに従います。テスト結果、リポート、動画は集計され、複合的なリポートが作成され (テストに使われたプロトコルおよびスクリプトもこのリポートに含まれます)、コミュニティに公開されます。これによりデザイナーや開発者が開発サイクル中、さらに幅広いフィードバックを得る事ができ、より多くのコミュニティがテストプログラムを理解し、これに参加する事ができるようになるでしょう。

この初期フェーズでモデレーターになってみたいという方 (プロとしてユーザーテストを行っている方) は、私にメールして自己紹介をして下さい。テスト参加者候補として応募したい方は、このブログを引き続きウォッチして下さい。登録用アンケートへが完成次第、リンクを公開します。