關於 Pilot Testing，也就是前測，也許大家或多或少都有聽過。大概就是在產品開發到有一定完成度與功能性的時候，先找一些人來試用看看這個產品是不是真的如想像中的那麼美好、那麼地吸引人。
當然，也不是所有的情況都會有需要 (當然要每次開發產品都來做一次 Pilot Testing 的話，好像除了勞師動眾之外也不會有什麼問題)；通常比較會在要開發一個全新的產品線、或要瞄準一個新的客群、或是準備要打入新的市場等等情況，也就是前方有太多不確定性與未知時，來進行這個動作。
所以大概就是在產品真正推出之前的試水溫動作，盡量讓這些未知與不確定性更接近已知一點點；如果真的有發現一些要調整的地方，在產品真正推出之前也都還有機會修正。比方說像 Android 和 iOS 每次要正式發佈有很多新功能的大版本更新之前 (例如近期的 iOS 13)，都會先釋出測試版本，讓有興趣試玩的玩家們先試用看看，我覺得也算是 Pilot Testing 的一種。
所以故事是怎麼開始的
好了前情提要結束，開始要來用我這次遇到的問卷當案例，來看看 Pilot Testing 有多重要了XD
首先，他是一份透過 email 寄送的校友問卷，其實一開始我也沒有想要填這份問卷。但是後來慢慢發現到，不行啊我一直沒有去填的話，每隔幾天就會接到電話來跟你說「有沒有收到問卷啊」、「記得要去填啊」、「這個是你會收到的最後一次校友問卷了就行行好幫忙填一下吧大爺」。
好吧，搞得這麼不勝其擾，還是來找個時間把它填好填滿吧。
錯誤 1: 讓使用者有過高預期
不知道大家有沒有用過或是買過那種，廣告和宣傳標語都講得天花亂墜、但實際用起來的體驗卻是天差地遠的產品？這份問卷帶給我的就是這種感覺。
如下圖，從 email 就可以看到真的非常貼心的為不同學院的校友們都設計了專屬問卷。而點進管理學院的問卷之後，第一頁除了填寫基本資料之外，還要選科系別。
到這邊都還覺得一切美好，覺得有這麼精心為了不同科系去設計內容的問卷，應該是真的可以如 email 裡面說的，在五分鐘內完成吧。
結果實際填寫才發現我真的是眼睛業障重啊，被最前面的這些玲琅滿目的給蒙蔽、默默就設定了太高的期望，結果根本不是這麼一回事啊。
選了「資管碩」的我，居然在目前工作行業別的 19 個選項中，連個科技業或資訊業的選項都找不到 (如下圖)。以一間台灣前幾名的研究型大學來說，這都是個足以被列入其他學院 (例如理學院和工學院) 的行業選項了，更別說這對資管畢業生來說應該算是大宗之一。
然後，這題居然也沒有任何其他的開放式欄位，讓我可以自己填入資訊/科技業……。
2. 設計不良的情境
好的，前面提到我勾選了「資管碩」，而在碩班的必修課程中是沒有任何的體育、通識等課程的。包括碩士在職專班、博士班也都是一樣的情況。
但是這份問卷填著填著就出現了哪個通識課程對你最有幫助的選項 (如下圖)。原本以為應該非必填所以就跳過了，直到要進入下一頁時跳出有必填選項沒寫的訊息時，才發現原來這題真的是必填呢。
好吧那也只能矇著眼睛隨便選一個了。
總之，就算這題對於大部分的問卷填答者，也就是大學部校友是有意義的；但它對於另外一小部分的碩、博、專班校友，就是無意義、應該要被濾掉或是設為非必填的題目。
而這個設計上的瑕疵，如果有做 Pilot Testing 而且有找非大學部的校友或在校生來試填問卷，應該都很容易可以發現。也就是說，測試的群體多樣性也是很重要的 (除非產品的目標客群就只有特定某群人)，否則測試結果是不夠具有代表性的。
3. 顯而易見的錯誤
最後則是情境式的問題選項沒有設計好。如下圖第 76 題，我都已經回答覺得學校所學對於工作上有幫助了，接續的第 77 題詢問學校所學不符合工作所需要的原因，居然是設定為必填。
好吧那既然我都覺得學校所學課程有幫助的情況下，卻還是要我硬選擇一個覺得沒有幫助的理由，那也只好跟上面情況一樣矇著眼睛選一個了。
另外則是關於目前職位與工作內容的部分，如下圖，身為一個 PM 在不是很確定的情況下好像也只能選個「專業人員」，接著下方就帶出了專業人員對應的工作內容選項…
好喔，看起來是沒當工程師就沒人權嗎… QQ
其實可以看到上面的專業人員真的就只有這七個選項而已，而且中小學教師、法律相關人員、醫師藥師等等這幾個選項，在本校其實沒有相關學院和科系的情況下，應該被勾選到的機會也是非常小吧。
更別說還有醫師居然是和法律相關人員歸類在同一個選項，而不是和藥師、護理師等等一起的這種違背大多數人認知的奇怪設定，這題的選項一整個不知道是想要統計些什麼東西啊。
而像這部分，其實也是有先找過有工作經驗的校友做測試的話，應該就會發現的 (當然如果運氣很不好找到都是工程師校友來測試的話，就…)。
總結
好了，整份問卷艱難的填寫過程大概就像上面那樣，如果大家有遇到什麼體驗很差的問卷也歡迎提供 (誤)
然後也要補充一下，這個大概有 100 題的問卷當然最後也沒有在五分鐘內填完，根本超級廣告不實啊！
Pilot Testing 真的很重要呢
其實從這份問卷的幾個問題，就可以發現如果有找一些具有代表性的樣本來填寫的話，是可以提早發現問題去做改善的。
所謂有代表性的樣本當然是指畢業校友。畢竟這是要給畢業校友填寫的問卷嘛，而且從上面的幾個選項看起來 (例如工作內容)，的確有些問題如果找在校生來做 pilot testing，可能也測不出問題。
另外還有樣本的多樣性也很重要，像上面必填的通識題，如果找有唸過大學部的校友可能也測不出問題。所以比較好的作法應該是，針對大學部、研究所、在職專班的這個維度，再去乘上不同的學院 (前面有提到不同學院是分開的不同問卷)，就可以知道需要找多少群不同的校友了。
而像這個案例，疑似沒有做過 Pilot Testing 的情況下，造成有設計不良的題目被放出去，所以部分填答者被迫亂填。那其實在資料本身就有問題的情況下，統計上的信度和效度也會受到影響。
另外，在問卷選項的設計上也不是說每個選項都放個「其他」讓找不到選項的填答者自己寫就好，如果像產業別這題，太多人找不到適合的選項所以都選了其他的話，那這題也變得沒有意義了。畢竟設計這些選項就是為了要分析選填不同選項的人，在其他題目上的差異，結果居然設計了一題會讓多數人都選擇某個特定選項的，那這題其實就類似問你是不是某某大學的畢業校友，變得有問跟沒問好像就沒差了。
那做完 Pilot Testing 之後呢
當然就是看看他們有沒有反應什麼重大問題，然後去做修正囉。
而有時候為了避免受測者沒有確實反映問題，甚至還會觀察他們在填答的過程中有沒有哪些地方會卡住，有時候受測者身體呈現出來的反應才是最自然的結果。畢竟 Pilot Testing 階段的受測者也少，是可以花點時間做這樣的投資。
在現實中的其他情況下其實也是一樣的。產品能在 Pilot Testing 階段就找出問題、進行調整或修正，總比正式上線或開賣之後發現有重大問題要修正來得好。
總之，這就是我在填了一份體驗不是很好的問卷之後的心得啦，彷彿又重溫了幾年前在設計碩士論文問卷的時光呢 (誤)
另外，在完成這篇文章之後的那陣子，其實我也密集填了不少份問卷。如果對於我在這部分的心得有興趣的話，也可以參考以下文章。
謝謝您看到最後！
若您喜歡我的文章，歡迎留下一些留言、按下「拍手」給我支持、或是「Follow」我，讓我提供更多文章給您。