問卷樣本的分析與解讀才是成敗的關鍵
前陣子看到了這份 台灣網路業產品經理產業調查報告，看似內容很多、很豐富，但我覺得其中有些地方其實是需要先打上問號、再進一步去確認與思考的。
以下就整理一些自己的觀點與看法，提出來跟大家分享。
是否足夠代表「台灣產品經理」
雖然這篇文章一開始就提到會介紹台灣產品經理概況 (如下圖)，但看著看著對於這份調查能否代表「台灣產品經理」，其實產生了一些懷疑。
主要有以下兩個原因。
1. 問卷樣本與母體可能有差異
這種問卷式的研究或多或少都會有樣本偏誤的問題，而當然也有一些做法可以去避免，例如去收集到夠多的樣本數來降低偏誤的情況，或是想辦法去確認這些樣本的分佈與整個母體是類似的，例如這些樣本在各產業的分佈、或是不同年資的分佈，都和母體相似。
以這份研究看到的樣本分佈，在產業這個面向的分佈如下圖，看起來最多的四個分類：電子商務、金融科技、生活服務、SaaS ，就佔了約三分之二的樣本。
但現實生活中這些產業的人數分佈，真的是這樣子的比例嗎？如果不是，又沒有進行一些加權平均的處理，那是不是這份問卷其實是這四個產業的形狀，反映的是這四個產業、而不是台灣產品經理的情況呢？
比較可惜的是也沒有看到這部分的相關說明，或至少提醒大家可能會有樣本偏誤的情況。
2. 其實只針對「網路業」產品經理
雖然標題就有寫明是網路業產品經理的產業調查，但內文都只省略成產品經理 (如下圖)，讀者看著看著就會很容易帶入「這是份針對產品經理的調查報告」的概念，而忽略了這份調查其實只針對「網路業」產品經理。
而什麼是網路業產品經理 (或是說數位產品經理) 呢？ 其實在 另一篇請大家來填問卷的文章 裡面也有提到，如下圖。
所以可以看到在這樣的定義裡面，專案經理、以及硬體產品的產品經理，都是被排除掉，要去填寫另外一份問卷的。
雖然不確定將硬體產品切分出去的原因，但至少以這份調查來說，對於「台灣產品經理」的代表性似乎又少了一些。畢竟我覺得以台灣的現況來說，硬體產品經理仍佔有一定比例，甚至可能還是比較多數的那方。
數據的解讀是否考慮到各種可能性
先不論這份調查所產生出來的數據，很有可能只能反映上述四個產業的現況；在數據的解讀上，我覺得有些地方可能也是需要再去多做思考的。
例如在上面這段描述中，針對「用戶體驗研究在產品經理的工作內容中排名很低」的這個事實，作者的解讀是「大家較重視量化數據分析」。
那讀者看到的感覺，會不會變成是「大家較不重視用戶體驗研究」呢？
原因可能不只一種
但實際情況真的是這樣嗎？就我幾年的工作經驗來說，UX 研究基本上在稍有規模的團隊中，都會有專職的研究員、甚至是整個專職的研究團隊來負責。那，這代表的其實是大家越來越重視 UX 了，覺得需要專業分工，所以產品經理需要在工作內容放入 UX 研究的情況也就減少了。
另外還有一種可能是，雖然有專業分工但這些資源仍相對稀少，所以會把這些資源投入在真正需要研究、沒辦法用 A/B Testing 或數據分析等其他替代方案去解決的部分。也就是將珍貴的資源花在刀口上，所以這部分的工作內容比重當然也就不如數據分析。
只忠實呈現數據也是一種選擇
當然針對這樣的數據，我自己也沒有定論到底這些可能的原因，哪個佔比最高 (也有可能我的推論錯誤，真的就是大家不重視XD)。
但我覺得至少在嘗試分析和解讀這些數據的時候，如果真的沒辦法判斷因果關係，那也要試著盡量列出可能的選項，避免誤導讀者。
又或者，單純只呈現數據，讓使用者自行去解讀，其實也是一種方式。
針對這樣有偏誤的資料如何處理
最後想要再拉回來聊聊最前面提到樣本有偏誤的部分。
雖然這樣的資料 (某四個產業佔了三分之二樣本數) 可能不見得有辦法代表台灣產品經理，畢竟與整個母體的分佈情況有落差。
而除了用一些加權平均的方式處理成和母體類似的分佈之外，其實還可以直接就這四個產業的樣本分別去進行分析或比較，也許也能有意想不到的發現。例如技能、薪資、工作內容，搞不好都會因為產業不同而有所差異。
除了算是我的小小許願之外，其實也是覺得這些大大們這麼辛苦設計問卷、收集資料去做分析，如果因為這些小缺陷讓這些成果的呈現沒那麼好，其實是非常可惜的一件事。畢竟也很難得看到有人跳出來做這樣的調查研究。
最後延伸閱讀想要來分享一下最近看到蠻不錯的調查報告，是 Invision 發布的 Design Maturity Model，收集了來自 77 個國家、24 個產業、2200 公司的樣本。
另外還有 UiGathering 台灣使用者經驗設計協會 每年都會發布的 UX 產業工作者年度調查，這份就是單純只呈現數據的方式。
以及我前陣子寫的一些關於問卷調查的文章。
謝謝您看到最後！
若您喜歡我的文章，歡迎留下一些留言、按下「拍手」給我支持、或是「Follow」我，讓我提供更多文章給您。