科學化測試助決策有局限

有一段長時間,美國的零售企業很盛行通過直郵廣告來招攬顧客,他們以不同小區(郵寄編號)作為顧客分群,用隨機方式進行內容測試和數據追蹤,找出潛在顧客的商品及價格偏好。銷售傳單(Promotional flyer)為實驗經濟學中早期採用的宣傳策略之一,在一次實驗中,零售公司為其商品在宣傳單張中的價格變化進行實驗,想知道改用9字結尾的價格(譬如19元、29元)會否帶來更高銷量。他們把傳單前端和末段的商品價格改成9字尾,其餘項目價格則保持不變;結果研究人員發現,9字結尾的價格更能提升銷量。

近10年來,科學化測試已成為科技行業管理決策的標準組成部分,科企不僅用該方法協助商業決策,它也變成重要的企業文化,特別是產品功能設計上,與其爭論不休,倒不如聽取客戶在實驗中的答案。然而採用此方法前,筆者想先列出一些常見問題:

局限一:測試者數量不足
如果實驗的樣本量太少,即使兩個隨機分配的組別之間存在巨大差異,得出的實驗結果仍可能與現實不符,這也可歸因於噪聲。例如︰從小量樣本的測試者中,看到拋硬幣連續拋出兩次正面,就得出言之鑿鑿的推論,斷定該枚銀幣有問題。

局限二:隨機化很難實現
若未能做到徹底的隨機化,就難以知道被測試的因素是否真正導致了實驗揭示的結果。相比真實環境,互聯網平台更容易操控客戶所看到的內容,譬如向某些用戶展示網頁的一種設計,另向其他用戶展示另一款設計,然後跟蹤不同設計之間的用戶行為差異。

局限三:需要大量數據來衡量實驗效果
數據缺乏一向是主要的實驗壁壘,由於評估實驗的效果須測量相關的數據結果──這可能既昂貴又複雜。數碼時代使跟蹤數據變得容易,至少有利於項目的成本及效益管理。

局限四:低估決策者的不可預測性
當人們認為決策者的行為非常穩定、可預測時,往往會低估實驗的複雜度。心理學的一大貢獻是使人們更深入地了解決策者思維的脆弱性、環境特異性和敏感性。

局限五:猜測效果的能力時過於自信
在做決定時,我們往往未能意識到自己的直覺是多麼的偏離軌道,而過度自信會導致管理者單憑直覺行事,而非通過實驗來確定最佳行動方案。對產品的快速反饋和大量數據,使我們認識到不能對非科學化的方案太有自信。

科學化測試為科技公司帶來了巨大回報,直接的實驗有助快速改進產品設計、減少資源浪費及更能追上潮流,這可能正好符合今天以網絡為中心的Z世代用戶群要求。

車品覺_紅杉資本中國專家合夥人、阿里巴巴商學院特聘教授暨學術委員會委員