有一段長時間，美國的零售企業很盛行通過直郵廣告來招攬顧客，他們以不同小區（郵寄編號）作為顧客分群，用隨機方式進行內容測試和數據追蹤，找出潛在顧客的商品及價格偏好。銷售傳單（Promotional flyer）為實驗經濟學中早期採用的宣傳策略之一，在一次實驗中，零售公司為其商品在宣傳單張中的價格變化進行實驗，想知道改用9字結尾的價格（譬如19元、29元）會否帶來更高銷量。他們把傳單前端和末段的商品價格改成9字尾，其餘項目價格則保持不變；結果研究人員發現，9字結尾的價格更能提升銷量。
近10年來，科學化測試已成為科技行業管理決策的標準組成部分，科企不僅用該方法協助商業決策，它也變成重要的企業文化，特別是產品功能設計上，與其爭論不休，倒不如聽取客戶在實驗中的答案。然而採用此方法前，筆者想先列出一些常見問題：
局限一：測試者數量不足
如果實驗的樣本量太少，即使兩個隨機分配的組別之間存在巨大差異，得出的實驗結果仍可能與現實不符，這也可歸因於噪聲。例如︰從小量樣本的測試者中，看到拋硬幣連續拋出兩次正面，就得出言之鑿鑿的推論，斷定該枚銀幣有問題。
局限二：隨機化很難實現
若未能做到徹底的隨機化，就難以知道被測試的因素是否真正導致了實驗揭示的結果。相比真實環境，互聯網平台更容易操控客戶所看到的內容，譬如向某些用戶展示網頁的一種設計，另向其他用戶展示另一款設計，然後跟蹤不同設計之間的用戶行為差異。
局限三：需要大量數據來衡量實驗效果
數據缺乏一向是主要的實驗壁壘，由於評估實驗的效果須測量相關的數據結果──這可能既昂貴又複雜。數碼時代使跟蹤數據變得容易，至少有利於項目的成本及效益管理。
局限四：低估決策者的不可預測性
當人們認為決策者的行為非常穩定、可預測時，往往會低估實驗的複雜度。心理學的一大貢獻是使人們更深入地了解決策者思維的脆弱性、環境特異性和敏感性。
局限五：猜測效果的能力時過於自信
在做決定時，我們往往未能意識到自己的直覺是多麼的偏離軌道，而過度自信會導致管理者單憑直覺行事，而非通過實驗來確定最佳行動方案。對產品的快速反饋和大量數據，使我們認識到不能對非科學化的方案太有自信。
科學化測試為科技公司帶來了巨大回報，直接的實驗有助快速改進產品設計、減少資源浪費及更能追上潮流，這可能正好符合今天以網絡為中心的Z世代用戶群要求。
車品覺_紅杉資本中國專家合夥人、阿里巴巴商學院特聘教授暨學術委員會委員