歡迎光臨
每天分享高質量文章

做決定前別拍腦袋:兩個成功案例看懂A/B測試

你的假期已餘額不足

這些天你都幹嘛了?

宅在家裡吃吃喝喝?

去旅游景點看人?

走親訪友接受靈魂拷問?

其實,你的假期可以不那麼無聊

這是一個靜下心來開啟深度閱讀的好機會

大資料(ID:hzdashuju)在長假期間

將推送6篇入門級科普,包括:

未來世界 | 健康生活 | 電動汽車

無人駕駛 | AI凜冬 | A/B測試

在豬年的最開頭

來一波高能充電!

今天是我們一起充電的第6天

 

導讀:資料分析的本質思想就是考據,對事情進行科學考據分析。

對待每一個觀點,是要經過互相考據,才能成立,而不是自我想象。這種科學的認知機制,同樣可以取用到做產品上來,促進產品的務實化。

最好的學習方法就是找到方案和原理,然後在具體行動過程中考證。大膽地假設,小心地求證。

 

 

作者:彭耀

如需轉載請聯繫大資料(ID:hzdashuju)

 

 

01 建立A/B測試

 

我們再來看一個故事。

 

二戰時英國空軍為了降低飛機的損失,決定給飛機的機身進行裝甲加固。由於當時條件所限,只能用裝甲加固飛機上的少數部位。他們對執行完轟炸任務返航的飛機進行仔細的觀察、分析、統計。發現大多數的彈孔,都集中在飛機的機翼上;只有少數彈孔位於駕駛艙。從資料上說,加固機翼的性價比最高。

 

但實際情況缺恰恰相反,駕駛艙才是最應加固的地方,因為駕駛艙被擊中的飛機幾乎都沒能飛回來。“發聲”的資料是最好獲取的,但如果沒把這些沉默的資料考慮進來,那麼這種資料分析是不靠譜的。所以除了資料的結果,還得嘗試解讀這些資料。而解讀資料就完全依賴人了。

 

人們在做出判斷的時候,經常只會看見一個區域性的點,而錯失了真相。大部分的產品認知,和這個故事所闡釋的幾乎一樣,就是人們看到了一點,就做出了一個新的判斷,而事實並不是這樣。

 

所以資料是一個系統工程,人們在採取行動之前,需要先進行測試。資料分析的方法,也是同樣的原理,資料分析實踐的四個關鍵步驟:

 

指標——>假設——>試驗——>行動

 

這和做學問的基本原理是一致的。通過打造A/B測試平臺,來驗證觀念。

 

A/B測試是為Web或App界面或流程製作兩個(A/B)或多個(A/B/n)版本,在同一時間維度,分別讓組成成分相同(相似)的訪客群組隨機的訪問這些版本,收集各群組的用戶體驗資料和業務資料,最後分析評估出最好版本正式採用。

 

用戶A/B測試

 

A/B測試的好處,主要如下:

 

  1. 消除客戶體驗(UX)設計中不同意見的紛爭,根據實際效果確定最佳方案;

  2. 通過對比試驗,找到問題的真正原因,提高產品設計和運營水平;

  3. 建立資料驅動、持續不斷優化的閉環過程;

  4. 通過A/B測試,降低新產品或新特性的發佈風險,為產品創新提供保障。

 

A/B測試的一般步驟如下:

 

步驟1:找出優化指標

 

要重點關註第一關鍵指標,要確定優化指標是留存率、轉化率、病毒性分享率,還是營收類指標等。這個指標的選擇尤其關鍵,不同指標的選擇會導致不同的行動。

 

步驟2:提出假設

 

這種假設,是來自運營,來自增長團隊的靈感。可能會是一次具體的推廣、一次價格的調整、一個操作的優化、一個界面按鈕的位置調整、一個圖片的修改、一個文案的推出、一個新功能的推出等。

 

步驟3:創建試驗

 

找出標的受眾,確定試驗內容與試驗標的,並且確切地瞭解到試驗的標的能夠幫助到他們,對他們是有價值的。

以MVP或者在線功能等方式分析試驗的結果。

 

步驟4:具體行動

 

當結果清晰以後,就知道試驗是不是成功的,如果成功就可以在更大的群體中使用。如果不成功,就繼續假設,繼續試驗。

 

 

02 A/B測試的兩個案例

 

我們來看一些具體的示例,看他們是如何建立自己的A/B測試。

 

1. Airbnb資料分析決策實踐的故事

 

2007年,住在美國舊金山的兩位設計師——Brian Chesky與Joe Gebbia正在為他們付不起房租而困擾。為了賺點外塊,他們計劃將閣樓出租出去。傳統的做法是在網站發帖子,但因為感覺在網站發帖子太冷冰冰了,所以就自己動手建了一個網站。

 

當時城裡正好舉辦一個設計展,周邊的旅館都被訂滿了。他們便很快搭建好了一個簡易的網站,開起了“家庭旅店”的生意。網站上包含地板上擺放的三張空氣床墊的照片,以及供應家庭自製早餐服務的承諾。很快他們獲得了3個租客,每位支付了80美金。

 

一周後,他們開始陸續收到世界各地人們的電子郵件,詢問何時能在世界其他熱門旅游目的地享受這樣的服務,包括布宜諾斯艾利斯、倫敦、日本。於是他們將這一做法複製到其他大型集會,並允許人們通過信用卡在線支付。

 

在2008年民主黨全國集會期間,奧巴馬在科羅拉多州的丹佛發表十萬人演說。當時全市只有三萬餘個旅館房間,於是Airbnb適時地選擇再度在公眾面前高調曝光,一度獲得了極高的流量和關註,促使Airbnb快速發展。

 

但是,發展的過程中並沒有那麼順利。在2012年一次產品大會上,產品主管喬·扎德向大家講述了Airbnb的曲折歷程,尤其介紹了公司的專業攝影服務。在發展過程中,Airbnb就是根據資料分析實踐的四個環節來試驗的,尤其以攝影服務為代表。

 

主要包括如下四個步驟:

 

  • 步驟1:找出優化指標

 

Airbnb 想優化的指標是房屋租賃天數。因為只有房屋租賃出去了,對於房東來說,才是最關鍵的事情。所以就要解決房屋預訂量問題。那到底要怎麼做呢?不知道。

 

2010年,Airbnb通過資料分析,看到紐約的房源量一直不斷增長,但是訂單量卻沒有增長。按正常應該是同比增長,為了找到原因,Airbnb創始人飛到紐約,去找房東一家家溝通,以便找到問題的關鍵所在。

 

經過交流之後發現,原來房東都是直接用手機來拍攝房子,而且不同人拍的效果也不同,有的比較好的漂亮房子拍出來的效果卻很一般,整體的房源照片都不是太好。

於是他推斷,這有可能是導致用戶不選擇入住的重要原因。因為現在用戶對於居住的要求越來越高,照片如果效果不好,用戶的居住意願就會降低。

 

  • 步驟2:提出假設

 

根據實際觀察,發現熱門租住房屋的照片看起來更專業,常見的投訴是房子的照片和實際上不一樣,人們在看了照片之後就放棄了。

 

於是,就有了一個初步的假設,是不是圖片越好看,房子租得越好?更深入的一種假設,即“附有專業攝影照片的房源要更搶手”。這一假設出自Airbnb創始團隊的直覺,他們感覺專業攝影服務將有助於業務的開展。

不過,他們並沒有立即將想法付諸實踐,而是由主動來分析,以MVP的方式來驗證假設。

 

  • 步驟3:實驗

 

最終方案是由Airbnb一家家去拍成漂亮圖片,並標準化尺寸,逐步批量上傳到網站上去。MVP最初的測試表明,附有專業攝影照片的房源所獲訂單數是市場平均值的2~3倍。這驗證了創始團隊最初的假設。

 

  • 步驟4:行動

 

到了2011年下半年,Airbnb雇用了20名專業攝影師,以幫助平臺上的房主拍攝房屋照片。幾乎就在同一時間段,Airbnb的訂單量呈現出了我們常說的“曲棍球棒曲線”式的增長。

▲20人的攝影團隊加之房主的空閑房屋,訂單訪問量大增

 

結果是,一個月左右,訂單量翻了2倍。就這樣以紐約為範本,往各地複製,整個網站的訂單量都獲得了大幅提升。Airbnb培養了一支專業的攝影隊伍,為房源提供了專業漂亮的圖片,自此以後Airbnb獲得了快速發展。

 

▲Airbnb旅行中,像當地人一樣生活

 

七年之後,Airbnb享譽全球,其夜間租住的房間預定量甚至一舉超過了酒店巨頭希爾頓。

 

Airbnb的資料驅動文化,是提出假設,從假設開始演繹,獲得方案,並通過資料來驗證,以此來為決策提供依據。每一個決策都應該通過資料來驗證。

 

2. Pinterest的資料分析實踐

 

Pinterest是美國的一個圖片分享類社交網站,Pinterest(Pin+Interest)意為把自己感興趣的東西用圖釘釘在釘板(PinBoard)上,用戶可以按主題添加和管理自己的圖片收藏,並與好友分享,頁面底端自動加載無須翻頁,可讓用戶不斷發現新圖片。

 

Pinterest就是家庭婦女和歐美主婦的天堂,它是一家以興趣為基礎的社交網絡,通過圖片牆Pinboard發佈圖片。Pinterest以圖片瀑布流展示圖片。2011被評為“美國最受歡迎的十大社交網絡”,並以月增長45%的速度趕超Google+,成為了2011年美國社交網絡中的一匹黑馬。

    

▲Pinterest手機端

 

作為一家資料驅動的公司,Pinterest非常依賴試驗來指導產品和功能迭代。Pinterest建立了一個支撐日均1000+次試驗的A/B測試平臺。隨時都有大約1000個試驗在進行,並且試驗的數量每天都在增加。

 

因為試驗數量和相應記錄資料的持續增加,為了讓試驗更加簡單方便,於是向工程師提供一個可靠易用的A/B測試平臺。 

 

測試平臺可以達到如下標的:

 

  1. 通過初始設置創建試驗,建立假說,記錄驗證該假說的方法。

  2. 將試驗披露給 Pinners ,增加新群組和禁用組,通過篩選器來優化用戶。

  3. 結束試驗時,將代碼提交給所有的 Pinners ,或者回滾代碼並記錄試驗結果(根據試驗結果決定提交新代碼或回滾)。

 

這個平臺非常方便業務和分析團隊快速做測試,幫助他們檢查規劃與假設,查看關鍵結果,以及觸發邏輯,結果驗證等。

 

關於作者:彭耀,象形科技聯合創始人兼CTO,典型的產品型和技術型管理者。資深的大資料專家、人工智慧專家和產品專家,有近20年的開發和產品經驗。

本文摘編自《升維:爭奪產品認知高地的戰爭》,經出版方授權發佈。

延伸閱讀《升維:爭奪產品認知高地的戰爭

點擊上圖瞭解及購買

轉載請聯繫微信:togo-maruko

推薦語:產品型管理者和創業者必讀書,從認知格局、體系和方法論三個層面為升維產品認知提供科學指導。從100餘位世界高級產品型創始人和管理者的產品認知中總結出1幅全景認知畫布、5大認知升維工具,9大類40項高維認知,200個精彩產品案例。

赞(0)

分享創造快樂