導語：相信對於很多剛入門的分析師小白來說，評估活動效果、洞察業務機會，是所有工作中最可以體現價值感的事情，但也可能是令我們最頭疼的事情。本文作者基於自身淺薄的工作經歷，結合一個實際的運營活動，對活動評估中可以複用的數據分析套路進行總結和整理，希望能夠給初接觸數據分析的同學帶來幫助。
一、活動背景
伴隨著移動互聯網用戶的增速越來越趨於飽和，用戶增長的破局方法不得不從拉新獲客轉換為如何促活存量用戶。
通過第三方廣告媒體app（比如微信、抖音等）投放針對老用戶的素材對用戶促活，已經成為很多公司用來提升存量老用戶活躍度的有效方法（後續會統稱為“渠道拉活”）
某公司的市場投放部門也開始投入預算試水「渠道拉活」這一項目，在項目啟動一段時間後，已經回收累積了大量的用戶數據，但是：
渠道拉活對於DAU的帶動貢獻究竟有多大？
是否值得持續投入更多的資源？
活動情況的ROI如何？是否符合預期？
這些領導和業務方非常關注的問題，需要分析師基於數據給出公正和客觀的答覆。
二、分析框架和指標體系
1. 分析框架
活動整體增量效果評估
ROI 核算
參活用戶質量評估
2. 指標體系
（1）流量規模
數據指標：
DAU
參與活動的用戶數（舉例：渠道拉活成功召回的用戶數）
通過活動首次調起app的uv（舉例：通過渠道拉活首次調起app的uv）
通過活動首次調起app的uv佔day的比例（舉例：通過渠道拉活首次調起uv的dau佔比）
可解決的問題：
觀察促活的核心指標DAU是否達到預期目標；
評估渠道拉活能夠召回的用戶量級有多大；
評估對DAU的淨增量貢獻有多大；
（2）用戶質量
數據指標：
留存率（次日回訪率、7日回訪率、30日回訪率）
日均使用時長
核心功能滲透率
核心功能人均PV
人群畫像（性別、城市、消費能力）
可解決的問題：
評估渠道召回用戶的質量
監測是否存在刷量作弊渠道
（3）用戶行為
數據指標：
站外轉化漏鬥（舉例：廣告曝光-廣告點擊-成功調起app-deeplink抵達特定頁面）
站內核心行為的轉化漏鬥（舉例：活動頁-列表頁-詳情頁）
可解決的問題：
評估用戶從站外渠道到抵達App的路徑是否順暢，發現產品bug或者可以改善的機會點
評估活動的站內承接策略是否合理
三、分析過程
1. 活動效果評估以及活動ROI分析
在量化DAU (或者活躍天數) 貢獻時，需要減去用戶的自然活躍量，即計算“淨增量”貢獻。該貢獻可以分為當日貢獻和長期貢獻。
當日貢獻是指：當日的召回用戶對於當日DAU的增量貢獻
長期貢獻是指：由於召回用戶的後續迴流，在後續特定時間範圍還會持續貢獻的用戶天數增量。比如，活動後的50個參與用戶，在後續30天內人均活躍天數比活動前提高10天，那麼促活的增量貢獻就是1500天。
不得不承認，AB實驗最擅長處理歸因和量化的問題。它的思想是，將流量隨機分為數量均勻和特徵均勻的兩組（即對照組和實驗組），實驗組用戶只有在產品策略上與對照組不同，因此我們可以認為兩組用戶在同一時間維度上的指標差異，可以完全歸因於策略上的差異。
然而，該廣告拉活項目無法設計對應的AB實驗，但我們可以基於AB測試的思想，構造與實驗組“相似”的用戶群體作為對照組。具體過程如下：
將拉活渠道喚起app的用戶作為實驗組，未曾被拉活召回的存量用戶作為對照組；
選取可能影響用戶未來活躍度的特徵（比如機型、新增渠道、歷史活躍度、…），基於“特徵相同”的原則，對兩組用戶劃分為 N 對實驗組和對照組。注意儘量將特徵通過區間離散化，避免劃分出的某一組落入的樣本數過少，導致兩組樣本的指標差異不可信，比如特徵「新增日期間隔」可以離散化為：7天內、8-14天、14天以上；
計算 N 對實驗組和對照組的每一組的指標差異值，以及實驗組的總指標差異（等於每一組指標差異*人群佔比的相乘結果求和）
通過以上方法，可以計算出拉活對於當日DAU的貢獻、以及拉活對於未來30天DAU的總增量貢獻。
實際上，對於拉活對DAU的單次短期貢獻，有更為簡便的方法，即基於“首次歸因”的思想，通過“拉活首次調起app的uv”進行量化評估，即如果用戶多次啟動過app，那麼只有當通過促活廣告首次調起app了，才會計入到促活廣告的功勞。
值得一提的是，首次歸因的方法也可以應用至“產品新上線功能評估”的效果量化中，通常我們可以將“啟動app後首次訪問該功能的用戶量”作為該功能對dau的淨貢獻量
對於活動成本的核算，我們可以通過 “總成本消耗量 / 總DAU增量”，計算每個DAU增量的成本，以評估ROI是否符合預期。
2. 用戶行為分析、和用戶質量評估
可以以「大盤未參活用戶」、「同期同類活動」、「往期同類活動」分別作為對比基準，基於用戶行為漏鬥、留存率、核心行為pv、人均使用時長等指標，識別本次促活策略是否有薅羊毛或者作弊嚴重的渠道，並評估活動拉來的用戶質量好壞。但這裡不作為本次分享重點，因此不再展開贅述。
四、結語
作為數據分析師，實際工作中遇到的促活策略往往是五花八門，但是活動效果好壞的評估過程依然是有章可循的。最後，簡單總結下本文對於後續活動評估的可複用之處：
如何構建活動評估的指標體系；
如何量化歸因活動的短期貢獻（即“首次歸因”法）；
如何在無法開展AB測試的情況下，通過構造對照組的方式，快速地量化評估長期的增量貢獻；
本文由 @郝笑笑 原創發佈於人人都是產品經理，未經許可，禁止轉載
題圖來自Unsplash，基於 CC0 協議
轉載請超鏈接註明：頭條資訊 » 案例分享：如何量化分析運營活動的活動效果
免責聲明
：非本網註明原創的信息，皆為程序自動獲取互聯網，目的在於傳遞更多信息，並不代表本網贊同其觀點和對其真實性負責；如此頁面有侵犯到您的權益，請給站長發送郵件，並提供相關證明(版權證明、身份證正反面、侵權鏈接)，站長將在收到郵件24小時內刪除。