量化決策，正成為企業(yè)在數(shù)智化浪潮中掌握方向的必備之舵。
作為量化決策的關(guān)鍵工具，A/B實(shí)驗(yàn)?zāi)軌蛲ㄟ^科學(xué)的實(shí)驗(yàn)鏈路，對特定策略進(jìn)行效應(yīng)評估，從而支持企業(yè)在業(yè)務(wù)場景中實(shí)現(xiàn)高效歸因與精準(zhǔn)決策，用數(shù)據(jù)找到推陳出新的最優(yōu)解。這也是火山引擎數(shù)據(jù)飛輪模式所提倡的——用數(shù)據(jù)消費(fèi)實(shí)現(xiàn)決策環(huán)節(jié)的科學(xué)與智能。
作為行業(yè)內(nèi)領(lǐng)先的量化決策的工具，火山引擎A/B測試DataTester孵化于有著濃厚的A/B實(shí)驗(yàn)文化的字節(jié)跳動。在字節(jié)內(nèi)部，DataTester覆蓋了字節(jié)內(nèi)部500多個業(yè)務(wù)，平臺上共有超240萬個實(shí)驗(yàn)，其中同時(shí)運(yùn)行的實(shí)驗(yàn)超5萬個，從實(shí)踐中沉淀了一站式實(shí)驗(yàn)管理與場景化特型實(shí)驗(yàn)等全方位實(shí)驗(yàn)?zāi)芰Α?/p>
業(yè)務(wù)場景復(fù)雜化、多元化的趨勢，打破了沿用傳統(tǒng)假設(shè)檢驗(yàn)框架的慣性。邊際收益、干涉效應(yīng)、自動實(shí)驗(yàn)配置以及隨機(jī)實(shí)驗(yàn)盲區(qū)等一系列伴生于業(yè)務(wù)快速發(fā)展的新挑戰(zhàn)，促使DataTester邁向超越傳統(tǒng)假設(shè)、拓展邊界的創(chuàng)新之路。
在邊際收益方面，DataTester技術(shù)團(tuán)隊(duì)通過提升敏感度指標(biāo)，推出增強(qiáng)版CUPED方法，從而對上新策略的真實(shí)效應(yīng)進(jìn)行準(zhǔn)確度量。在相同樣本量下，可準(zhǔn)確度量出較之原來小20%的真實(shí)效應(yīng)度，為業(yè)務(wù)提供更精確的助力。
為應(yīng)對干涉效應(yīng)挑戰(zhàn)，DataTester技術(shù)團(tuán)隊(duì)基于并行化的Leiden算法，快速處理億級用戶的復(fù)雜社交網(wǎng)絡(luò)，完成基于社交圈的聚類分流。此外，團(tuán)隊(duì)對傳統(tǒng)A/B實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了統(tǒng)計(jì)修正和調(diào)整，基于馬爾科夫過程和強(qiáng)化學(xué)習(xí)，解決了市場雙邊關(guān)系和間接干涉場景問題。自動實(shí)驗(yàn)配置方面，實(shí)驗(yàn)平臺則加入了遷移學(xué)習(xí)的貝葉斯黑盒調(diào)參。
在應(yīng)對策略分配不均等隨機(jī)試驗(yàn)盲區(qū)問題時(shí)，實(shí)驗(yàn)平臺采用觀察因果推斷作為傳統(tǒng) A/B 測試的替代工具。相較于后者，因果推斷通常為全量采樣，數(shù)據(jù)采集成本更低，但后續(xù)的分析、解讀和溝通成本卻更高。有鑒于此，DataTester技術(shù)團(tuán)隊(duì)優(yōu)化了觀察因果推斷過程，著力于提升穩(wěn)健性與降低風(fēng)險(xiǎn)，為用戶提供盡可能自動化的、支持觀察因果推斷的分析工具，以保證在高結(jié)論質(zhì)量下進(jìn)行精準(zhǔn)決策。
在實(shí)踐中，中小型業(yè)務(wù)是因果推斷這一工具的重要落地場景。對中小型業(yè)務(wù)而言，在脫離高速成長期后，往往會面臨用戶數(shù)不足、實(shí)驗(yàn)結(jié)果不顯著的困境，而因果推斷正是適配解法。目前，火山引擎A/B測試的因果推斷工具已落地游戲、本地生活、電商以及互娛體驗(yàn)等行業(yè)的中小型業(yè)務(wù)，未來還將進(jìn)一步探索更多落地場景。
DataTester能幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)飛輪驅(qū)動下的降本增效。“數(shù)據(jù)飛輪”是火山引擎基于字節(jié)跳動數(shù)據(jù)驅(qū)動的實(shí)踐經(jīng)驗(yàn)，所提煉的企業(yè)數(shù)智化升級新模式。它倡導(dǎo)企業(yè)擴(kuò)大數(shù)據(jù)消費(fèi)，將數(shù)據(jù)消費(fèi)貫穿到企業(yè)的各個業(yè)務(wù)場景中，從而實(shí)現(xiàn)數(shù)據(jù)流與業(yè)務(wù)流的充分融合，最終實(shí)現(xiàn)業(yè)務(wù)價(jià)值的提升。
目前，數(shù)據(jù)飛輪已在互聯(lián)網(wǎng)、金融、消費(fèi)、汽車等多個行業(yè)歷經(jīng)實(shí)踐，它為企業(yè)帶來一種數(shù)據(jù)賦能業(yè)務(wù)的新視角，加速企業(yè)數(shù)智化轉(zhuǎn)型。
本文轉(zhuǎn)載自：，不代表科技訊之立場。原文鏈接：http://zl.yisouyifa.com/html/240820/1529111960333863.html
