騰訊開源數(shù)據(jù)組件Fast-Causal-Inference，用于分布式向量化統(tǒng)計(jì)

IT之家 9 月 18 日消息，騰訊在其公眾號“騰訊開源”中宣布，旗下開源分布式數(shù)據(jù)科學(xué)組件項(xiàng)目 Fast-Causal-Inference 目前已經(jīng)在 GitHub 中公布。

▲ 圖源 “騰訊開源”公眾號

據(jù)悉，這是由騰訊微信研發(fā)，采用 SQL 交互的，基于分布式向量化的統(tǒng)計(jì)分析、因果推斷計(jì)算庫，據(jù)稱“解決已有統(tǒng)計(jì)模型庫 （R / Python) 在大數(shù)據(jù)下的性能瓶頸，提供百億級數(shù)據(jù)秒級執(zhí)行的 Causal inference 能力，同時(shí)通過 SQL 語言降低統(tǒng)計(jì)模型使用門檻，易用于生產(chǎn)環(huán)境中，目前已在微信視頻號、微信搜一搜等微信內(nèi)部多個(gè)業(yè)務(wù)進(jìn)行了應(yīng)用。”

官方介紹：

提供海量數(shù)據(jù)秒級執(zhí)行的 Causal inference 能力

基于向量化 OLAP 執(zhí)行引擎 ClickHouse / StarRocks，速度上更益于極致化用戶體驗(yàn)。

極簡的 SQL 使用方式

SQLGateway WebServer 通過 SQL 語言降低統(tǒng)計(jì)模型使用門檻，并在上層提供極簡的 SQL 使用方式，透明做引擎相關(guān)的 SQL 展開和優(yōu)化。

提供基礎(chǔ)算子、高階算子的因果推斷能力，及上層的應(yīng)用封裝

支持 ttest, OLS, Lasso, Tree-based model, matching, bootstrap, DML 等。

IT之家同時(shí)得知，官方表示，首個(gè)版本已經(jīng)支持如下特性：

基礎(chǔ)因果推斷工具

• 基于 deltamethod 的 ttest，支持 CUPED

• OLS，億行數(shù)據(jù)，亞秒級

進(jìn)階因果推斷工具

• 以 OLS 為基礎(chǔ)的 IV，WLS，以及其他 GLS，DID，合成控制，CUPED，mediation 正在孵化

• uplift：千萬數(shù)據(jù)分鐘級別運(yùn)算

• bootstrap / permutation 等數(shù)據(jù)模擬框架，解決沒有顯示解的方差估計(jì)問題

參考