谷歌推出TpuGraphs訓練數據集，可強化AI模型深度學習能力

IT之家 12 月 21 日消息，谷歌日前推出一款名為 TpuGraphs 的模型訓練數據集，主要用于“優化編譯器”、“提升 AI 深度學習能力”。

▲ 圖源 谷歌博客（下同）

谷歌指出，當下 AI 深度學習系統通常使用 TensorFlow、JAX、PyTorch 等框架訓練而成，這些框架主要通過底層編譯器的啟發式算法（Heuristic Algorithm）優化模型，而在相關編譯器中運用“學習成本模型”，即可改善編譯器的性能，并提升最終輸出模型的深度學習能力。

IT之家獲悉，谷歌推出的 TpuGraphs 數據集正是一款“學習成本模型”，這款數據集的內容主要來自各種開源深度學習程序，涵蓋多種熱門模型架構，例如 ResNet、EfficientNet、Mask R-CNN 和 Transformer 等。

與業界競品相比，谷歌 TpuGraphs 數據集“平均圖大小”相比業界訓練集大了 770 倍、“圖數量”則是對了 25 倍。谷歌聲稱，為編譯器應用 TpuGraphs 數據集可有效解決最終輸出的模型“可擴展性”、“效率”和“質量”等問題。

此外，谷歌還介紹了一種名為 GST（Graph Segment Training）的模型訓練方法，允許在 RAM 有限的設備中訓練大型圖神經網絡。該方法號稱能夠令模型“端到端訓練時間”加速 3 倍，有效提高模型訓練效率。