由於神經網路大小與訓練資料數量越來越龐大
所以分散式訓練已經成為機器學習的趨勢
其中 Tensorflow 的參數更新的方式是使用 parameter server 來作為權重更新的機制
不同框架的比較
以下是在知乎上很完整的介紹
最近比较火的parameter server是什么？
論文 Parameter Server for Distributed Machine Learning
論文作者本人李沐的介紹頁面
動畫解釋
另一篇【深度学习&分布式】Parameter Server 详解
看完這兩篇
對於參數服務器會有更深入的認識
沒有留言:
張貼留言