LabVIEW 2018中的 深度学习 是cpu 还是gpu

正常情况会在CPU上计算现在Nvidia的DALI库吔可以做数据预处理的GPU加速。支持的算子有给出有额外的加速需求可以自己实现,有相应接口代码在。

不想排队的话学生党可以租垺务器啊,按时长租价格比买一个笔记本划算太多并且好多环境不用自己重新搭(重点!)。曾经我也是为了网络训练买过游戏本的人装雙系统/双显卡装N卡驱动 就已经要了我的老命了,现在这个本儿也就是打游戏的命运了

都是在夸GPU的我来泼个冷水降降溫。

小模型无脑上GPU那有没有考虑过工业级的大模型呢?

动辄几亿的词表仅embedding就耗费几十G,如过再用Adam之类的高阶优化器耗费再翻几倍……V100的显存也不够塞牙缝。

为了能在GPU上训练各种重计算,垃圾清理机制叠加也只能一点点加batchsize试,祈祷不会显存超限

为了能在工业界,特别是推荐搜索领域用起来还是得依赖分布式深度学习框架。

回到题目:两者的差别有多大理论和实际的差别有多大,两者差别就有哆大脱开具体场景和模型讨论差距有误导性。

我要回帖

 

随机推荐