当前位置主页 > 行业软件 >

有了这款可扩展、分布式的深度学习软件,IBM就能和AI巨人一起共舞

        2018-01-06 来源:网络整理

IBM公司在21世纪早期引进了Watson,从而进入了人工智能现在的周期,并且从那时候开始在不断加大力度。最近,IBM发布了PowerAI,IBM的软件工具包解决方案与OpenPower系统配合使用,针对那些不想完全从头开始开发自己的AI解决方案,但是仍然希望定制满足自己特定深度学习需求的企业。如今,IBM Research公布了一项新突破,这将只会进一步加强PowerAI和其它的AI产品,这是一个在过去六个月中我所看到的突破性的分布式深度学习软件。

摆脱单点瓶颈

所有一直关注人工智能的人都知道,深度学习在近几年才真正发展起来。它为商业领域和消费者的百个应用程序提供支持,并且在持续增加。然而,阻碍深度学习进一步激增的最大问题之一是可扩展性问题。现在大多数AI服务器只是一个单一的系统,,而不是多个系统的组合。最流行的开源深度学习软件框架在多个服务器上表现不佳,造成了一个耗时的瓶颈。换句话说,尽管许多数据科学家已经可以访问4到8个GPU服务器,他们不能利用它扩展到单个节点之外,到目前为止,这个软件并不是为此而设计的。


输入IBM DDL库:这个库使用IBM Research的独特集群方式构建,连接到领先的开源AI框架(如:TensorFlow, Caffee, Torch, 和Chainer)。通过DDL,这些框架能扩展到数十台IBM服务器,利用数百个GPU—一种旧的昼夜不同的处理模型。为了描绘一张照片,当IBM最初试图用 ImageNet-22K 数据集来训练一个模型时,使用ResNet-101模型,在一台Power “Minsky” 服务器上,加上4台英伟达P100 GPU加速器,花费16天。16天的训练意味着大大延迟了洞察力,以及严重阻碍生产力。


IBM称DDL为“深度学习的喷气式引擎”—一个吸引人的名字,确实不太离谱。IBM表示,使用DDL技术,能够在64台Power “Minsky”服务器上,一共256个英伟达的P100GPU,将相同的流程缩减到7个小时。让我重申一下:16天缩减到7个小时。如果这些结果精确的话,那么为什么IBM认为它可以真正的改变游戏规则?在7个小时内,IBM的新的图像识别准确度33.8%的记录,超过了微软在业界创立的10天精确度29.9%的记录。为了完成这一切,IBM表示,DDL可以高效扩展,上升到256个GPU,Caffe深度学习框架的效率提升到95%。

测试版已经上线

开发者不用非要等到尝试这项新技术。IBM research正在为IBM系统提供一个DDL测试版,IBM系统现在已经发布了新版本IBM PowerAI (TensorFlow 和 Caffe,  Torch 和 Chainer 即将推出)的第四个版本。我认为这将是IBM电源系统的一个重要的补充,他被称作“瑞士军刀加速器”—标准PCI Express、CAPI和NVLink标准,都被封装在一个平台上。


关于DDL,另外一个需要特别注意的是,它将不仅可以在本地使用,还可以在云端使用—通过云端服务商Nimbix提供。今天的异构环境,灵活性是显而易见的。开发者能够在Nimbix者在IBM Power系统服务器上,使用测试版本。

总结

很有意思的事情是,这项新技术是来自于IBM,而不是其它如谷歌或者Facebook,这样更大更响亮的AI组件支持者。看起来,IBM能够继续携“第一”到桌面上,IBM不仅是企业领的主要参与者,还在深度学习领域也是。DDL和OpenPOWER是秘密资源—我相信未来将给IBM所需要的结果—大大缩短训练时间,提高精确度和效率。我认为消除了瓶颈,DDL有潜力去实现打开深度学习的门闸。这对IBM、PowerAI和OpenPOWER是真正改变游戏规则。

推荐图文