TensorFlow 与 Apache Spark 结合：雅虎开源“TensorFlowOnSrk”

　　众所周知，深度学习有海量数据需求。雷锋网了解到，许多业内公司利用 Spark 对超大规模的数据集进行管理。让深度学习框架直接、方便地获取这部分数据，将为 ML 开发提供极大助力。

　　雅虎在官方博客中宣布了这一消息，并解释了此前雅虎 Big ML 开发团队遇到的问题：

　　“现有的深度学习框架，往往需要设立单独的深度学习数据组。这强迫我们为同一个机器学习流水线创建多个程序。维护多个独立的数据组，要求我们在它们之间传输海量数据集——这导致不必要的系统复杂性和端到端的学习延迟。”

　　为解决这一问题，雅虎此前开发了 CaffeOnSpark。它使得基于 Caffe 机器学习框架开发的程序，能与 Apache Spark 兼容。雷锋网了解到，雅虎已将基于 CaffeOnSpark 的程序，用于鉴别搜索中的不恰当搜索结果，以及自动探测电子竞技游戏直播视频中的关键看点。

　　雅虎去年开源了 CaffeOnSpark。如今它对 TensorFlow 做了同样的工作。两者的原理几乎相同，只是把机器学习框架换成了 TensorFlow。

　　雷锋网获知，雅虎会持续为 TensorFlowOnSpark 和 CaffeOnSpark 提供支持，并欢迎开源社区对两者进行改进。对于 TensorFlowOnSpark 工作原理的详细解释，请参考雅虎博客。

　　谷歌刚发布的深度学习动态计算图工具TensorFlow Fold是什么？球速体育