i Jeff Dean 演讲TensorFlow幻灯片-TensorFlow开放社区-电子人社区 -

电子人社区

 找回密码
 立即注册

今日 : 0|主题 : 276|排名 : 302 
打印 上一主题 下一主题

Jeff Dean 演讲TensorFlow幻灯片

匿名用户  发表于 2016-12-17 20:21:05

[复制链接]
发表于 2015-11-24 17:27:59 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
电子人社区网讯:

 

                                                   转载请注明:电子人社区

7条回复
跳转到指定楼层
发表于 2015-11-24 19:41:44 | 只看该作者

Google CEO Sundar Pichai 在官方博客宣布开源自己的最新机器学习系统TensorFlow。Google资深系统专家Jeff Dean还在10月份的湾区机器学习大会做了演讲,题为《智能计算机系统的大规模深度学习》。这个开源的引擎可以使得全世界都能自由地分享底层代码。

TensorFlow是什么意思呢?Tensor就是张量,也就是N维数组;其本身采用的是DataFlow数据流模型。所以人工智能科技公司出门问问的NLP工程师李理形容TensorFlow为“张量从图的一端流动到另一端”。Google相信它可以加速人工智能的发展。

新版本新在哪?

据Dean所述,TensorFlow不仅非常适合深度学习,也同样适合是其他形式的人工智能,包括强化学习和逻辑回归。这也就是其与Google上一代的系统DistBelief的主要不同。DistBelief非常擅长深度学习并帮助Google在2014年赢得了重要的大型视觉识别的挑战。但是Dean说TensorFlow还要比之快上一倍。

还是先来介绍一下什么是深度学习。深度学习是一种日益强大的人工智能形式。通过分析某种事物成千上万的照片,这种人工智能技术就能学会识别该事物,哪怕是它从来没有见过的。比如猫和狗,树和云,鲜花和食物等等。

再来介绍一下深度学习的基本原理。深度学习依赖于近似人类的大脑神经元的神经网络系统。大致上是这样的,人们向系统输入海量数据,系统就学会执行一项任务。举例而言,给它们无数的早午晚餐的照片,系统就能学会认识一顿饭是什么样子的。给它们海量的口语,他们就能听懂你说什么。给它们海量的老电影的对话,它们就能进行一个对话,尽管不算完美,但是也不错了。

近年来,其他公司和研究人员在这人工智能方面也取得了巨大的进步,包括Facebook、微软和Twitter等等。他们中的一些已经开源了类似TensorFlow的软件。包括纽约大学研究者原创的Torch(这些人中的许多现在都在Facebook),也包括Caffe和Theano。但是Google这次的动作却更为显著,因为Google的人工智能引擎被人们认为是世界上最先进的。

Google使用c++编程语言建立底层TensorFlow。但在为这个人工智能引擎开发应用的过程中,程序员既可以使用c++也可以使用像Python这种最受深度学习研究者欢迎的语言。Google希望外界能够将TensorFlow扩大到其他语言的工具,包括Google Go,Java,甚至是Javascript,这样程序员就能掌握更多的构建程序的方式。

Dean的演讲的主要介绍了起始于2011年的Google大脑项目,各种万亿级的原始数据如何被系统自动消化;介绍了Google是如何快速训练大型模型系统,以及深度学习在Google有哪些显著的影响;着重介绍了第二代深度学习系统TensorFlow的开发初衷,应用例子以及性能优势。

Google如何保持优势?

深度学习创业公司Skymind的经营者克里斯·尼科尔森(Chris Nicholson)说:“只是一个很好玩的事情。Google领先了其他公司5-7年,而他们将工具开源,就会让其他所有人的机器学习做得更好。”

可以肯定的是,Google并没有给出所有的秘密。目前,该公司只是开源了这个人工智能引擎的一部分。他们只是分享了引擎顶部的一些算法,却不包含驱动引擎的先进的硬件底部代码(显然这部分是要收费的)。但Google至少给出了核心软件的重要数据,他们以前可从来没这么做过。

谷歌成为互联网最主导力量在很大程度上是因为其数据中心里独特而强大的软件和硬件,软硬件都能帮助运行所有的在线服务,这样就可以兼容来自全球各地的前所未有的数据和流量。通常情况下,Google直到开始使用下一代设计才会分享现有的软件。即便如此,他们也只是共享介绍其技术的研究论文,却并不开源其代码。这就是Google保持技术优势的方法。

然而这次的TensorFlow,Google显然更给力。这次的开源打包开放了一大堆东西。在开源工具里,谷歌将提供一些神经网络模型和算法的示例,包括识别照片模型,识别手写数字以及分析文本。Dean说:“我们将提供在公共数据集训练这些模型所需的所有算法。”Dean认为这次是一个相当大的转变,TensorFlow能帮助很多公司开创性的建立数据中心软件,包括Google文件系统,MapReduce和数据块定位。

根据Google工程师Rajat Monga的说法,TensorFlow在某些方面仍然绑定了Google的内部架构,这也就是为什么Google没有开放所有的TensorFlow。尼科尔森指出,你也可以打赌,Google保留一部分代码是为了维持其本身的优势。

然而,不少业界人士认为,Google这次开源的版本只是一个新的单机深度学习工具包,而市面上真正缺乏的能够支持大规模深度学习的分布式框架或系统,这次的TensorFlow并没有提供。Google也并没有提供测评数据显示TensorFlow想必已有的单机深度学习工具在性能上有哪些优势。出门问问CEO李志飞评价TensorFlow“对学术界意义不大,对工业界意义挺大”。

期待反馈

Dean说:“我们期待大家能接纳TensorFlow为众多机器学习算法中很好的一种,并能够通过众多不同的有趣方式来改善TensorFlow。”

谷歌并没有把这次的开源项目像以往其他的开源软件一样看成是独立第三方。谷歌本身会在网站Tensorflow.org管理该项目。Google在Apache 2许可下共享代码意味着任何人都可以按照自己的意愿免费试用代码。Dean说:“我们的许可条款应该足以说服大家,这真的是一个开放的产品”。

其他人可能不同意。深度学习创业公司DeepMind,尽管已经归Google所有,但还是在使用Torch。但至少,一个开源TensorFlow给开发者提供了更多的选择。这本身就是一件好事。

多伦多大学专攻深度学习的杰夫•辛顿教授的博士生Jimmy Ba表示:“在过去的三倒四年里,深度学习领域的公平竞争促进了许多库的建立,这些都使得研究人员能够更专注于他们的模型。所以人们其实不必担心潜在的软件工程”。

即使TensorFlow在手,建立深度学习应用程序仍然需要一些严格的工艺。但这也可能会在未来几年发生改变。Dean指出,谷歌深度学习开源项目和谷歌深度学习云服务不是相互排斥的。但在短期内,谷歌只对分享代码感兴趣。但与此同时,Monga认为这也将整体提高机器学习的水平,滋生各种各样的新想法。这些新想法仍然会找到它们的路线重新反馈会Google。“任何机器学习的进步,也会成为我们的进步”。


发表于 2015-11-25 09:51:25 | 只看该作者
真货+干货,感谢分享。
发表于 2015-11-25 15:05:27 | 只看该作者
Jennifer 发表于 2015-11-25 09:51
真货+干货,感谢分享。

真货+干货+科普
发表于 2015-11-25 15:11:01 | 只看该作者
关于Jeff Dean,还有一些趣事:

在谷歌加州山景城总部,除了拉里·佩奇(Larry Page)和谢尔盖·布林(Sergey Brin),真正的牛人工程师要数杰夫·迪恩(Jeff Dean)了。

下面是谷歌员工 Heej Jones 在 Quora 上发布的关于Jeff Dean的一则故事:

来谷歌上班前一天,一个朋友给Jeff发邮件介绍了我,所以在上班的第一周,我就邀请他共进午餐。

那时候,我并不知道他是谁,也不了解他在谷歌的情况。只是午饭时,我有注意到其他餐桌的人在盯着他看,也有一些人路过我们的餐桌时会窃窃私语。

慢慢认识了更多的朋友,我才知道关于Jeff Dean的一些传奇故事;一位朋友曾经惊呼道:“你和Jeff Dean 一起吃过午饭?!”。

Jeff Dean

谷歌员工都认为谷歌搜索惊人的速度都归功于Jeff Dean,因此他也成了谷歌的名人。

大家对他的崇拜到底有多深?

你有听过关于武术战神查克·诺里斯的一些笑话吗?就像“查克从不洗盘子,盘子会因为恐惧他,自动清洗的”或者“查克被商业航班拒载,因为他的拳头会将飞机击落”等等诸如此类的笑话。

江湖中有一大堆关于Jeff Dean的传奇故事,都是由崇拜他的(前)谷歌员工写的。如果你了解软件工程师,懂得程序员幽默的话,那你会觉得那些故事非常有趣。

有时遇到不理解的,我们也会请求 BI首席架构师Pax Dickinson为我们解释那些笑话。


“编译器从不会给Jeff Dean警告的,Jeff Dean会给编译器警告的。”

解释:当你的代码有误时,编译器会给出警告,但是Jeff比编译器还牛叉。


“Jeff Dean 提交代码前会编译和运行他的代码,只是为了检验编译器和链接器有没有问题。”

解释:Jeff 的代码从不出错,他编译代码只是为了确保编译器和链接器没有bug。


“Jeff Dean 每次只给一条腿穿裤子,但是如果他有很多腿,你会发现他穿裤子的时间复杂度为O(log n)”

解释:Jeff Dean 穿裤子的算法复杂度是对数级的而不是线性级的,这样的话,如果他有很多条腿的话,就会大大节约穿裤子的时间。


“当 Richard Stallman 听说Jeff Dean的自传专属Kindle平台,他就去买了Kindle。”

解释:Richard Stallman是著名的极力反对非自由软件的人,并且从来不购买和使用Kindle。但是Jeff Dean就是这样神奇,Richard会因为想要阅读Jeff的自传而去违背自己的原则。”


“Jeff Dean 是直接写二进制机器代码的,他写源代码,是为了给其他开发人员作参考。”

解释:所有的代码在执行前都要先编译成二进制机器码,Jeff是直接写二进制机器码的,他写源代码主要是方便其他程序员理解。


“Jeff来面试谷歌时,被问到等式P=NP成立的条件,他回答,P=0 或者N=1时成立。然后在面试官哈哈大笑的时候,他看了一眼谷歌公有证书,就直接在白板上写出了相应的私钥。”

解释:“P与NP一直是计算机科学领域的一个悬而未决的问题,但是 Jeff Dean把它想成了一个代数问题,他直接用大脑根据谷歌的公有证书算出了相应的私有秘钥,这在超级计算机看来,都是不可能的事。


“X86-64 规范有几项非法指令,标志着‘私人使用’,它们其实是为Jeff Dean专用。”

解释:私有的非法CPU指令是不能被任何人使用的,但是Jeff Dean 就可以用。


“Jeff Dean 进行人体工程学评估,是为了保护他的键盘。”

解释:通常评估人体工程学是纠正坐姿,保护你的健康的,但是Jeff 却是为了保护他的键盘。


“所有的指针都是指向Jeff Dean的。”

解释:指针是C编程的核心,但是Jeff  Dean 是编程世界的中心。


“在2000年末的时候,Jeff Dean 写代码的速度突然增长了40倍,原因是他把自己的键盘升级到了USB 2.0。”

解释:是键盘和计算机之间接口的速度影响了Jeff Dean 的编码速度。


程序猿才能理解的笑话……


发表于 2015-11-27 12:49:35 | 只看该作者
真正的改变世界的牛人
匿名用户  发表于 2016-12-17 20:20:09
The accident of finding this post has brehitengd my day
匿名用户  发表于 2016-12-17 20:21:05
The accident of finding this post has brehitengd my day

发表回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|电子人物联网  

Copyright 2013 最新最精彩-社区论坛 版权所有 All Rights Reserved.

QQ|电子人物联网  

GMT+8, 2024-4-28 02:41 , Processed in 0.110820 second(s), 37 queries.

快速回复 返回顶部 返回列表