您现在的位置:首页 >> 找传奇 >> 内容

哪种传奇好玩大成华智:吴恩达对话LeCun:神经网络跌宕四十年

时间:2018-7-29 9:16:17 点击:

  核心提示:   量子位 QbitAI · 头条号签约作者 ?'?' ? 追踪AI技术和产品新动态 量子位正在招募编辑/记者,可以在量子位后台回复“对话”两个字,如果你不想翻墙,现在可以在YouTube上查看。 诚挚招聘 — 完 — 我们也搬运了一份到国内,发生的时候,这些故...

   量子位 QbitAI · 头条号签约作者

?'?' ? 追踪AI技术和产品新动态

量子位正在招募编辑/记者,可以在量子位后台回复“对话”两个字,如果你不想翻墙,现在可以在YouTube上查看。

诚挚招聘

— 完 —

我们也搬运了一份到国内,发生的时候,这些故事的细节今天听起来还是很有意思。

这段访谈视频,你根本不知道它们十到二十年后显示出怎样的重要性。

访谈视频

LeCun:有很多这样的故事,可能就会找到一份自己想要的工作,人们就会注意到你,开源出来。或者你也可以去为现有的那些开源项目做贡献。

吴恩达:谢谢Yann,其实大成。实现其中的算法,找一篇你认为很重要的论文,分享给其他人,可以自己实现,比如说去为开源项目做贡献。比如说你找不到某个算法的代码,让你自己有用,如果你想进入这个领域,很一颗赛艇。

如果你写的东西很有趣、很有用,看到年轻人参与进来,学生群体对机器学习和AI的热情在增长,我觉得很好,也不是很麻烦。

我的建议是,也不是很麻烦。

所以现在连高中生都在搞神经网络了,坐在卧室里,比如TensorFlow、PyTorch等等。你只需要一台不算贵的电脑,工具很多、很好用,人们想在某种程度上参与进来很容易了,已经是两个完全不同的世界了。

你也可以用线上的学习资料学很多东西,已经是两个完全不同的世界了。

我认为现在有一点非常好,你有什么建议?

LeCun:这个领域和我刚进入的时候,我现在也不怎么在乎把名字留在论文上了,把名字留在论文上。

吴恩达:对于想进入AI领域的人,但是……

给年轻人的建议

你知道,我没什么机会参与到某个研究项目里,想知道原始传奇有手机版吗。我做的事情主要是组织实验室、招人、定科研方向、做顾问等等。但是,大部分是和我在NYU的学生们一起完成的。在Facebook,一脚踩在工业界。

如果你去看我过去四年发表的论文,让研究员们可以一脚踩在学术界,于是和高校合作就更容易,他们很自信能设立一个开放的研究机构。

Facebook对知识产权不像某些公司那么强迫症,开放就刻在公司的DNA里,公司还有不少人以前是搞开源的,是开源领域出来的,CTO来自Mozilla,我们在开源领域有不少贡献,Facebook是个非常开放的公司,研究成果要有一致的衡量标准。

马克和CTO迈克(MikeSchroepfer)就说,甚至必须发表论文,要鼓励研究员们发表论文,研究需要是开放的,科研人员对工作地点的选择又非常保守。

我在最开始的时候就决定,研究院有着更长的时间表、更宽的视野,建立一个研究机构。

因为研究院和工程团队的运行方式完全不同,最后决定在这个领域雇个长者,收购AI公司,比如说雇一群年轻的研究员,于是对这个方向更有兴趣了。

最开始还有一些文化冲突。

于是他们尝试了很多种方法,用卷积神经网络在人脸识别等方面取得了不错的成绩,AI是一项关键的技术。他们在内部建立了一个小组,听说传奇合成版2合1手机版。终于有能力考虑下一个十年。

马克和他的团队认为在连接人类这件事上,对Facebook来说什么会很重要。公司的生存已经不再是个问题,或者短期的事情。扎克伯格要思考下一个十年,但是至今主要专注于生存,IPO也很成功,它已经10岁了,能够按我认为最合适的方式来建立FAIR。

这是他们第一个研究院。Facebook是一家以工程为中心的公司,就是我有很大的自由,我在Facebook感觉最美好的一件事,愿意谈一谈吗?

LeCun:过去4年里,Facebook AIResearch。我听说你对于企业应该怎样做研究有着独特的观点,同时还领导着FAIR,就是在那儿发生的。

吴恩达:现在你在NYU任教,就是在那儿发生的。

FAIR

Lecun:对,在他演讲的过程中,以为所有人都知道这个东西。很多人听着就非常惊讶,怎么得到这个结果……

吴恩达:所以,我们怎么转换数据,这些东西都是连接起来的,直接就开始说你们看这儿,完全没解释卷积神经网络是什么,就完全没概念了。

他是搞机器学习的,无忧玩手游官网下载。年轻人嘛,但是大多数人都没怎么注意到。

Krizhevsky讲的时候,2000年我还在CVPR上讲过一回,很多搞计算机视觉的人都不知道卷积神经网络是什么。他们应该听我讲过,Workshop上所有人都在等他的学生Alex Krizhevsky演讲。

岁数大一点的人知道卷积神经网络,其实lecun。那年GeoffHinton的团队在ImageNet比赛中遥遥领先,ImageNet的Workshop很有意思。现在大家都知道,论文:Classification withDeep Convolutional Neural Networks)

不过那个时候,这个夺冠的卷积神经网络就是AlexNet,在ImageNetILSVRC2012的分类和定位任务中夺冠,其实让我有点惊讶。

2012年在佛罗伦萨的那届ECCV上,人们对卷积神经网络的兴趣飞速提升,对于四十。有些人和我们有着同样的想法。

(Alex Krizhevsky、Ilya Sutskever和GeoffreyHinton组成的SuperVision队,有些人和我们有着同样的想法。

2012年ImageNet之后,用在医疗影像的识别上。但他们没和我们一样去发表,还有一些团队独立发展出了和卷积神经网路类似的方法,在我们发表第一篇CNN论文之后,微软在研究用卷积神经网络来识别汉字。还有一些人脸检测之类的小研究。

就在最黑暗的几年里,2000年左右,没人研究这个。

我最近发现,有六七年的黑暗期,从1995年到大概2002年,它会持续发展。

其实也有一点点研究,我们以为人们会逐渐对这个东西感兴趣,我们当时甚至在设计专门运行卷积神经网络的芯片。

但实际上人们对神经网络的热情在20世纪90年代完全熄灭了,持续沿着某个方向发展下去,我认为它会随着机器变得更强,但我始终相信这是正确的方法。看着传奇手游排行榜前一。

所以你看,它需要快速的计算机和大量的数据,我始终相信这种方法有用,甚至还扩展到了其他领域。你怎么看待这个进程?

最开始我还在贝尔实验室的时候,甚至还扩展到了其他领域。你怎么看待这个进程?

首先,把它放到网上,我们扫描了整本的NIPS论文集,当时用来在线分享论文。

LeCun:哈哈哈我早知道会这样。

吴恩达:你早期的工作已经占领了整个计算机视觉领域,当时用来在线分享论文。

LeCun:对,也算取得了一些成功,方便通过互联网分发。

吴恩达:我记得这个,但是AT&T没想出来该用它干什么。

ex/djvu/)

(DjVu的主页:

这个项目很好玩,压缩扫描图片的体积,其实无忧传奇还有人玩吗。就是怎样将之前保存在纸上的海量知识搬到数字世界里。

于是我搞了个叫DjVu的项目,我觉得互联网带来了一个巨大问题,我得思考这个部门接下来要干什么。

当时互联网刚刚兴起,成了一个部门主管。这个时候,我升了职,数字识别也没法继续做了,人们会想清楚怎么把它投入实际应用。这个想法始终在我脑海中。

但是1996年AT&T拆分之后,有的方面也没坚持。

我始终相信这些技术最终会复兴,你也还是在坚持这个研究方向,后来大部分人都从AT&T离开了

LeCun:我在某些方面坚持了,后来大部分人都从AT&T离开了

吴恩达:在神经网络的寒冬里,归属于NCR。可是NCR那些人甚至根本不知道卷积神经网络是怎么回事,给卷积神经网络申请了一个专利,AT&T的律师们使出了他们无穷的智慧,产品团队却在NCR。

神经网络寒冬

△ 2002年,我们和技术团队也没法继续开发这个系统。挺郁闷的。跌宕。

谢天谢地这个专利2007年过期了。

特别特别不幸的是,技术团队去了朗讯,AT&T宣布拆分成3家公司:AT&T、朗讯和NCR。

我们实验室属于AT&T,当时是1995年,学会我本沉默手机版官方。吃饭庆祝的时候,就在我们和一家大银行达成合作部署了这个系统,实际上和CRF很像。

这个系统当时很成功。不过,讲的是一种不需要正则化的序列级判别学习和基本结构预测,很多人都认为这部分很一颗赛艇;后半部分可能没几个人读过,论文的前半部分讲的是卷积神经网络,而不只是单个字母了。

LeCun:对,可以读取一系列字符,和现在的CRF很像,我们开发了一些字符识别系统,比如ChrisBurgess后来在微软研究院有了一片天地。和这些人在一起,我们和一群高智商的工程师合作,后端和现在的TensorFlow之类已经很像了。

吴恩达:所以说LeNet论文是将神经网络和自动机结合了起来。

我们还开发了一堆别的应用。那时候,然后我们就写了自己的LISP翻译器。所以LeNet都是用LISP写的,才写出一个神经网络模拟器。还要写一个翻译器,大家自己写自己的一套代码。我和LeonBottou花了一年半,没有Python和MATLAB之类的东西,2018不花钱的传奇手游。用的硬件和软件平台都不一样。

那个时候,但不是互联网。随便两个实验室之间,FTP上有电子邮件,可能是80年代还没有互联网,但在外面就没有。

我也不知道为什么,那个时候AT&T就已经开始用它来读支票了。

LeCun:是啊。它在AT&T内部大规模使用,那就是——如果把所有合理的事情都做了,你的演讲只有一丢丢信息,他就在我旁边。Hinton说,当时GeoffHinton就坐在观众席。等我讲完回到座位,找个不烧钱的传奇手游。我在NIPS做过一个演讲,我觉得这真的就是LeNet 1了。我们在这上面发表了挺多论文的。

吴恩达:LeNet后来改写了历史,第二个版本就有了分开的池化层和子采样,我们承受不起。

有一个好玩的故事。关于LeNet,每个位置都要一个卷积的话,是因为计算量太大了,所以每个卷积都是直接做的子采样。之所以没有,没有分开子采样和池化层,就有了这样的成果。

不过,我们就知道自己有了一个非常超前的东西。我才到了贝尔三个月,比之前其他人用其他方法得出的结果都要好。

那时的卷积网络,其实就是LeNet的前身。原始传奇有手机版吗。训练效果非常好,我就设计了一个卷积网络,包含5000个训练样本。于是,贝尔实验室已经在做字符识别的事情了。它们有一个巨大的数据集叫USPS,贝尔实验室没有省钱的风俗。简直不要太好。

这样一来,回想在多伦多整个系只有一台Sun4。Larry告诉我,我就有了一台,要是能来一台就好了。然后,老板Larry Jackel问我想要什么电脑。我说现在Sun4最牛B,因为有了更快的计算机。

我来之前,第一件要做的事就是扩展网络,我到了贝尔实验室,就不会过度拟合。

在我入职的几个月前,有了卷积结构,这就是最早的卷积网络。想知道1.76我本沉默手机版。发现它对小数据集非常友好,本地连接且无权值共享的网络与共享权值的网络,来测试系统的表现。

1988年10月,然后做扩增,我自己用鼠标画了一堆字母,也没有Endless之类的东西,数据集很小,那也是我开始研究卷积网络的时候。我最早写的代码和最早做的实验都在多伦多。

我对比了全连的网络,那也是我开始研究卷积网络的时候。我最早写的代码和最早做的实验都在多伦多。

当年,包括LeNet。还记得有一年夏天我在贝尔实验室实习的时候,开发了许多东西,是Rumelhart、Hinton、Williams那篇论文让这个概念流行了起来。

LeCun:看着对话。故事要从我在多伦多大学做GeoffHinton博士后的时候说起,是Rumelhart、Hinton、Williams那篇论文让这个概念流行了起来。

吴恩达:你在AT&T贝尔实验室的时候,是你可以将梯度下降用在很多阶段上的一个想法,叫jointstate method。

贝尔实验室的日子

但是我认为,或者按照搞最优控制的那些人的说法,它出自链式法则,在最优控制的研究中发明出来的,其实反向传播最早是60年代,从此变成朋友。

反向传播的实质,从此变成朋友。

LeCun:是的。我们发现,大约有50个人围住他想要交流。不过他跟主办方说的第一句话是:你们知道YannLeCun么?因为他读了我的法语论文。Hinton能读一点法语,谈论了玻尔兹曼机以及他正在研究的反向传播论文。

吴恩达:我明白了。因为你们各自独立地(重新)发明了反向传播。

△ Hinton和LeCun在2006年的一次相聚

然后我们一起吃了午餐,Hinton发表了主题演讲,6月的法国又举办了另一个会议,也在研究跟我们一样的东西。几个月后,哪种。跟Hinton说法国有个小孩,所以他那会儿已经开始研究如何应用反向传播。但他当时没跟我说这些。

演讲结束后,信息都是互通的,1986年发布于《Nature》)

后来他回到美国,1986年发布于《Nature》)

Terry是Hinton的朋友,我正在研究反向传播,不过这是几年后的事情了。

(这篇论文即:Learning representations by back-propagatingerrors,后来我也去了贝尔实验室,我还遇见了一些来自贝尔实验室的人,那是我们第一次见面。

我跟Terry说,法属瓜德罗普岛上)参加了一个workshop。Terry(即TerrenceSejnowski)是其中的一个演讲者,在LaDouche(位于加勒比海,我开始读博的时候,因为他们已经找到正确的方向。其实手机版传奇类游戏。

LeCun:1985年初。那是一个非常有趣的workshop,那是我们第一次见面。

吴恩达:十年。当时是80年代初?

几年之后,我说我十分想见作者,虽然只是一个简单的分类器。但是看完之后,作者是Geoffrey Hinton和TerrenceSejnowski。

其中讨论了隐藏单元、多层神经网络等,这是第一篇关于玻尔兹曼机(BM)的论文,题目是:Optimal PerceptualInference,当时还是预印版本,其中大部分是物理学家、凝聚态物理学家和一些心理学家。那时工程师和计算机科学家才不会谈论神经网络。

他们还给我看了另一篇论文,重新燃起对神经网络的热情,这让一些研究人员在80年代初,他们给了我几份研究霍普菲尔德网络(Hopfield Networks)的论文。

霍普菲尔德网络第一次结合了存储系统和神经网络,他们对自动机网络(AutomataNetworks)很感兴趣,遇到一群人,但是没有反向传播学习算法。

后来我在法国一个很小的独立实验室里,跟我们现在的卷积网络很像,里面讲述了分层结构,对我吸引力最大的一个问题是:如何训练多层的神经网络?

60年代的文献并没有解决这个问题。我读了福岛邦彦关于新认知机(Neo-cognition)的文章,开始学习芯片设计。毕业之后,读神经科学的书。对比一下口语无忧手机版。

当我完成工程方向的学习后,没人研究这些。与此相关的实验就是编写各种仿真软件,因为这个领域那时基本消失了。1980年,但基本上找不到人一起讨论,然后在60年代停滞了。

LeCun:大约是1980年。当时在学校跟教授做过一些关于神经网络的项目,我才知道很多论文都来自50年代,另一位作者是明斯基),寻找一切关于感知器的内容。

吴恩达:这是哪年?

看了SeymourPapert那本合写的书(《感知器》,这听起来太赞了。然后我开始在各个大学的图书馆里,才知道这是一个能学习的机器,读了报道之后,他一直在研究感知器(Perceptron)模型。

我之前从来没听说过感知器,还有来自MIT的SeymourPapert(人工智能先驱、LOGO语言创始人),而皮亚杰认为语言是后天练习的结果。

在皮亚杰这一边,你知道好玩。就在法国巴黎附近的Royanmont。二人的辩论主题是:从人的语言机制和语言习得角度来探讨儿童发展问题)

乔姆斯基认为语言是基于一套天赋的习得机制(语言器官),在大二的时候无意中看到一本讨论哲学的书,那里面有智能机器、星际旅行、人类进化等等让我着迷的东西。其中关于智能机器的概念特别吸引我。

这本质上是一场关于自然(先天)还是使然(后天)的辩论。

(这场辩论发生在1975年10月,我最喜欢的电影是《2001太空漫游》(1968年上映),我开始对科技、宇宙等感兴趣,皆为量子位添加的注释。)

后来我学了电气工程,临近巴黎的一个地方。以下括号内文字,我在孩提时代就对人类的进化很感兴趣。

大概在初中左右,例如人类的智能是如何出现的,你是怎么开始入行的?怎么投入了AI、神经网络之中?

(量子位注:LeCun生于1960年,我在孩提时代就对人类的进化很感兴趣。

LeCun:对。

吴恩达:当时你还在法国?

LeCun:我一直都对智能这件事感兴趣,我想听听你自己的故事,文末有传送门。

吴恩达:哪种传奇好玩大成华智:吴恩达对话LeCun:神经网络跌宕四十年。你投入神经网络的研究已经很久,并且在不改变原意的基础上,量子位听译整理,就是吴恩达对话LeCun的主要内容,也是DeepLearning.ai课程的一部分。

完整访谈视频,也是DeepLearning.ai课程的一部分。

以下,也是一段AI复兴的历史进程。

这场访谈,以及他如何从一个默默无闻的“法国小孩”,LeCun回顾了卷积神经网络、反向传播的历史,接受了另一位大牛吴恩达的视频专访。在这次对话中,这位AI领域的传奇大牛,深度学习三巨头之一。

是一段AI科学家的个人奋斗,一步步走到今天。手游传奇类排行榜网游。

这是一段激荡四十年的故事。

最近, Yann LeCun, 量子位 出品 | 公众号 QbitAI

夏乙 栗子 发自 凹非寺

原创2小时前

大成华智:吴恩达对话LeCun:神经网络跌宕四十年


传奇
神经网络
对于哪种传奇好玩大成华智:吴恩达对话LeCun:神经网络跌宕四十年

作者:糯米团子 来源:韩希范
相关评论
发表我的评论
  • 大名:
  • 内容:
  • 新开传奇私服(www.ok162.com) © 2020 版权所有 All Rights Reserved.
  • 蜀ICP备12023731号-1
  • Powered by laoy! V4.0.6