LeCun联手华人博士后arxiv发文,却遭reddit网友质疑:第一张图就错了! / 头条资讯

3年前 阅读 / 241 来源 / 原创 文 / 越读党订阅

网易首页 网易号 正文申请入驻LeCun联手华人博士后arxiv发文,却遭reddit网友质疑:第一张图就错了!新智元报道 来源:reddit 编辑:LRS 【新智元导读】两个月前自监督学习领域出了一篇重磅论文,LeCun和他的学生共同完...

网易首页 网易号 正文 申请入驻 LeCun联手华人博士后arxiv发文,却遭reddit网友质疑:第一张图就错了!


新智元报道

来源:reddit

编辑:LRS

【新智元导读】两个月前自监督学习领域出了一篇重磅论文,LeCun和他的学生共同完成新模型Barlow Twins,reddit网友指出,第一张图就错了!

神经网络模型训练最大的弊端在于需要大量的训练数据,而非监督学习和自监督学习则能很好地解决标注的问题。

今年三月,Facebook AI Research和纽约大学的Yann LeCun联手在arxiv上发布一篇关于自监督学习的论文,提出模型Barlow Twins,这个名字来源于神经科学家H. Barlow的redundancy-reduction原则。

近日这篇论文又在Reddit上掀起一阵讨论热潮,网友对LeCun的论文似乎有些不买账。

自监督学习

所谓自监督,就是训练了,但没有完全训练,用到的标签来源于自身,它与无监督学习之间的界限逐渐模糊。

自监督学习在NLP领域已经取得了非常大的成就,BERT、GPT、XLNET等自监督模型几乎刷遍了NLP各大榜单,同时在工业界也带来了很多的进步。在CV领域,自监督似乎才刚刚兴起。

从Kaiming的MoCo和Hinton组Chen Ting的SimCLR,近两年自监督学习(SSL,self-supervised learning)在大佬们的推动下取得了很大的成功。

何恺明一作的Moco模型发表在CVPR2020上,并且是Oral。文章核心思想是使用基于contrastive learning的方式自监督的训练一个图片表示器也就是编码器,能更好地对图片进行编码然后应用到下游任务中。基于对比的自监督学习最大的问题就是负样本数量增大后会带来计算开销的增大,何恺明使用了基于队列的动态字典来存储样本,同时又结合了动量更新编码器的方式,解决了编码器的快速变化会降低了键的表征一致性问题。MoCo在多个数据集上取得了最优效果,缩小了监督学习和无监督学习之间的差距。

而Hinton组的SimCLR侧重于同一张图像的不同数据增强的方法,具体而言就是随机采样一个batch,对batch里每张图像做两种增强,可以认为是两个view;让同一张图的不同view在latent space里靠近,不同图的view在latent space里远离,通过NT-Xent实现。


从AutoEncoder到语言模型,可以说是无标签的数据让预训练模型取得惊人的成绩,之后在有标签数据上的fine tune让他有了应用价值。

Barlow Twins

今年3月,arxiv上多了一篇Yann Lecun的论文。

CV领域的自监督学习的最新成果总是向世人证明无需数据标签也可以达到有监督的效果。目前自监督学习主流的方法就是使网络学习到输入样本不同失真(distortions)版本下的不变性特征(也称为数据增强),但是这种方法很容易遭遇平凡解,现有方法大多是通过实现上的细节来避免出现collapse。

LeCun团队解释说,这种方法经常会出现琐碎的常量表示形式,这些方法通常采用不同的机制和仔细的实现细节,以避免collapse的解决方案。Barlow Twins是解决此问题的目标函数,它测量两个相同网络的输出特征之间的互相关矩阵,这些输出馈送了失真的版本,以使其尽可能接近单位矩阵,同时最大程度地减少了相关向量分量之间的冗余。


这个方法受英国神经科学家霍勒斯·巴洛(Horace Barlow)在1961年发表的文章中的启发,Barlow Twins方法将「减少冗余」(一种可以解释视觉系统组织的原理)应用于自我监督学习,也是感官信息转化背后的潜在原理。

研究人员通过迁移学习将模型应用到不同的数据集和计算机视觉任务来评估Barlow Twins的表示形式,还在图像分类和对象检测的任务上进行试验,使用ImageNet ILSVRC-2012数据集上的自我监督学习对网络进行了预训练。


结果表明,Barlow Twins在概念上更简单并且避免了琐碎的参数,其性能优于以前的自我监督学习方法。研究人员认为,所提出的方法只是应用于SSL的信息瓶颈原理的一种可能实例,并且进一步的算法改进可能会导致更有效的解决方案。

Jing Li

靖礼是这篇论文的第二作者,本科被保送到北大物理学院,获得了物理学学士学位和经济学学士学位,获得了麻省理工学院的物理学博士学位。他在2010年赢得了第41届国际中学生物理学奥林匹克竞赛金牌。


目前是Facebook AI Research(FAIR)的博士后研究员,与Yann LeCun一起研究自我监督学习。

他的研究领域还包括表示学习,半监督学习,多模式学习,科学AI。

他还是Lightelligence Inc.的联合创始人,该公司生产光学AI计算芯片。

在企业技术领域,他被授予《福布斯》中国30位30岁以下人士。

而 Yann LeCun是CNN之父,纽约大学终身教授,与Geoffrey Hinton、Yoshua Bengio并成为“深度学习三巨头”。前Facebook人工智能研究院负责人,IJCV、PAMI和IEEE Trans 的审稿人,他创建了ICLR(International Conference on Learning Representations)会议并且跟Yoshua Bengio共同担任主席。

1983年在巴黎ESIEE获得电子工程学位,1987年在 Universit P&M Curie 获得计算机科学博士学位。1998年开发了LeNet5,并制作了被Hinton称为“机器学习界的果蝇”的经典数据集MNIST。2014年获得了IEEE神经网络领军人物奖,2019荣获图灵奖。

大牛也会出错?

Yann LeCun可谓是深度学习界的大牛,但同样要遭受质疑。

有网友评价这篇论文是完全没意义的,这篇论文中提出的方法只有在特定条件下才好用,并且仍然需要大规模计算资源。

并且随着batch size的增加,效果下降了,但是为什么?

还有说图1就是错的,损失函数也是无意义的。


知乎网友讨论中也有认为Barlow Twins只是整合了自监督学习的技巧,如增加batch size、增加训练时间、交替迭代、predictor机制、stop gradient等这些技巧层面的工作,学习过程则是让互相关矩阵与单位阵要尽可能接近。


对此你怎么看?

参考资料:

https://www.reddit.com/r/MachineLearning/comments/n8ds2m/r_barlow_twins_selfsupervised_learning_via/

https://twitter.com/ylecun/status/1391162771987996674

http://jingli.io/

https://syncedreview.com/2021/03/15/yann-lecun-teams-barlow-twins-method-boosts-ssl-in-image-representation-via-redundancy-reduction/


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关阅读
#头条资讯

环球时报:中芯国际也被美国瞄准了,中国怎么办

据西方媒体报道,美国商务部已经决定对中芯国际实施出口限制,理由是该公司的产品有可能被用于军事目的。中芯国际之前已经断然否认了美方的这一指控,但华盛顿扼杀中国这一最大芯片制造商的态度看来已经形成,这只靴子很快就要...

#杂志封面

《法制博览》杂志_法制博览2020年第17期杂志封面

《法制博览》杂志_法制博览2020年第17期杂志封面

#头条资讯

年轻人沉迷于短视频的“低级快乐”

在短视频平台,当代年轻人的小喜好似乎正在朝着一种“怪异”的方向发展。一位网友在社交平台提问,“喜欢看修驴蹄子正常吗?”没曾想,半夜三更收获了一群喜欢睡前刷“修驴蹄子”的朋友们,他们纷纷称看修驴蹄子真的好解压,...

#头条资讯

因AI处理器需求旺盛 人工智能加密货币大涨

5月26日消息,当地时间周四,受英伟达预期业绩提振,加之用于人工智能领域的未来芯片需求不断增长,以人工智能为主题的加密货币受到投资者追捧,价格出现普涨。根据相关数据,区块链人工智能平台奇点智源的AGIX币当日上涨19%...

#杂志目录

《江苏教育·班主任》杂志2022年11期最新目录订阅

目录视点丨以提升学段衔接适应能力促进学生自主发展学生在基础教育学段变化的过程中,都会不同程度地存在不适应的情况,不少人都会视学生的不适应为消极力量,会想尽一切辦法努力化解、消除学生的不适应,以促使学生尽快适应新...

#杂志封面

《植物保护》杂志_植物保护2021年第1期杂志封面

《植物保护》杂志_植物保护2021年第1期杂志封面,...