爱读书屋 通过搜索各大小说站为您自动抓取各类小说的最快更新供您阅读!

《自然》啊~

世界上最早的科学期刊之一,也是全世界最权威及最有名望的学术期刊之一。

首版於1869年11月4日,到现在(2015年)传承都快一百五十年了~

而且在今天大多数科学期刊都专一于一个特殊的领域不同,《自然》是少数(其它类似期刊有《科学》和《美国国家科学院院刊》)依然发表来自很多科学领域的一手研究论文的期刊。

在许多科学研究领域中,每年最重要、最前沿的研究结果是在《自然》中以短文章的形式发表的。

尽管影响因子的评价不完全客观,但40+的影响因子可见一斑其影响力了~

尽管脑海中想了很多,但章杉还是不能完全理解在这上面发文的概念~

就在章杉无比膨胀的时候,系统泼冷水了:

“宿主在投稿0级论文的时候拥有100%的通过率,宿主在投稿1级论文的时候目前通过率为99%~”

“宿主投稿论文等级为n级别时,通过率相较0级每提高n级,将下降n2%的通过率~”

章杉:。。。

得,白激动半天~

按照系统这个说法,将来投稿9级论文的时候只有19%的通过率了。

不过话说回来,目前系统里面1级论文就是发在NATURE的节奏了。

9级论文将来发在哪里?

现在说来,投稿nature的话自然不是100%的过通过率了。

而是99%的过稿率~

虽然这听起来很靠谱~

但章杉是一贯脸黑,99.99中奖率都有翻车的时候~

现在具体会是什么结果,哪里又能说得好呢~

对于投稿nature的那篇,章杉全然没兴趣了,反而是对那两个0级论文章杉兴趣更浓一些~

虽然这两篇论文依旧是人类佼佼者才能企及的高度。

但以章杉的智慧他很快就搞清楚论文《FurtherapplicationoftheGenerativeAdversarialNetworks》交代的来龙去脉:

深度学习训练一个模型需要很多的人工标注的数据。

在图象识别里面,经常可能需要上百万的人工标注的数据,在语音识别里面,可能需要成千上万小时的人工标注的数据,机器翻译更是需要数千万的双语句对做训练,这些都是大数据的体现。

但是,很多时候找专家来标注数据是非常昂贵的,并且对一些应用而言,很难找到大规模的标注的数据,例如一些疑难杂症,或者是一些比较稀有的应用场景。

而标注数据的代价是极高的。

比如说对机器翻译而言,现在如果请人工来翻译,一个单词的费用差不多是5—10美分之间,一个句子平均长度差不多是30个单词,如果章杉需要标注一千万个双语句对,也就是章杉需要找专家翻译一千万句话,这个标注的费用差不多是2200万美元。

数据标注的费用是非常非常高的,让一个创业公司或者一些刚刚涉足人工智能的公司拿这么大一笔资金来标注数据是很难或者是不太可行的。

因此当前深度学习的一个前沿就是如何从无标注的数据里面进行学习。

而章杉这篇文章里描述的生成式对抗网络就是起到这样的作用。

生成式对抗网络的主要目的是学到一个生成模型,这样生成式对抗网络可以生成很多图像,这种图像看起来就像真实的自然图像一样。

生成式对抗网络解决这个问题的思路跟以前的方法不太一样,生成式对抗网络是同时学习两个神经网络:一个神经网络生成图像,另外一个神经网络给图像进行分类,区分真实的图像和生成的图像。

在生成式对抗网络里面,第一个神经网络也就是生成式神经网络,生成式对抗网络的目的是希望生成的图像非常像自然界的真实图像,这样的话,那后面的第二个网络,也就是那个分类器没办法区分真实世界的图像和生成的图像;而第二个神经网络,也就是分类器,生成式对抗网络的目的是希望能够正确的把生成的图像也就是假的图像和真实的自然界图像能够区分开。

这两个神经网络的目的其实是不一样的,他们一起进行训练,就可以得到一个很好的生成式神经网络。

生成式对抗网络最初提出的时候,主要是对于图像的生成。

章杉论文里提出来的显然是将该方法应用到各个不同的问题上。

不过论文的着重点还是章杉针对如何从无标注的数据进行学习!

在文中他提出了一个新思路,叫做对偶学习。

对偶学习的思路和前面生成式对抗学习会非常不一样。

章杉发现很多人工智能的任务在结构上有对偶属性。

在机器翻译里面,章杉把中文翻译成英文,这是一个任务,但是章杉同样也需要把英文翻译成中文,这是一个对偶的任务。

这种原任务和对偶任务之间,他们的输入和输出正好是反着来的。

原本章杉还因为论文是系统弄得而心存愧疚,但现在看来这论文完全是照着他的思路去写的。

因为之前对多门语言的卓越性。

章杉自己本人来写这个论文的话,最可能想到的涉及对偶属性的应用也是翻译工作。

不过对偶工作不止于此。

在语音处理里面,语音识别是把语音转化成文字,语音合成是把文字转化成语音,也是互为对偶的两个任务。

在图像理解里面,看图说话,也就是给一张图生成一句描述性的语句,生成式对抗网络的对偶任务是给一句话生成一张图,这两个任务一个是从图像到文本,另外一个是从文本到图像。在对话系统里面,回答问题和问题生成也是互为对偶的两个问题,前者是给定问题生成答案,后者是给定答案生成问题。

在搜索引擎里面,给定检索词返回相关文档和给定文档或者广告返回关键词也是互为对偶的问题:搜索引擎最主要的任务是针对用户提交的检索词匹配一些文档,返回最相关的文档;当广告商提交一个广告之后,广告平台需要给他推荐一些关健词使得他的广告在用户搜索这些词能够展现出来被用户点击。

对偶学习试图把这种结构的对偶属性应用在机器学习里。

其基本思想比较简单,章杉以机器翻译为例子来说明。

当我们想把一个中文句子翻译成英文,可以先用一个中文到英文的翻译模型,把这个句子翻译成英文的句子,因为没有英文的标注,所以不知道这个英文的翻译是好还是坏以及有多好多坏。章杉再利用从英文到中文的翻译模型,把这个英文的句子翻译成中文的句子,这样一来,章杉就得到了一个新的中文句子。

整个过程包含了正向翻译和反向翻译互为对偶的两个步骤。

然后章杉比较原始中文的句子和后来得到的中文句子,如果两个翻译模型都很好的话,这两个中文的句子应该比较相似,如果两个模型不好或者有一个模型不好的话,得到的两个中文句子就不相似。因此章杉可以通过这种对偶过程从无标注的数据获得反馈信息,知道章杉的模型工作的好还是不好,进而根据这些反馈信息来训练更新正向反向模型,从而达到从无标注数据学习的目的。

章杉在机器翻译里面做了一些实验,发现通过对偶学习的过程,章杉只需要用10%标注的数据(大概100万英法双语句对),再加上很多没有标注的数据,达到用100%标注数据(1200万英法双语句对)训练的模型的准确度。

一千万个训练语料标注的费用差不多2200万美元,如果章杉能把标注的人工费用从2200万美元降到200万美元,这会是一个非常好的结果,能够大大降低公司运营成本提高运营效率。

很多问题以前是因为受限于没有标注的数据,没有办法用深度学习技术。

现在章杉能够从无标注的数据进行学习,那么很多应用很多问题里面都可以应用深度学习技术。

论文到这里已经很牛了!

但仅仅如此吗~

章杉继续读完,很快就震惊了!

因为论文里似乎提出了一种崭新的概念。

现在虽然深度学习很受欢迎,但是说到底深度学习主要是从大数据进行学习,就是通过很多标注的数据,使用深度学习算法学习得到一些模型。

虽然叫着人工智能的名字。

但是这种学习方式和人的智能是非常不一样的。

人是从小样本进行学习。

人对图像进行分类,只需要很少几个样本就可以做到准确分类。

两三岁小孩,开始认识世界的时候,他如果想知道什么样的动物是狗,我们给他看几张狗的图片,并且告诉他狗有什么特征,和其他动物像猫或者羊有什么区别的话,小孩可以很快很准确的识别狗。

但是像深度残差神经网络,一般来说一个类别大概需要上千张图片才能进行比较充分的训练,得到比较准确的结果。

再比如汽车驾驶,一般来说,通过在驾校的培训,也就是几十个小时的学习,几百公里的练习,大多数人就可以开车上路了。

但是像现在的无人车可能已经行驶了上百万公里,还是达不到人的全自动驾驶的水平。

原因在于,人经过有限的训练,结合规则和知识能够应付各种复杂的路况,但是当前的AI还没有逻辑思考、联想和推理的能力,必须靠大数据来覆盖各种可能的路况,但是各种可能的路况几乎是无穷的。

随着一项项能力的提升,章杉现在对人的理解也很深。

人的智能包含了很多方面,最基本的阶段是认知性智能,也就是对整个世界的认知。

尽管现在对于图象识别、语音识别,AI已经差不多能达到人类的水平,当然可能是在某些特定的约束条件下,能够达到人类的水平。

但是其实这种认知性的任务,对人类而言都是非常简单的,现在AI所能做的这种事情或者能达到的水平,人其实也很容易做到。

只是AI可能在速度上更快,并且规模上去之后成本更低,并且24小时都不需要休息。更有挑战的问题是,人工智能能不能做一些人类做不了或者是很难做好的事情。

像图象识别、语音识别这类认知性的任务,AI之所以做得好,是因为这些任务是静态的,所谓静态就是给定输入,预测结果不会随着时间改变。

但是决策性问题,往往和环境有很复杂的交互,在某些场景里面,如何做最优决策,这些最优决策往往是动态的,会随着时间改变。

现在有人尝试把AI用到金融市场,例如如何用AI技术来分析股票,预测股票涨跌,对股票交易给出建议,甚至是代替人来进行股票交易,这类问题就是动态决策性问题。

决策性问题的第二个难点在于各种因素相互影响,牵一发而动全身。

一支股票的涨跌会对其他股票产生影响,一个人的投资决策,特别是大的机构的投资决策,可能会对整个市场产生影响,这就和静态的认知性任务不一样的。

在静态认知性任务我们的预测结果不会对问题(例如其他的图像或者语音)产生任何影响。

但是在股票市场,任何一个决定,特别是大的机构的投资策略会对整个市场产生影响,对别的投资者产生影响,对将来会产生影响。

当前深度学习已经在静态任务里面取得了很大的成功,如何把这种成功延续和扩展到这种复杂的动态决策问题中,也是当前一个深度学习的挑战之一。

章杉认为,一个可能的思路是博弈机器学习。

在博弈机器学习里,通过观察环境和其他个体的行为,对每个个体构建不同的个性化行为模型,AI就可以三思而后行。

选择一个最优策略,该策略会自适应环境的变化和其他个体的行为的改变。

……

章杉在这篇论文继提出了一种几乎是完全反深度学习思路的机器学习——浅度学习。

强调增强博弈机器学习的重要性,强调AI的逻辑性和思辨性,大幅度降低“机器学习”任务量。

毫无疑问,这是一种全新的机器学习方式!

最起码,这种全新的模型在处理动态信息上取得的成绩将是革命性的。

爱读书屋推荐阅读:无敌小村医重生后我嫁给了残疾大佬全民寿命开蛊罐,我能看见提示师父快住手,我可是你徒弟老李的自由入警第一天,填满立功表开局白丝校花,榜一大哥请让让天赋御兽师在超能世界做大佬重生之东北小城风云录召日修炼万倍增幅,我成了万族噩梦!文娱:我的明星女友又甜又御万界布局:职业书写者神器召唤人都市无敌,我有七个恶魔师傅秘密的森林重生87,半年爆赚200亿美金癌症晚期离婚,岳母半夜敲门高武:天才只是见我的门槛!一身神级被动,从转职开始无敌开局就去世,变成美少女踏遍诸天遭遇海难,我救了美女上司妖孽妙手小村医娱乐:开局和功夫巨星八角笼嫡女重生记阿姨比我大了十八岁四合院:许大茂傻柱你们要老婆不全民巨塔:你说你的幸运很低?这个明星只想学习仕途狂飙修仙:灵气复苏我带领全民修仙赶海:从幸运赶海夹开始暴富辞职之后从包工头到一方高官离婚后,我竟然长生了新说钮一篇血色浪漫之我是钟跃民我是一条小青龙,开局要求上户口嫂子,我不是真的傻子!执戟人间二十五岁才激活神豪系统?秦云身份能升级,开局平行世界当皇帝彼岸贵族圣医寻宝记道之初境重生留校躺平,我真不想再卷啊!人在高武,半年成神一年统治宇宙兵王修道:身边量产仙帝
爱读书屋搜藏榜:致命赛程:二十轮的博弈阿聪和阿呆精英仙妻:总裁老公宠上天我有一座随身农场重生肥妻:首长大人,强势宠!重生九零小俏媳穿成八零福运小萌包娱乐:重生05,开创顶流时代至尊小神医流年的小船恶龙枷锁清纯校花?当真有那么清纯吗?脱下马甲就是大佬我靠切切切当上太医令剧本恋综里爆红,影帝这热度她不想蹭啊深海有渔歌重生,开局胁迫高冷天后我只想在未来躺平,没想成为大佬练假成真,我真不是修仙者灵气复苏:我,杀敌就变强!全民打宝:幸运爆率疯狂飙!穿书之不可能喜欢男主全球性闹鬼事件神棍俏娘子:带着皇子去种田沈先生命有桃花UZI复出后,IG和RNG同时发来了合同穿成炮灰原配后把权臣娇养了终极一班之签到系统开挂无敌战力情意绵绵汐朝高武:我的影子能弑神我能真人下副本骑士传奇,我的眼中只有古朗基医品凤途我家后院的时空来客穿书之女二要逆袭凌宠我真的很想堕落啊带着系统征服世界吧!岁月逆流重返十八每天奖励一万亿,我的钱堆积如山神豪从开滴滴拒绝美女开始神武都市农门空间:我娇养了首辅大反派玩美房东暗帝:风华绝代之世子妃从恋综开始,成为华娱全民偶像神壕系统之娱乐无极限我负责吃奶直播间十亿网友杀疯了斗兽场之风起云涌
爱读书屋最新小说:雷电无敌?这只是我低调而已重生89:开局手撕无赖亲戚开局强吻校花,觉醒混沌级天赋我欲成仙:尔等皆是蝼蚁成功的方法三界诡运录大山中走出的京圈太子爷离凛夭寿啊!这个老六是时间系!启天云梦书海之外的眷恋异能天下仙术为尊港片:制霸江湖与商界三国杀降临,你们连规则都不懂?九叔:开局加入幼崽聊天群成为神豪后,我的生活很丰富精神病院的灵异秘录通往真相的迷宫失去神力,看我如何翻天倾城系统别人御兽,你被兽御我被病娇女财阀包养了官场风月:平行红顶,能看见麻烦亮剑光芒冷,马踏樱花红重生2000一代神豪高剑飞抗战:每天签到一个大礼包笨女友,不许哭医武无双综艺:五哈到桃花坞让你演警察,你真抓通缉犯下山后太强了,绝色师姐超宠我抗战:开局一个现代化集团军!重生港岛缔造东方硅谷重生:开局抓到高冷校花超市偷窃超级无敌小保安谍战:我的分身是天空霸主圣徒子言传说神医小子逆袭人生AI之后做仙侠游戏,当赛博神仙高武:锦鲤啊?神兽幼崽自动上门重生之乡村逆袭外出钓鱼,捡了个公主回家省钱大赢家,我靠抠门综艺封神以混为途从零开始建设神界乡间盗墓秘事那年天仙八岁,我带着她卖军火完美空间系:我即天灾道启时代