滚动新闻 | RSS订阅 | 网站地图 |
你好,游客 登录 注册 搜索

变大、变大、再变大:长此以往,AI研究是死路一条?

发布时间:2019-12-16 09:33:56  来源:大数据文摘微信公众号 木槿、曹培信、钱天培  采编:郭椿砾  背景:

  计算机算力的增强为人工智能发展铺平了道路。

  通过强大的云计算平台,人工智能研究人员已经能够在较短的时间训练更复杂的神经网络,这使得AI能够在计算机视觉、语音识别和自然语言处理等许多领域取得进展。

  与此同时,很少有人提及这一趋势对AI研究的负面意义。

  目前,人工智能的进步主要体现在对深度学习模型和更多层和参数的神经网络的研究。根据OpenAI的说法,自2012年以来最大规模人工智能训练中使用的计算机数量一直呈指数增长,大概每3到4个月就翻一番,这意味着该指标在七年内增长了30万倍。

  这种趋势严重限制了AI的研究,也产生了其他不好的影响。

  目前来说,“大”即是好

  OpenAI研究人员表示,当前许多领域中,更大的算力代表着更好的表现,并且通常也是对算法的补充。

  我们可以在很多项目中看到,研究人员将取得的进步归功于他们投入了更多的计算机去处理问题。

  2018年6月,OpenAI推出了能够玩Dota2专业水准的AI,Dota2是一款复杂的即时战略游戏。

  该AI叫OpenAIFive,它参加了一场大型的电子竞技比赛,但在决赛中输给了人类玩家。

  OpenAI研究室今年推出的改良版本Open Five回归赛季,最终战胜了人类选手获得冠军。AI相关研究人员透露说,与周六在Open International 2018的失利相比,Open Five的胜利主要归功于8倍的训练计算量。

  还有很多类似的例子表明,通过增加计算量可以更好的计算结果,这种方法对强化学习来说这确实是对的。目前,强化学习也是AI研究领域最热门的方向之一。

  训练大型AI模型的财务成本

  财务成本直接影响了训练AI模型。OpenAI网站上的图表显示,该公司以1,800 petaflop/s-days的速度训练DeepMind的围棋AI——AlphaGoZero。

  Flop代表浮点运算,petaflop/s-day (pfs-day)表示每天1020次运算。Google的TPU v3处理器是一个专门用于人工智能任务的处理器,它每天可以处理0.42 1020次运算,它每个小时花费2.4至8美元。这意味着大概需要246,800至822,800美元训练AlphaGo模型,并且这个只是单纯的计算操作的成本。

  这一领域的其他显著成就也付出了类似的代价,例如,根据DeepMind发布的数据,它旗下的玩星际争霸AI由18部分组成,每一部分都使用16个Google的TPU v3处理器训练了14天,这意味着按照目前的价格水平,这家公司花费了77.4万美元训练玩星球争霸的人工智能。

  AI研究的商业化

  人工智能的计算需求对进入该领域的公司来说是一大门槛。

  总部位于英国的著名人工智能实验室DeepMind的成功主要是因为其母公司谷歌的巨大的资源投入。2014年,谷歌以6.5亿美金收购DeepMind后,为其提供了足够的资金支持和技术帮助。根据DeepMind向英国公司注册处提交的文件显示,今年早些时候,DeepMind在2018年亏损5.7亿美金,高于2017年的3.41亿美金。DeepMind今年还欠10.4亿英镑债券,其中8.83亿英镑来自Alphabet。

  另一个是“烧钱大户”是OpenAI。它最初是一个非盈利性人工智能研究实验室,2016年获得了萨姆·奥尔特曼和埃隆·马斯克10亿美元的资助。今年早些时候,OpenAI转型为盈利性人工智能研究实验室,以吸收投资者的资金。该实验室支持其研究的资金已所剩无几,今年微软又宣布将在实验室投资10亿美元。

  正如当前趋势所示,由于AI研究(特别是强化学习)的成本,使得这些实验室变得越来越依赖于有钱的公司,例如谷歌和微软。

  这种趋势迫使人工智能研究商业化。随着商业组织在为AI研究实验室提供资金方面变得越来越重要,它们甚至可以影响研究方向。目前,像谷歌和微软这样的公司可以承受运行DeepMind和OpenAI等AI研究实验室的财务费用,但是他们也希望在不久的将来获得利润。

  问题是,OpenAI和DeepMind都在追求诸如通用人工智能(AGI)之类的科学项目。这是人类尚未完全理解的领域,更不用说实现了。大多数科学家都认为目前人类距实现通用人工智能至少还要一个世纪的时间,这样的时间表使得最富有公司的耐心也得到了考验。

  对于AI研究实验室来说,一种可能的情况是逐渐将目标从长期的学术和科学研究转向能短期收益的面向商业的项目,这将使他们的投资者高兴,但总体上却不利于AI研究。

  OpenAI研究人员表示:“我们对未来AI系统中计算机的使用非常不确定,但是也很难断言算力快速增长的趋势会停止,而且我们也看到了很多因素导致这种趋势将继续下去。根据这一分析,我们认为决策者应该考虑增加AI学术研究经费,显而易见的是某些类型的AI研究所需的算力正在变得更高,因此费用会越来越高。”

  AI研究的碳排放

  训练大型人工智能模型所需的计算资源消耗了大量的能源,这也造成了碳排放问题。

  根据马萨诸塞大学阿默斯特分校的研究人员发表的一篇论文,训练一个带有2.13亿个参数的Transformer模型(常用于与语言相关的任务)所造成的污染相当于5辆汽车开到报废的排放总量。Google著名的BERT语言模型和OpenAI的GPT-2分别有3.4亿和15亿个参数。

  鉴于目前的AI研究被“越大越好”的口号所主导,人们对环境的担忧只会日益加重。不幸的是,人工智能研究者很少报道或关注他们工作的这些方面。麻省理工大学的研究人员建议人工智能论文要公开他们的模型的环境成本,并让公众更好地了解他们的研究对环境的影响。

  人工智能领域的惨痛教训

  对更大更复杂的神经网络的最后一个担忧,是它可能对AI研究的方向产生负面影响。目前,AI中一些障碍主要是通过使用更多数据并进行训练来解决。与此同时,就人类大脑和AI处理一些相同的最简单的任务来说,大脑所消耗的能量相比AI这小得多。

  过于依赖不断增加的算力,可能会使我们无法找到更有效的新的人工智能解决方案。

  将神经网络和符号派人工智能相结合的混合人工智能模型的开发是这一领域的一项有趣的领域。符号人工智能是经典的、基于规则的人工智能,与神经网络不同,符号派人工智能不是通过增加计算资源和数据来扩展的。它也很难处理现实世界中混乱的、非结构化的数据,但它在知识表示和推理方面非常出色,而这两个优势是神经网络严重缺乏的。探索混合人工智能的想法可能会为发明资源效率更高的人工智能开辟新的途径。

  在此,我们不加赘述。感兴趣的读者可以阅读加里马库斯和欧内斯特戴维斯的新书《重启人工智能》(Rebooting AI),以及计算机科学家朱迪亚·珀尔撰写的《为什么》(The book of Why)。

  “越大越好”的思想已经开始将AI研究带向深渊。科学界不应该等到下一个人工智能寒冬才开始认真思考这些问题。


本文来源:大数据文摘微信公众号

本文评论
AI合成视频以假乱真,Facebook、微软、亚马逊众筹求解
deepfake技术利用AI算法,可以“扣出”影片、图片和音频中的特定人物,将他人取而代之。而根据阿姆斯特丹网络安全初创公司Deeptrace的最新统计...
日期:12-31
2019年AI领域回顾:稳定发展还是幻想破灭?
对于人工智能(AI)领域来说,2019年堪称是个异常忙碌的年份。AI进步和登上新闻头条的速度让我们的日常生活中充满了令人敬畏和自豪的时刻。当然,有时候也...
日期:12-31
三星将在CES 2020展示手机“自拍键盘”,用AI捕捉动作
12月30日消息 根据AndroidAuthority的消息,三星宣布将在2020年国际消费电子展上展示其C-Lab孵化项目的一款产品——SelfieType,用自拍摄像头...
日期:12-31
杭州使用“小智AI”辅助法官审案:自动发问+实时生成判决书
12月26日消息 12月24日在浙江省杭州市下城区人民法院,“小智AI”辅助法官审判一起民间借贷纠纷案。小智可以向原告、被告发问,庭审完毕后立即...
日期:12-26
齐向东:5G时代网络攻击或致灾难事故,AI领域是重灾区
5G给网络安全带来众多挑战,不同的专家给出了不同见解。此前,邬贺铨在接受《5G大家谈》专访时表示,5G安全是把“双刃剑”,5G的虚拟化和软件...
日期:12-26
腾讯揭秘《王者荣耀》AI 如何击败职业选手
在今年八月份于吉隆坡举办的王者荣耀「世界冠军杯」半决赛的特设环境中,腾讯AI Lab与天美工作室合作开发的策略协作型AI「绝悟」一经亮相就在与职业选手...
日期:12-26
搜狗新品:AI录音笔C1 Pro评测,全新升级,功能更强大
对于从事文字工作的朋友们来说,智能录音笔可以说是一件常用的“工作装备”,Ta可以帮助我们将录音内容如:会议录音、采访录音等等转写成文字...
日期:12-26
小米有品众筹“故宫”智能手表:1299元
12月25日消息 小米有品近日上架了一名名为念念光阴-知足AI的智能手表,属于“上新了故宫”系列,目前正在众筹中,众筹价1299元,原价1699元。
日期:12-25
斯坦福最新研究:分析师等高薪高学历职位受AI影响最大
“什么样的工作会被人工智能替代?”
  这可能是在各大媒体头条中最常见的问题之一。随着近年来人工智能的兴起,其应用也逐渐渗透到各个...
日期:12-25
紫光国微:紫光5G超级SIM卡今日上市
5G时代的SIM卡应该啥样?紫光给出了答案。12月23日,由紫光国微与联通合作推出的5G超级SIM卡,在广州联通新时空营业厅正式上市首销,相比普通SIM卡,拥有...
日期:12-25
按AI顶会评实力:腾讯和清华分获中国产学No.1
一年一度AI研究排名来了!
  这一次,排名分析了两大AI顶会——NeurIPS和ICML。
  排名研究了2200篇被接受的论文,还列出了一份...
日期:12-25
10年投资1160亿美元!三星想抢芯片霸主地位
12月25日消息,据外媒报道,科技巨头们越来越多地自主设计半导体芯片,以优化AI功能、提高服务器性能及延长电池续航时间等。谷歌拥有张量处理单元(TPU),...
日期:12-25
逃离利润谷底:国产芯押注AI潮
人工智能的应用浪潮推动了国产芯片的替代进程。为打破垄断,国内头部及传统的IC制造商试图绕过被英伟达垄断的GPU框架,集体转向设计并研制专用计算芯片(A...
日期:12-23
字节跳动收购AI游戏技术研发商深极智能
12月23日上午消息,天眼查数据显示,12月20日,北京深极智能科技有限公司发生工商变更,新增投资方北京量子跃动科技有限公司,并成为该公司唯一股东,原...
日期:12-23
AI声音皮肤:用东北话说“假如生活欺骗了你,不要抱怨,抱我”
南都讯 记者陈志芳 朱芳圆 12月21日,极客公园创新大会十周年在北京举行未来趋势论坛。搜狗CEO王小川在会上说,语音识别技术解决难点有语义理解、智能降...
日期:12-23
满地乐高有救了!用乐高拼一台AI识别器:自动分拣所有乐高零件,2秒一个
乐高,一款可以充分锻炼人的创造力与想象力的积木玩具,连成年人也对它爱不释手。
日期:12-23
腾讯开源项目Angel正式从LF AI基金会毕业
12月20日消息,Linux基金会旗下LF AI基金会(Linux Foundation Artificial Intelligence Foundation)正式宣布,腾讯开源项目Angel从LF AI基金会毕业,也是...
日期:12-23
台媒:华硕新秘密武器锁定AI
12月21日消息 据中国台湾媒体报道,华硕董事长施崇棠昨日表示,华硕2020年设立的目标会更积极,从创新中增加出货量。施崇棠还提及如何让每天在用的手机、...
日期:12-23
腾讯Angel成为国内首个从LF AI基金会毕业的开源项目
12月20 日,Linux 基金会旗下面向 AI 领域的顶级基金会——LF AI 基金会(Linux Foundation Artificial Intelligence Foundation)宣布,腾讯开...
日期:12-21
美国通过新法案:一个AI骚扰电话可罚一万美元
12月20日消息 据外媒报道,经过几个月的谈判,美国国会周四通过了一项具有里程碑意义的法案,旨在阻止AI骚扰电话(robocalls)的泛滥。美国总统特朗普有望...
日期:12-21