吴恩达chatgpt课程,你怎么看待人工智能的未来?
2020年是不寻常的一年,全球的健康、贸易、经济、文化、政治和科技领域,无不发生着深刻的变化。笔者所在的科技领域,也恰逢现代人工智能(简称AI)发展10周年。前10年,人工智能技术得到了长足的发展,但也留下许多问题有待解决。那么,未来AI技术将会如何发展呢?本文将结合学术界、工业界的研究成果,以及笔者个人研究见解,从算力、数据、算法、工程化4个维度,与读者一起探索和展望AI发展的未来。

一
数据
我们首先分析数据的发展趋势。数据对人工智能,犹如食材对美味菜肴,过去10年,数据的获取无论是数量,还是质量,又或者是数据的种类,均增长显著,支撑着AI技术的发展。未来,数据层面的发展会有哪些趋势呢,我们来看一组分析数据。
首先,世界互联网用户的基数已达到十亿量级,随着物联网、5G技术的进一步发展,会带来更多数据源和传输层面的能力提升,因此可以预见的是,数据的总量将继续快速发展,且增速加快。参考IDC的数据报告(图1),数据总量预计将从2018年的33ZB(1ZB=106GB),增长到2025年的175ZB。
其次,数据的存储位置,业界预测仍将以集中存储为主,且数据利用公有云存储的比例将逐年提高,如图2、图3所示。
以上对于未来数据的趋势,可以总结为:数量持续增长;云端集中存储为主;公有云渗透率持续增长。站在AI技术的角度,可以预期数据量的持续供给是有保证的。
另一个方面,AI技术需要的不仅仅是原始数据,很多还需要标注数据。标注数据可分为自动标注、半自动标注、人工标注3个类别。
那么,标注数据未来的趋势会是怎样的?
我们可从标注数据工具市场的趋势窥探一二,如图4所示。可以看到,人工标注数据在未来的5-10年内,大概率依然是标注数据的主要来源,占比超过75%。
通过以上数据维度的分析与预测,我们可以得到的判断是,数据量本身不会限制AI技术,但是人工标注的成本与规模很可能成为限制AI技术发展的因素,这将倒逼AI技术从算法和技术本身有所突破,有效解决对数据特别是人工标注数据的依赖。
二
算力
我们再来看看算力。算力对于AI技术,如同厨房灶台对于美味佳肴一样,本质是一种基础设施的支撑。
算力指的是实现AI系统所需要的硬件计算能力。半导体计算类芯片的发展是AI算力的根本源动力,好消息是,虽然半导体行业发展有起有落,并一直伴随着是否可持续性的怀疑,但是半导体行业著名的“摩尔定律”已经经受住了120年考验(图5),相信未来5-10年依然能够平稳发展。
不过,值得注意的是,摩尔定律在计算芯片领域依然维持,很大原因是因为图形处理器(GPU)的迅速发展,弥补了通用处理器(CPU)发展的趋缓,如图6所示,从图中可以看出GPU的晶体管数量增长已超过CPU,CPU晶体管开始落后于摩尔定律。
当然,半导体晶体管数量反映整体趋势可以,但还不够准确地反映算力发展情况。对于AI系统来说,浮点运算和内存是更直接的算力指标,下面具体对比一下GPU和CPU这2方面的性能,如图7所示。可以看出,GPU无论是在计算能力还是在内存访问速度上,近10年发展远超CPU,很好的填补了CPU的性能发展瓶颈问题。
另一方面,依照前瞻产业研究院梳理的数据,就2019年的AI芯片收入规模来看,GPU芯片拥有27%左右的份额,CPU芯片仅占17%的份额。可以看到,GPU已成为由深度学习技术为代表的人工智能领域的硬件计算标准配置,形成的原因也十分简单,现有的AI算法,尤其在模型训练阶段,对算力的需求持续增加,而GPU算力恰好比CPU要强很多,同时是一种与AI算法模型本身耦合度很低的一种通用计算设备。
除了GPU与CPU,其他计算设备如ASIC、FGPA等新兴AI芯片也在发展,值得行业关注。鉴于未来数据大概率仍在云端存储的情况下,这些芯片能否在提高性能效率的同时,保证通用性,且可以被云厂商规模性部署,获得软件生态的支持,有待进一步观察。
三
算法
现在我们来分析算法。AI算法对于人工智能,就是厨师与美味佳肴的关系。过去10年AI的发展,数据和算力都起到了很好的辅助作用,但是不可否认的是,基于深度学习的算法结合其应用取得的性能突破,是AI技术在2020年取得里程碑式发展阶段的重要原因。
那么,AI算法在未来的发展趋势是什么呢?这个问题是学术界、工业界集中讨论的核心问题之一,一个普遍的共识是,延续过去10年AI技术的发展,得益于深度学习,但是此路径发展带来的算力问题,较难持续。下面我们看一张图,以及一组数据:
1. 根据OpenAI最新的测算,训练一个大型AI模型的算力,从2012年开始计算已经翻了30万倍,即年平均增长11.5倍,而算力的硬件增长速率,即摩尔定律,只达到年平均增速1.4倍;另一方面,算法效率的进步,年平均节省约1.7倍的算力。这意味着,随着我们继续追求算法性能的不断提升,每年平均有约8.5倍的算力赤字,令人担忧。一个实际的例子为今年最新发布的自然语义预训练模型GPT-3,仅训练成本已达到约1300万美元,这种方式是否可持续,值得我们思考。
2. MIT最新研究表明,对于一个过参数化(即参数数量比训练数据样本多)的AI模型,满足一个理论上限公式:
上述公式表明,其算力需求在理想情况下,大于等于性能需求的4次方,从2012年至今的模型表现在ImageNet数据集上分析,现实情况是在9次方的水平上下浮动,意味着现有的算法研究和实现方法,在效率上有很大的优化空间。
3. 按以上数据测算,人工智能算法在图像分类任务(ImageNet)达到1%的错误率预计要花费1亿万亿(10的20次方)美元,成本不可承受。
结合前文所述的数据和算力2个维度的分析,相信读者可以发现,未来标注数据成本、算力成本的代价之高,意味着数据红利与算力红利正在逐渐消退,人工智能技术发展的核心驱动力未来将主要依靠算法层面的突破与创新。就目前最新的学术与工业界研究成果来看,笔者认为AI算法在未来的发展,可能具有以下特点:
(1)先验知识表示与深度学习的结合
纵观70多年的人工智能发展史,符号主义、连接主义、行为主义是人工智能发展初期形成的3个学术流派。如今,以深度学习为典型代表的连接主义事实成为过去10年的发展主流,行为主义则在强化学习领域获得重大突破,围棋大脑AlphaGo的成就已家喻户晓。
值得注意的是,原本独立发展的3个学派,正在开始以深度学习为主线的技术融合,比如在2013年,强化学习领域发明了DQN网络,其中采用了神经网络,开启了一个新的研究领域称作深度强化学习(Deep Reinforcement Learning)。
那么,符号主义类算法是否也会和深度学习进行融合呢?一个热门候选是图网络(Graph Network)技术,这项技术正在与深度学习技术相融合,形成深度图网络研究领域。图网络的数据结构易于表达人类的先验知识,且是一种更加通用、推理能力更强(又称归纳偏置)的信息表达方法,这或许是可同时解决深度学习模型数据饥渴、推理能力不足以及输出结果可解释性不足的一把钥匙。
(2)模型结构借鉴生物科学
深度学习模型的模型结构由前反馈和反向传播构成,与生物神经网络相比,模型的结构过于简单。深度学习模型结构是否可以从生物科学、生物神经科学的进步和发现中吸取灵感,从而发现更加优秀的模型是一个值得关注的领域。另一个方面,如何给深度学习模型加入不确定性的参数建模,使其更好的处理随机不确定性,也是一个可能产生突破的领域。
(3)数据生成
AI模型训练依赖数据,这一点目前来看不是问题,但是AI模型训练依赖人工标注数据,是一个头痛的问题。利用算法有效解决或者大幅降低模型训练对于人工标注数据的依赖,是一个热点研究领域。实际上,在人工智能技术发展过程中一直若隐若现的美国国防部高级研究计划局(DARPA),已经将此领域定为其AI3.0发展计划目标之一,可见其重要程度。
(4)模型自评估
现有的AI算法,无论是机器学习算法,还是深度学习算法,其研发模式本质上是通过训练闭环(closed loop)、推理开环(open loop)的方式进行的。是否可以通过设计模型自评估,在推理环节将开环系统进化成闭环系统也是一个值得研究的领域。在通信领域,控制领域等其他行业领域的大量算法实践表明,采用闭环算法的系统在性能和输出可预测性上,通常均比开环系统优秀,且闭环系统可大幅降低性能断崖式衰减的可能性。闭环系统的这些特性,提供了对AI系统提高鲁棒性和可对抗性的一种思路和方法。
四
工程化
上文已经对人工智能数据、算力、算法层面进行了梳理和分析,最后我们看看工程化。工程化对于人工智能,如同厨具对于美味佳肴一样,是将数据、算力、算法结合到一起的媒介。
工程化的本质作用是提升效率,即最大化利用资源,最小化减少信息之间的转换损失。打一个简单的比喻,要做出美味佳肴,食材、厨房灶台、厨师都有,但是唯独没有合适的厨具,那么厨师既无法发挥厨艺(算法),又无法处理食材(数据),也无法使用厨房灶台的水电气(算力)。因此,可以预见,工程化未来的发展,是将上文提到的算力与算法性能关系,从现在的9次方,逼近到理论上限4次方的重要手段之一。
过去10年,AI工程化发展,已形成一个明晰的工具链体系,近期也伴随着一些值得关注的变化,笔者将一些较为明显的趋势,汇总如下:
总结来说,AI工程化正在形成从用户端到云端的,以Python为编程语言的一整套工具链,其3个重要的特点为:远程编程与调试,深度学习与机器学习的GPU加速支持,以及模型训练与推理工具链的解耦。与此同时,产业链上游厂商对开源社区的大量投入,将为中下游企业和个人带来工具链的技术红利,降低其研发门槛和成本,笔者认为微软、脸书、英伟达3家上游厂商主推的开源工具链尤其值得关注。
五
结语
对于人工智能技术过去10年发展取得的成就,有人归因于数据,也有人归因于算力。未来人工智能技术发展,笔者大胆预测,算法将是核心驱动力。同时,算法研发的实际效率,除了算法结构本身,还取决于设计者对先进工具链的掌握程度。
未来10年,科技界是否能用更少的数据,更经济的算力,获得真正意义上的通用智能呢?我们拭目以待。
为什么我国的公司弄不出来ChatGPT这样厉害的东西?
ChatGPT公开测试两个月来,迅速火爆成为全球一亿多用户推崇的“对话机器人”,这是人类语言分析算法的重大进步,一次自然语言智能化的飞跃。
我国早在几十年前就开始有语言分析的智能化算法的研究,不过研究步伐和进度比较缓慢。主要原因是:
从事研究的人很少。我国改革几十年来,经济上的高GDP导致百姓以物质追求为主,能安心追求前沿技术的人几乎没有。目前国内研究的人主要是大学导师所带的个别研究生,这些研究生一旦学业结束,后续基本不再继续研究。其次是个别头部IT公司的“实验型项目”,以聘请的海归为主,其成果主要是抄袭和借鉴国外开源项目。人类语言智能化算法是跨学科的。我国在高中就分为文科、理科,造成的结果是懂语言的人不会做算法研究,懂数学不会语言研究。个别懂文懂理双料的人,不屑研究这种缥缈的智能化,因为在我国赚钱/搞钱是人生最大的事。我国数学教育有很大缺陷,从小就灌输数字被认为用来“计算”的,错误地认为:人工算的快才是数学好。而数学的真正的本质是发现“自然规律”,不是“计算”。导致我国人习惯在已有规律上,追求“计算效率”,忽略了发现未知的规律,在国际算法(自然规律)方面,落后国外。我国汉语历史久远,从汉语入手来研究自然语言的分析算法,很容易陷入被动。ChatGPT初创公司是2015年成立的非盈利公司,看清楚,是非盈利的。其创始人CEO是一个和马斯克年轻时代一样经历的科技和商业有很大建树的人,有钱又不懈对技术的追求。我国基础教育、社会教育和企业文化,既有优点,也有一些缺陷。如:喜欢对别人贴标签(内向、外向、活泼等),对不同意见缺少包容(那人脑子有问题),在公司要学会服从(别想瞎搞和创新)……古今中外,搞发明创造的几乎都是被国人戏称“木讷”的人,包括马斯克、ChatGPT的CEO、皮尔盖茨、乔布斯、周星驰、丘成桐……这些人都很木讷,和这些人聊天,不合他们胃口的话题,他们都不怎么说话,不善人情、不会敬酒、不会讨好。ChatGPT是非盈利,公司化的创新,是“一伙”,不是一个人的成果。国外很多改变人类的公司都是一伙人的共同努力的,苹果公司不是乔布斯一人的公司,微软也不是比尔盖茨一人创立的。但在我国,有种说法——不要做合伙生意。我国很多人,有不认同合伙人的观念。
以上仅为个人看法,不知你有什么补充的。
中国在智能AI领域与美国的差距有多大?
谢邀!
注意到此问题下面有了近50个(其中不乏不错的)答复了,那从前天开始,就借用万维钢在得到上的《商业战略解析》对《我们在AI应用上会落后吗?》解答的部分内容,来回应几个相关的问题。在回应《中国在AI领域的优势和劣势是什么?( https://www.toutiao.com/answer/7213700935326843193 )》的最后谈到,GPT对比于自然语言处理,就如同AlphaZero对比于人类棋手总结的围棋套路。事实证明先靠人类总结规律再教给计算机是个笨办法,是让人的思维拖累了计算机的思维。原来让计算机直接暴力破解才是最根本、最快、最好的办法。人类棋手还可以继续学围棋套路,毕竟围棋这个游戏本身就很有意思。
这儿接着谈。
可是NLP研发人员、教授和学生们该何去何从呢?网络社区里已经在弥漫悲观情绪——有些从业者最初的态度是否认——就如同绝症患者最初的反应一样……可是本周GPT-4一出来,局面已经非常明显了。前两天我刚看到一个消息,“第二十二届中国计算语言学大会”将在2023年8月3日在哈尔滨举行,现在正在征集论文。论文主题包括机器翻译和多语言信息处理、问答系统、机器阅读理解、文本生成、文本摘要、人机对话等等等等……全都是GPT已经用更好的方法给解决完了的。这个大会已经有三十多年的历史,也许今年是他们最后一年。也许会议主题应该改为“GPT已经来了,我们如何重新找工作”。你的安身立命之法,你钻研了十几年甚至几十年的技术,一夜之间都没有意义了,这是何等的难过。其实被颠覆的不仅仅是NLP这一个学科,其他AI学科,比如贝叶斯分析学派,也都面临危机。著名语言学家乔姆斯基几周前在《纽约时报》发表文章抨击ChatGPT,结果评论区全是骂他的。朋友们,新时代来了,很多东西都过时了。最荒诞的是GPT并不是故意要淘汰那些学科的,它可能根本都没想过那些学科,只是一次幸运的技术突变导致了这一切。毁灭你,与你何干?所以赌一门过于狭窄的技术是危险的。回到刚才的问题,数据科学的应用范围更广,不仅限于AI。就算将来AI接管数据分析,你还可以用相关的知识帮助别人理解数据和根据数据做决策,所以也许相对更安全。来自日课:更聪明的社会读者 Ming、70man:用AI协调和精确预测的社会,听上去像计划经济社会,只不过计划做的更精确更合理了,AI是偏向权力集中的技术吗?以后会不会成为“超级计划”的社会呢?回复——几年前有些互联网大佬说现在AI预测这么厉害,我们可以回到计划经济——他们这是完全错误的认识。计划经济的本质不是预测,而是指令和控制。我预测明年会流行蓝色服装面料,所以我计划今年多生产一些蓝色布匹,这不是计划经济。计划经济是国家今年给你们工厂分配了这么多蓝色布匹的任务,收购价格和收购数量都是固定的,你完成任务就好。前者你是主动的,后者你是被动的。AI预测是更好地面对市场的不确定性;计划经济却是要消除不确定性。我们专栏第四季有一期叫《“利润”究竟是什么》,讲了经济学家法兰克·奈特关于市场不确定性的理论。市场不确定性的根本来源是人的欲望的不确定:今年喜欢红色明年喜欢蓝色,我爱喜欢什么就喜欢什么,这你管不了。市场经济,是企业家猜测消费者喜欢什么,甚至可以发明新的喜欢。这本质上是赌,赌错了你会损失惨重。在计划经济中,人们放弃了赌,说干脆国家安排我生产啥我就生产啥。你的确可以在相当程度上收获安全和稳定,但是你必须让渡自主性,你一切都得服从上面的安排。那你说“上面”会不会积极预测明年老百姓喜欢什么,好制定更好的计划呢?不会的。开什么玩笑,现在经济是我说了算,我让生产什么就生产什么,那自然就是我生产什么他们就应该喜欢什么!一切都听我安排,井然有序,岂不是更好?只有市场经济才能让老百姓的日子多姿多彩。经济一定是一管就死,AI也不能改变这个道理。再将昨天的#思进每日美股点评#中的部分内容和大家分享一下吧:03月23日:首先要说的是,【美联储宣布加息25个基点,经济进入“滞胀”越来越明显了】不出所料,美联储3月加息25个基点,但由于通胀有韧性,再次判断,美联储至少还将小幅加息两次,因此,千万别指望(至少在明年上半年之前看不到)降息会很快到来,基准利率更将在高位维持很长一段时间。目前来看,银行业风波虽然是可控的,但会冲击需求,对经济增长和通胀将可能会同时产生抑制作用,而由于产业链正在转移的过程之中,会多少会降低对美国的供给,这会抵消对需求的冲击,以及对通胀的影响,这正是我从前年就开始多次警示的:未来经济将有可能陷入的滞胀。有史可鉴,“滞胀”环境下,对股票、债券、本币汇率大多为利空,金融资产估值也将承压。请特别注意,尽管最近出现的银行危机,美联储声明的依然重申“这些影响的程度是不确定的。委员会仍高度关注通胀风险!”;同时,“美国银行体系健全且富有弹性……若有需要,准备好适当调整政策立场”。这样说吧,美联储对经济投下信任票是个好消息,不过,它也提醒人们,通胀仍然是政策制定者心目中的主要问题!这段日子,好多投资者认为银行业危机可能会对经济增长造成足够的压力,从而缓解通胀压力。但是,美联储并没有心存侥幸,利率将可能会保持高位,直到美联储看到就业市场明显减速。请注意,周四的美国劳工部报告上周初请失业救济数据意外下降,显示劳动力市场状况仍然极为紧张,即就业市场依然非常之好。再提几点:1、【孙宇晨被起诉!涉欺诈性操纵市场】美国SEC指控孙宇晨及其公司欺诈交易并通过名人非法推广加密虚拟币,八位美国名人被同时指控非法推广孙宇晨的加密资产证券;2、【Coinbase盘前跌幅扩大至21%】全球第二大加密虚拟币交易平台Coinbase收到美国证交会的非正式提醒,指其可能存在违反美国证券法的行为,或将面临指控(思进点评:那第一大平台还会远吗?之前提过,其实,这次硅谷银行的事情,和他们有直接的关系);3、【不实消息:大量资金迁移香港】第一财经:近期,市场传言硅谷银行和瑞信事件导致欧美数千亿美元资金涌入香港。但香港渣打银行、汇丰银行的两名客户经理22日对第一财经记者表示:“暂时没感觉特别多”。接受记者采访的外资行人士和业内专家提及,短期HIBOR(香港银行同业拆借利率)出现暴涨,说明银行间钱紧,而非资金充裕,欧美存款涌入与否仍待数据佐证。一个积极的迹象是,随着疫情后香港通关、商务往来不断正常化,访港内地旅客的开户需求明显攀升。目前内地人士赴港开户数大增,只是入金较难较少。最后再提一下,面对高通胀,美联储祭出了数十年未见的激进加息。有意思的是,在之前一年多时间里,不管是市场普遍共识、还是各种著名专家对美联储的预测都一次次被“打脸”。其实非常简单,美联储别无选择,两害相权取其轻,必须加息缩表,将通胀降到2%上下。Last but not least, 再次维持之前的多次判断,只有当美国经济进入温和的经济衰退,甚至硬着陆,失业率上升,美联储确认将可能实现2%的通胀目标之后,才有可能开始降息,在此之前,将至少维持目前较高的利率水准,点到为止吧……最后,再顺便打个小广告,全球发行的《看懂財經新聞:賺錢門道》上架、《财经金融科普漫画书系(套装共4册)》出齐,以及我策划、和粮食问题专家冰清合著的《大国粮食》新鲜出炉,谢谢关注!你对这个问题有什么更好的意见吗?欢迎在下方留言讨论!