首页 > 公司 > 内容页

Meta做AI“起了个大早,赶了个晚集”,大量研究人员离职

2023-06-19 09:17:35 来源:腾讯网

划重点

1、早在十年前,Meta创始人兼首席执行官扎克伯格就看到了人工智能的乐观前景,并投入了大量资金开发相关技术。


(资料图)

2、在人工智能研究公司OpenAI推出聊天机器人ChatGPT几个月后,Meta发现自己在开发大语言技术方面落伍。

3、在过去1年中,Meta大量人工智能研究人员离职,ChatGPT发布之后,这些人离职的速度开始加快。

4、多年来,Meta始终在人工智能领域以学术研究为主,并免费分享成果。现在,该公司已经改变战略,集中资源开发可商用产品,包括聊天机器人。

腾讯科技讯 早在十年前,Facebook母公司Meta创始人兼首席执行官马克·扎克伯格(Mark Zuckerberg)就看到了人工智能的乐观前景,并投入了大量资金开发相关技术,并聘请了富有远见的人工智能专家杨立昆(Yann LeCun)来领导这项业务。然而,就在人工智能研究公司OpenAI的聊天机器人ChatGPT进入消费者市场几个月后,Meta却发现自己在同样的技术上落伍了。

Meta首席执行官兼创始人扎克伯格对该公司的人工智能工作获得了更多控制权

大量AI专家离职,小扎获得更多战略控制权

多年来,Meta始终在优先考虑学术发现,并免费分享它们,同时努力利用它们的商业潜力。现在,该公司正重新集中资源,在开发可用的人工智能产品和功能,包括自己的聊天机器人。

这是一个艰巨的任务,因为Meta的许多顶级人工智能专家已经离职,而且该公司在扎克伯格所谓的“效率之年”进行了一系列裁员。分析报告显示,约有三分之一的员工在去年离开了与大语言模型(LLM)相关的研究。大语言模型是为ChatGPT等人工智能系统提供动力的复杂系统。

自那以后,Meta失去了许多人工智能研究人员,他们在去年从事这些和其他关键的生成式人工智能项目,许多人认为Meta已经筋疲力尽,或者对Meta失去信心,认为其无法追上竞争对手。据职业社交网站LinkedIn上的资料和知情人士透露,为LLaMA撰写研究论文的14位作者中,有6位已经离职或宣布将离职。在为OPT撰写论文的19位共同作者中,也有8位离职。

在OpenAI去年11月发布ChatGPT之后,这些人离职的速度开始加快。有些人是被人工智能创业的狂热所吸引,这股热潮推动了包括谷歌在内的硅谷公司人事发生剧烈变动。LinkedIn上的材料显示,截至今年3月,该网站上提到GPT的招聘信息同比增长了79%。

Meta的一位发言人表示,该公司一直在持续招聘和引进新的人工智能人才。ChatGPT首次亮相后,扎克伯格、首席产品官克里斯·考克斯(Chris Cox)以及首席技术官安德鲁·博斯沃思(Andrew Bosworth)一起负责公司所有与人工智能相关的工作。这三位高管现在每周花几个小时研究人工智能,参加会议并审核人工智能项目。

缺席白宫AI峰会,硬件开发和研发策略失误

扎克伯格和其他高管称人工智能是Meta的“第三条腿”,他们认为人工智能与全球连接、虚拟现实和增强现实一样,对公司的长期增长和相关性至关重要。在人工智能领域落后可能会让Meta显得呆滞而迟缓,而不是创造了“快速行动、打破常规”(move fast and break things)、并引领硅谷创新步伐的灵活、积极进取的后起之秀。

今年5月,美国白宫没有邀请Meta参加人工智能领导人峰会,该峰会被宣传为“走在人工智能创新前沿的公司”会议。

Meta以前也曾在落后的时候紧急转向,比如它把Facebook从桌面广告业务转变为移动优先广告业务,或者在2016年在Instagram上推出Stories功能以吸引人们离开Snapchat。Snapchat早在10年前就推出了类似的功能。

Meta还面临着其他战略、政治和财务方面的挑战。长期以来,Meta的人工智能部门始终专注于原创研究,这阻碍了生成式人工智能的发展,比如ChatGPT等能够生成类似真人撰写文本和其他内容的系统。高管们在设计运行此类人工智能程序所需的硬件时犯了错误,该公司目前正试图纠正这一错误。多年来,对Meta处理用户数据和侵犯隐私行为的审查,使许多高管犹豫不决,对推出面向消费者的新人工智能产品持谨慎态度。

Meta于2013年开始投资人工智能。扎克伯格和当时的首席技术官迈克·施罗普夫(Mike Schroepfer)曾亲自寻求聘请一位人工智能领域的领军人物来领导其新创立的研究部门,以推进这项技术发展。他们选中了纽约大学教授杨立昆,他因在该领域完成了的突破性工作而享有盛誉。

杨立昆管理Meta的人工智能研究部门已有十年之久,他始终以学术界常见的方式来研究人工智能突破,专注于发表和分享发现

杨立昆始终遵循于传统的学术和基础研究,他在创造一种反映他优先事项的文化方面发挥了重要作用,包括雇用科学家而不是工程师,强调学术成果,如研究论文,而不是为公司的最终用户开发产品。知情人士表示,多年来,这一战略使Meta的基础人工智能研究实验室对顶尖人才极具吸引力,但也影响了该公司将其技术成果商业化的能力。

同时,杨立昆也鼓励采用一种分散的、自下而上的方法来制定研究方向和配置资源。知情人士称,研究人员各自推动自己的议程,在不同的方向上追求独立项目,而不是在全公司范围内制定更有凝聚力的战略。Meta在每个项目中将硬件分成小块:如果有些研究人员得到了比他们需要的更多计算机芯片,他们会把它们用在不必要的任务上,而不是交公。

与此同时,Meta在为其数据中心配备人工智能开发所需的最强大计算机芯片方面进展缓慢。即使公司获得了更多的这种芯片,它也没有绝佳的系统来把它们送到工程师和研究人员手中。有些人说,有时会有数千件令人垂涎的昂贵硬件处于闲置状态,无人使用。

Meta正在对其数据中心进行改造,这可能是造成当前困局的原因之一。Meta在一篇博客文章解释称,截至今年5月,该公司最新的人工智能项目超级计算机拥有1.6万个这样的芯片。

据知情人士透露,随着大语言模型在2020年开始显示出越来越强大的能力,Meta的人工智能研究部门内部的紧张局势加剧,有人敦促公司认真投资于该行业的新方向。而包括杨立昆在内的人则认为,这些模型是缺乏科学价值的时尚噱头。有些人说,杨立昆在内部和公开场合都强烈反对大语言模型,他认为它们不会让人工智能更接近人类的智能水平,这使得持反对意见的研究人员很难获得这类项目所需的支持和大量资源。

有些Meta研究人员以更少的资源继续推进大语言模型的研发,在2022年使用大约1000个芯片构建出名为OPT(开放预训练转换器)的大语言模型,在2023年使用大约2000个芯片制造出Meta的旗舰模型LLaMA。相比之下,行业标准是使用5000到10000个芯片。最初,Meta允许有限的外部研究人员访问LLaMA,然后它被泄露到网上,引发了一系列创新,高管们认为这是Meta分享其人工智能技术成果的一个重要例证。

创建生成式AI团队,训练AI大模型

扎克伯格本人和其他高管对公司的人工智能战略有了更多的控制权。他们创建了新的生成式人工智能团队,直接向首席产品官考克斯汇报工作,他是Meta任职时间最长、最受信任的高管之一。

扎克伯格透露,该团队正在训练生成式人工智能模型,这些模型可以生成文本、图像或音频等内容,目的是融入“我们的每一款产品”。他曾吹捧Meta的旗舰人工智能语言模型LLaMA,在其代码泄露后,该模型刺激了原生工具的出现,有朝一日可能与谷歌和OpenAI试图销售的产品竞争。

如果Meta成功地将其人工智能技术商业化,可能有助于提高用户参与度,创造更好的元宇宙,并使该公司对年轻用户更具吸引力。事实证明,年轻用户现在越来越难以被吸引到Meta上。但是,如果Meta不能足够快地利用这项技术,它将面临失去用户粘性的风险,因为竞争对手都将一飞冲天,包括一批快速增长的人工智能初创公司。

Meta人工智能研究副总裁乔尔·皮诺(Joelle Pineau)在一份声明中表示,该公司在人工智能研发方面并未落后,并为其专注于研究和结构进行了辩护,称这将使Meta走向成功。

皮诺说:“Meta的人工智能研究部门是世界上人工智能研究人员和开放科学的主要目的地之一,其研究成果仅在去年就大幅增加。我们的研究突破为我们的应用家族带来了一种新的生成式人工智能体验。无论是过去还是现在,我们都为Meta的人工智能研究人员感到自豪,他们为帮助塑造最先进的人工智能未来做出了巨大贡献。”

扎克伯格上周宣布推出名为Voicebox的人工智能模型,该模型可以以不同的方式朗读文本提示,或者通过文本提示来纠正录音,以消除背景噪音,比如狗叫。Meta没有透露该研究项目何时向公众开放。

图3:位于美国加州门洛帕克的Meta总部

新的生成式人工智能团队专注于构建可用的产品和工具,而不是进行科学研究。该团队已经收到了超过2000份内部申请,并迅速聚集了来自不同团队的数百名员工。知情人士表示,硬件资源已从人工智能研究部门转移,正被用于训练新的生成式人工智能模型。

今年3月,扎克伯格表示,“推进人工智能并将其融入我们的每一款产品”是该公司最大的一笔投资。在今年5月举行的Meta年度股东大会上,扎克伯格表示,公司也希望将这项技术扩展到元宇宙中。

Meta发言人证实,在本月早些时候举行的全体员工会议上,扎克伯格宣布了该公司目前正在开发的一系列生成式人工智能产品。这些举措包括为Messenger和WhatsApp引入人工智能代理,用户可以根据文本提示生成并在聊天中分享人工智能贴纸,以及一项照片生成功能,该功能允许Instagram用户使用文本提示修改自己的照片,然后在Instagram Stories中分享。

扎克伯格还分享了一些面向员工的内部生成人工智能工具,其中包括一款名为Metamate的办公助手,它可以从内部资源中提取信息,根据员工的要求执行任务。Meta发言人说,Metamate最近作为试运行项目在大批员工中推出。

扎克伯格称:“去年,我们在生成人工智能方面看到了许多真正令人难以置信的突破,质的突破。”

面临广泛挑战,对风险容忍度越来越低

不过,Meta仍然面临着广泛的挑战。知情人士表示,在政府和媒体对其用户隐私做法进行了7年的严格审查之后,该公司对风险的容忍度越来越低,这在如何以及何时推出人工智能产品方面造成了影响。Meta在开发和发布大语言模型时不得不考虑其公众声誉,这可能会产生错误的答案或冒犯性的言论。

据知情人士透露,几年前,Meta的人工智能研究人员曾开发一款代号为Tamagobot的聊天机器人,该机器人基于一个大语言模型系统的早期版本。其中一名知情人士表示,该团队对Tamagobot的表现印象深刻,但得出的结论是,在该公司因在2016年总统选举期间允许虚假信息在其平台上泛滥而面临激烈批评的情况下,不值得推出这款机器人。

2022年8月,Meta发布了其聊天机器人BlenderBot 3,也体现了对公众监督的担忧。发布不到一周,BlenderBot 3就因发表虚假声明、攻击性言论和种族歧视言论而受到严厉批评。该系统还称扎克伯格“令人毛骨悚然,善于操纵”。

Meta发言人表示,在研究结束之前,该项目仍将持续一年多的时间,该公司在整个生命周期中都保持了公开透明的态度。他补充说,Meta已经发布并见证了许多其他项目,这些项目表明该公司愿意承担风险。

但这种情况在2022年11月再次上演,当时该公司发布了以科学为重点的大语言模型Galactica。该系统因其错误和有偏见的答案而遭到科学家批评,在发布三天后就被Meta关闭。但短短两周后,OpenAI就发布了ChatGPT。(文/金鹿)

关键词: