whatsapp 加中国好友
最近,OpenAI CEO山姆·奥尔特曼(Sam Altman)与他的老朋友YC总裁陈嘉兴(Garry Tan)围绕人工智能及初创企业的前景展开了一场深刻的对话。
奥尔特曼强调,当前AI技术仍处于快速提升的初期阶段,未来的发展空间巨大,他鼓励创业者紧抓这一科技浪潮,在早期阶段利用AI实现飞跃式增长。他认为,大公司受限于复杂的规划周期,初创公司则可以凭借速度、专注度和适应力脱颖而出,创造出更具竞争力的产品和服务。
在谈及AGI的发展路径时,奥尔特曼描绘了从“聊天机器人”到“智能代理”再到“创新者”的各个阶段发展。他预测,AI未来将逐步具备持续探索未知现象的能力,并可能在科学创新方面取得重大突破。
此外,奥尔特曼鼓励创业公司通过AI赋能,形成小规模、高效率的团队运作模式,甚至可能会涌现出由少数人甚至1人加上大算力驱动的公司,实现资源的极致利用。
我们从一开始就定下了要追求“通用人工智能”(AGI)的目标。然而,在当时的研究领域,几乎没有人敢提及AGI,因为这被视为一种极其疯狂、难以实现的想法。
当时我们的资源远远少于DeepMind等其他公司,所以我们说,好吧,他们会尝试很多方向,我们只需选择一个并集中精力攻克。这就是我们的取胜之道。
大多数人仍然无法理解对一个单一赌注投入极端信念的价值所在。我对当前创业公司感到兴奋,正是因为世界对这一切仍然处于“未完全觉醒”的状态。
至少可以说目前是的,当然希望未来还会有更好的机会。每次重大的技术革命都会让人们实现此前无法想象的事情。
当一切进展缓慢、变化不大时,大公司占据优势;而当像互联网、移动互联网或半导体革命这样的重大变革来临时,初创公司反而能占得先机。
你在文章中还提到一个很宏大的想法:超智能(Artificial superintelligence,ASI)的实现可能只剩几千天的时间了。
如果过去三年的发展速度能在未来三年、六年甚至九年继续下去,这个系统将会变得更强大。九年就是3300天左右。
像o1这样的系统,在某些特定领域的封闭任务上已经表现得相当智能了,然而,我认为我们还远未触及极限。
这篇文章极具“技术乐观主义”色彩。它认为,我们可能有机会解决气候问题,建立太空殖民地,揭示物理学的所有奥秘,实现近乎无限的智能和能源。
丰富的能源似乎是一个相当重要的问题。假如我们真的进入了能源充盈的时代,机器人可以实际制造和做任何事,几乎所有的体力劳动都可以带来物质进步,而不仅仅是为最富有的人所掌控。
他很喜欢讲你如何进入YC的故事。当时你是斯坦福的一年级新生,而那是 YC 的首个批次,是2005年。他对你说:“你还只是个新生,明年再来吧。”而你回答说:“我是大二学生了,我现在就要加入。”
我的记忆是,当时我需要改期面试,Paul 可能就随口说了一句:“不如你明年来吧。”然后,我回答说了一些类似“我是大二学生了,我现在就要来”的话。这些故事总是有点被神化了。
我并不认为自己是一个“强悍”的人。我只是有一种态度:“我不明白为什么事情非得按现在的样子进行,所以我会根据第一性原理,去按照我认为正确的方式做事。”有时,这让我觉得有些与众不同。
我很喜欢YC的一点是,它聚集了一群奇怪的人,他们会说:“我就是要做自己的事情。”YC让人有了很强的勇气,能够做出一些大胆的尝试,哪怕别人不认同。
YC有些导师会告诉你:“你可以做到的,我相信你。”作为一个年轻的创业者,这种支持非常特别和鼓舞人心。
如果我能给年轻人一个建议,那就是尽早找到这样的同伴。我以前总觉得可以自己一个人解决问题,但事实上,和有灵感、富有行动力的同伴在一起,真的非常重要。
我记得你经常在合伙人会议室讲到一些你参与的讨论,有机会和很多业内大咖一起交流。当时人工智能已经成了热点,大家都觉得它的实现似乎近在咫尺。不过那已经是十年前的事了。
当我们最开始讨论YC Research时,并没有完全聚焦在人工智能上,而是想着能资助一些不同的创新项目。
那时,我读了几本关于施乐帕克实验室和贝尔实验室的书,发现硅谷的氛围中似乎弥漫着一种需要重新建立优秀研究实验室的声音。
我当时觉得如果能促成这件事会非常棒,和YC的核心理念也有些相似,就是把资本分配给聪明的人,尽管有时会成功,有时不会,但尝试是值得的。
确实是的。在那个时期,人工智能有一个“小爆发”。大约是2014年末到2016年初,关于超级智能的讨论变得非常活跃,比如《超级智能》这样的书也开始流行起来。
当时你可以用AI来判断一张图片是否是一种特定物体,比如热狗。尽管不总是准确,但已经能做到一些初步的判断了。
比如Ilia Sutskever,我听说他特别聪明,看了他的视频后就觉得他是真正的天才和富有远见的人。他有一种极其强大的气场。
我看完他的一个视频后,立刻觉得必须见到他。我给他发了邮件,但他没有回复,所以我就直接去了他参加的一个会议,终于见到了他,从那时起我们开始了更多的交流。
我和Greg在Stripe的早期阶段就认识了。当时我们的对话大概是这样的:“我非常喜欢你对AI的想法,我想建立一个实验室。”
有趣的是,我们一开始就明确提出要追求“通用人工智能”(AGI),在那个时期说AGI被认为是“疯了”甚至“不负责任”。但这吸引了很多年轻人的注意,而那些更年长的传统研究者反而觉得我们不切实际。
我当时觉得,这种对年轻人的吸引力以及对传统的挑战,可能正是我们需要的信号。我们是一群“看似不负责任”的年轻人,我当时是团队中年纪最大的,30岁出头。
我们像是一群“无畏的年轻人”,可能什么都不懂,但对这个疯狂的想法充满热情。正是这种吸引力让一些有冒险精神的年轻人加入了我们。
所以我们开始一个一个去见人,把他们聚集在一起,整个过程断断续续大约花了九个月的时间。最终,这个团队逐渐成形了。
我最喜欢的一个回忆是,当时Ilia因为和谷歌的关系,我们在2015年12月宣布成立,但实际要等到2016年1月才能正式开始。1月3日左右,我们在Greg的公寓聚会,可能大约有10个人,大家围坐在一起。那时我们感觉自己完成了一件巨大的事情,终于启动了这个项目。
这是个非常经典的时刻,和那些创业者筹到融资后的感觉很像,虽然取得了阶段性成果,但真正的挑战才刚刚开始。
当时没有什么庆祝的时间,那只是个起点,接下来我们才要真正去实现目标,而我们根本不知道前路会有多难。
我们花了很长时间才真正理清要做什么,不过我对Ilia和其他早期成员的印象非常深刻,尽管我们经历了许多曲折,但最初设想的大方向却是非常正确的。
当时,在Greg公寓里的白板或记事板上列出了几个关键目标,比如做一个大型的无监督模型,解决强化学习(RL)的问题等。
很神奇的是,尽管一路上我们尝试了很多不同的事情,有的成功了,有的失败了,但最终我们依然走向了最初的目标。
认为模型可以通过增加规模不断提升效果,这种观点当时在行业内不被广泛接受,甚至让人觉得不合时宜。我记得我们刚开始做这件事时受到了大量的批评。
起初这只是我们的一个猜测,后来通过数据验证了这种增长是可预测的whatsapp 加中国好友。但实际上,人们早已知道,扩大这些神经网络的规模确实会让它们的表现更好,这一点我们在开始之前就非常确信。
他们认为深度学习并不是“真正的学习”或“真正的推理”,认为它只是“花招”,并对这种看法持强烈的反对态度,甚至认为我们宣传这种观点是错误的。
更极端的观点认为,这种做法会导致新一轮的“AI寒冬”(即因过度夸大AI技术而导致的失望情绪和投资萎缩)。
但我们查看实验结果,发现随着规模增加,模型效果确实不断提升。后来,我们获得了一些扩展方面的数据,这些数据甚至打破了我们的直觉。
在某个阶段,你只能接受扩展的成果,并决定继续沿着这个方向前进。当时,我们感到有一种“学习的现象”正在自发涌现,虽然我们并不完全理解细节,却深信其中有某种根本性的东西。
因为资源有限,我们不像DeepMind等公司那样富裕,因此我们决定挑选一个方向并专注于此。这是典型的创业公司思维。
我们意识到,尽管我们不清楚未来会如何,但我们至少知道这个方法有效,所以我们选择全力集中精力在这方面。而其他一些尝试则试图多方面平衡,甚至有些“自作聪明”,而我们只是简单地选择眼前可行的方式,不断推动其进展。
规模扩展是我一直感兴趣的东西,尤其是在研究它的自发属性时。它在各个领域都具有重要的价值——对创业公司、对深度学习模型,甚至对其他许多事物来说。
我的想法是,如果你拥有一个随着规模扩大而不断变好的东西,那就应该进一步扩展它。尽管很多人主张“少即是多”,但实际上更多就是更好(more is more)。我们始终相信这一点,并坚定地推动它。
或许大多数人并不理解OpenAI背后的这一点,即便在我们不怎么出名的时候,我们就已经聚集了一群非常有才华的研究人员。如果你拥有世界上最聪明的人,他们可以非常专注地推动某个方向的发展。创建这样一个团队,让他们可以专心致志做这件事,这确实是一件特别有意义的事情。
其中的一个故事是,即使在今天,获得计算资源也极其困难,而当时的批评中有一种声音是“你们会浪费大量资源,这可能会导致AI冬天的到来,因为大家不再愿意投入资源”。
确实如此,当时的质疑有很多。一方面,有人认为我们会浪费资源,另一方面,他们觉得我们把太多资源投入单一方向上是一种“不道德”的做法,应该把资源分散在多个尝试上,而不是只押一个注。
其实,直到现在,大多数人仍然无法理解在一个单一的赌注上投入极端信念的价值。所以,我们说,好吧,我们有数据支撑,相信这条路,我们就会在一个方向上加倍努力。在当时,行业的普遍做法是分散风险,但我们选择了一种极为乐观和坚定的方式。
在创业过程中,我很感激自己能够多次接触到这种情景。在加入YC之前,我一直深信世界上一定有某些“掌控一切的成年人”,他们懂得所有事情,有着所有的答案。如果有人反对你,可能就是他们更清楚。但我后来明白了,没有人拥有所有的答案,你可以自己去尝试和创造。这种理解对我来说是一次重大的生活突破。
信念的确很强大,但盲目坚持并不能带来好结果。我们始终在努力以数据为依据去做出决策,专注于当前的目标。我们有很多信念,但一旦发现自己错了,我们会迅速调整方向。
这需要很强的专注力。你们当时必须做出选择,而这个过程本身就像是一种优先级的锻炼,这也让你们更有可能成功。
然而实际上,OpenAI的故事并不是一条直线,我们在过程中尝试了很多东西,虽然这些尝试帮助我们理解科学,但并不是最短的路径。如果当时知道现在的一切,我们可能会极大地加速前进。但现实并不是这样运作的,我们不可能每一次都猜对。
在创业之初,我们对技术发展方向、公司的结构以及AGI的发展有很多假设。在这一路上,我们经历了无数次的挫折和修正。一个优势是,我们拥有被“打脸”后重新站起来的能力。
在GPT-1之前,Alec Radford发现了一个关键的现象。他观察到一个神经元在生成的亚马逊评论中能够切换正负情感,这为GPT系列的诞生打下了基础。Alec进行了GPT-1的研究,随后模型发展到了GPT-2。这个发现展示了生成模型的一种非凡现象,开启了新方向。
Jake Heller是YC校友,我觉得他是第一批同时获得GPT-3.5和4访问权限的人,他也是第一个成功大规模商业化GPT-4的创业者。
最初,我们向创始人推销GPT-3时,大家觉得它很酷,有很棒的展示效果,但除了文案生成,几乎没有其他重大的商业应用。然而,GPT-4发布后,大家开始疯狂索要计算资源,我们才意识到自己拥有了一个极具市场价值的产品。
我们当时也感到非常震撼,为它设计了一系列测试,结果显示它能完成一些令人印象深刻的任务。我心想,哇,它现在竟然能做到这些!它能押韵,讲一些有点幽默的笑话,还能完成其他各种任务,感觉非常棒。
不过,你永远无法真正确定手中的产品是不是爆款,直到它落到客户手中。我们当时很兴奋,觉得这个产品确实不错,但只有在客户实际使用后,才能知道它的线
我还想提醒大家的是,当出现新技术平台时,很容易让人觉得“我在做AI,所以商业规则对我不适用”。这就像拥有一种“神奇的技术”一样,似乎不需要构建竞争壁垒、优化产品,因为你在做AI,别人没做。但实际上这并不正确。快速拥抱新技术可能会带来短期增长的爆发,但仍需要打造真正的价值。这一点一定要牢记。