可能很多人没注意到，昨天 ChatGPT 发布了一系列的新特性，包括更好的购物体验、引用高亮显示、展示热门搜索趋势、自动补全搜索建议。现在隐约我可以感觉到，OpenAI 意图成为一个人们工作和生活的中心化入口。

　　如果抛开模型的能力不谈，我们会发现最近两年时间，OpenAI 在 ChatGPT 上做了非常多的体验优化，而这一切，都和他们的首席产品官 Kevin Weil 有关系。

　　前段时间，我看了知名播客主理人 Lenny 对 Kevin Weil 的访谈。那期视频内容很扎实。看完后，我对 OpenAI 有了更全面的认识，特别是明白了他们为什么收购 Windsurf，以及为何要做 DeepSearch 这样的应用。可谓酣畅淋漓。趁着五一假期将到，我把这次的内容翻译为中文，也许假期你可以精读一番。

　　最近 GPT-4o 很火，我的社交动态中，很多人都在发吉卜力风格的照片。我想问一下，发布前，你有预料到会有如此强烈的反响吗？感觉这是自 ChatGPT 发布以来 AI 领域最火爆的事件之一。

　　Kevin：在我的职业生涯中，有那么几次，当我们在内部开发一个项目或产品时，它的内部使用量突然暴增。

　　Instagram 当时开发 Stories 的时候就是这样，同事都非常喜欢用这个功能。GPT 4o 也是这样，我们内部已经玩了几个月。

　　它最早在公司内部上线的时候，还有一个小型的画廊，可以生成自己的图片， 也可以看到别人都在生成些什么。那个时候公司内部特别热闹。所以我有预感，这会成为大家非常喜欢的一个功能。

　　Lenny：真的很酷。这都可以作为一个衡量标准：当准备上线某个功能前，先看看内部团队的反应如何。比如，大家是不是为之兴奋。

　　Kevin：如果所有人都为它疯狂，那就对了。特别是社交类的功能，因为在公司内部，大家之间社交关系非常紧密。所以从某种意义上讲，如果你在开发一个社交功能，但在内部却没什么反响，你可能就得重新考虑你在做的事情了。

　　Lenny：有意思。顺便问一下，吉卜力风格的图片这么火， 是不是你们一开始放了什么很棒的内容引发了传播？

　　Kevin：我觉得这就是人们喜欢的风格而已。我们的模型非常擅长模仿风格，或者理解一件事的整体感觉。它在“遵循指令”这方面做得非常出色，你可以让它执行非常复杂的任务。

　　比如，你可以给它两张图片，一张是客厅，另一张是一堆照片、纪念品或你想摆放的东西。然后你说：“告诉我该怎么摆放这些东西。”或者你说：“展示一下，如果我把某某东西放在这儿，某某东西放在它的右边，会是什么样子。”模型真的能理解这些复杂的指令 —— 并且执行出来。它的能力非常强大。

　　Lenny：真棒，OpenAI 团队干得不错。你现在可能是世界上最重要公司的首席产品官，所以我有很多问题想问你。我们先从一个宏大的问题开始聊起，AGI，你觉得它什么时候会到来？

　　Kevin：确实是在接近。我特别喜欢一句话：“人工智能，其实就是那些还没实现的东西。” 因为一旦它实现了、能用了，我们就把它叫做机器学习；等它变得无处不在，我们又把它称作算法。我们总是在它还不太靠谱的时候，把它叫做 AI。

　　比如“AI 算法推荐你关注谁”这种功能，人们就会说：“哦，那只是个算法。”而像自动驾驶这种新东西，才被认为是 AI。

　　所以我觉得，在某种程度上，我们永远都会处在这种状态。下一个新东西总是会被称为“AI”，而我们每天使用的那些功能，就变成生活的一部分，成了“算法”。

　　GPT-3 刚发布的时候，我还不在 OpenAI，只是一个普通用户，我当时震惊了。但如果我现在把 GPT-3 放到 ChatGPT 中，你可能会说：“这是什么东西？怎么这么差劲？”

　　我第一次坐自动驾驶出租车的时候也有过类似的体验。对，第一次乘坐，至少我前十秒钟的感受是，车子开始自己开动了，我会想：“天啊，小心那辆自行车！”我会紧紧抓住能抓住的东西。但五分钟后，我慢慢放松下来，然后意识到自己正被一辆没有司机的车载着穿行在城市里，而且运作良好。

　　我会想：“天哪，我现在真的生活在未来了。”但再过十分钟，我开始感到无聊，掏出手机处理邮件，回复 Slack 消息。突然间，这个曾经不可思议的人类发明就成了你生活中理所当然的一部分。这说明我们人类适应新事物的方式真的很特别。

　　AI 也有点像这样。那些“完美”的瞬间会发生，计算机能做以前从未做过的事情，这会让我们集体震撼大概一周时间。然后我们就会说：“噢，好吧。”接着它就变成了“机器学习”，再过一阵，它就成了“算法”。

　　Lenny：哈哈哈哈。是的，现在好像我们使用 ChatGPT 已经是稀松平常的事情，但其实，3.5 发布也没几年。我想问你另外一个问题，你是怎么加入 OpenAI 的？

　　Kevin：说来话长。当时我正准备从上家公司离职，并且没打算立即找工作，休息几个月嘛，暑假带孩子们玩玩。不过，我和 Sam Altman 认识已经好几年了，虽然不算特别熟悉，但我知道他经常在做一些很有趣的项目。于是，我就问了问他的职场建议。Sam 说，“我们这边正在筹划一些事情。你应该来和我们聊聊。”

　　然后，我在短短几天内就见了 OpenAI 大多数管理团队成员。速度非常快。我当时感觉良好，因为大家对我的反馈都还不错，我们聊得也很开心。

　　没过几天，Sam 来我家吃晚饭，同样我们聊得很愉快，谈了很多关于 OpenAI 未来的话题，也更加了解彼此。

　　最后离开的时候，我告诉 Sam，自己第二天要去公司参加一轮更大的面试。Sam 说：“到目前为止进展非常顺利，真的很期待合作。”我继续问：“那我该怎么看待明天这轮面试。”Sam 回答：“你其实不用太过担心，我们基本就定了。”

　　第二天，我见了很多人，整体过程非常愉快。我真的很喜欢我遇到的每一位面试官。当然在任何面试后，我都会反复琢磨，比如“啊，我不该那么说”，或者“那个回答不够好”。

　　但我离开时的感觉是：“我觉得这次表现还不错。”而且我原本预期那个周末就能收到回复，因为他们之前说：“如果一切顺利，我们就马上安排。”

　　然后到了星期一……星期二……星期三……还是没消息。我甚至还给 OpenAI 那边的几个人发过消息。

　　我当时心想：“天啊，我肯定搞砸了。虽然不知道具体哪里出问题，但肯定是我搞砸了。”整个人陷入焦虑状态。

　　之后几天还是没有消息。直到大概第九天，他们终于联系我了。原来是公司内部那段时间事情太多，他们实在太忙了。

　　他们回复说：“哦，对，那次面试很不错，我们来推进这件事吧。” 但那九天真的太煎熬了，我这边每天都在反复回想整个面试流程的每一个细节。

　　Lenny：这让我想起那种谈恋爱时的感觉，你发了消息对方没回，你就会自动认为是不是哪里出问题了。

　　Lenny：这太有趣了，我真的很喜欢这个故事。你在 OpenAI 已经待了一年半了吧，怎么样？你曾经在很多大型互联网公司工作，OpenAI 的工作和之前的工作有什么区别？

　　Kevin：我感觉主要有两个区别。第一是工作节奏。第二是，在我过去待过的所有公司，都知道自己要基于什么技术来构建产品。

　　所以我会花很多时间思考：要解决什么问题？是在为谁构建？如何让他们的生活变得更好？他们真的关心这个问题吗？它值得被解决吗？

　　这些都是非常好的产品思考方式。但我想说，那时候，我所依赖的技术栈是固定的。数据库从两年前到今年，也许性能只提升了 5%，它没什么大变化，而 AI 世界里，完全不是这样。现在几乎每两个月，计算机就能做一些以前根本做不到的事情。这意味着我们需要彻底换一种方式思考自己在做什么。

　　在 AI 领域，还有一件重要的事情是：我们过去对计算机的使用习惯，是要给它非常明确的输入。比如说 Instagram，上面有具体的按钮，你知道每个按钮是什么；当你给计算机一个明确输入，你会得到一个明确输出。

　　你可以很有信心地认为：如果你对系统做三次同样的操作，它会给你三次完全相同的结果。但 LLM 完全不同。它们擅长处理模糊、微妙的输入，能理解人类语言和交流中的各种细微差别。

　　它们在这方面表现得相当不错，但它们不会给你“相同的输出”。你可能会得到相似的回答，但肯定不是一字不差的那种。所以在构建产品时，面对的是模糊的输入和模糊的输出。

　　我必须深入细节，深入理解使用场景、评估方式（Evals）等，这样才能知道你应该构建什么样的产品。这和传统开发环境完全不同。传统世界里，如果数据库能运行一次，那它每次都能跑。但在这个 AI 的世界里，不是这样的。

　　Lenny：让我们接着聊聊 Evals 吧。你曾经说过，编写 Evals 会成为产品经理的一项核心技能。很多人可能对 Evals 还一知半解，我们先聊聊什么是 Evals。

　　Kevin：最容易理解的方式是把它当作是对模型的测试，它是一种测试手段，能衡量模型在某个特定领域里的理解程度，或者评估它在应对一组特定问题时的表现有多好。就像你上微积分课，然后会有一场微积分考试来检验你有没有学会该学的内容。

　　对于模型来说，我们会有各种各样的 Evals 来测试，比如它在创意写作方面的表现，它在研究生级别科学问题上的表现，还有它在竞赛编程方面的能力。这些 Evals 基本上就是衡量模型“聪明程度”或“能力水平”的基准测试。

　　Kevin：因为我们得知道模型在某件事情上的正确率是 60%、95%，还是 99.5%。那怎么知道这些？就需要一个测试机制。现在我们的做法是：在开发产品的同时就开始做 Evals。

　　有了 Evals，我可以很有信心地说，有些事情模型能做到 95% 正确，有些只能做到 60%。如果某件事情模型只有 60% 的正确率，那构建产品的方式就得完全不一样。

　　我们来举个例子吧，比如 Deep Research 产品，这是我们发布过的我最喜欢的产品之一。你现在可以给 ChatGPT 一个任意复杂的问题，DeepSearch 不是像普通搜索那样返回一个答案，虽然我们也能做这个。

　　对于复杂的问题，你原先得先花两个小时在网上查资料，可能还要读几篇论文，然后你开始写下自己的想法，却发现还有很多空白点需要补充。然后你会继续思考，于是你又去查更多资料。写出一个二十页的回答，可能得花你一整周。

　　但你现在可以让 ChatGPT 的 DeepResearch 花二十五到三十分钟埋头苦干。当然，它不会像你 ChatGPT 往常的交互那样，立即给出答案，但它会在二十多分钟里完成你一周才能做完的工作。

　　在开发这个产品的过程中，我一边在想这个产品该如何运作，一边就开始设计与它对应的 Evals。我们尝试设定一些“关键用例”，比如，这是你想提出的问题，这是一个令人惊叹的回答。然后我们把这些转化为 Evals，并在这些 Evals 上不断爬坡优化。

　　所以，这不仅仅是我们希望模型在某些事情上表现还行这么简单。你是可以“教”模型的，你可以让整个过程变成一个持续学习的过程。

　　因此，当我们在为 DeepSearch 这个产品微调模型时，我们就可以通过 Evals 去测试：它有没有在我们认为重要的指标上变得更好？当看到 Evals 表现不断提升，我就会开始觉得：“OK，这可能真的是一个好产品。”

　　Kevin：这么讲吧，模型的智能本质上是多维度的。某个模型在“竞赛编程”方面非常强， 但那并不意味着它也擅长前端开发，或者后端开发，或者能把一堆用 COBOL 写的代码转换成 Python。光是在“软件工程”这个领域里，模型的能力就有各种不同维度。

　　但即便如此，世界上大多数的数据、知识、流程并不是公开的 ——它们存在于公司、政府或者其他机构的“围墙”之后。

　　就像你去了一家公司，你头两周要做的是“入职培训”。你得学习这个公司特有的流程，获取这个公司内部的数据。同样，我们需要把这些东西教给模型。

　　我觉得未来一定会出现非常聪明的基础大模型，这些模型需要用特定场景的数据微调，这样它们才可能在具体任务上表现得更好。而要评估他们，就需要用定制化的 Evals。

　　Lenny：我想接着你刚才引出的那个话题继续问，很多 AI 创业者其实都在思考，哪一些领域基础模型厂商将来不会涉足？现在这个问题还不明确，大家害怕基础模型公司吃掉他们做的事情。

　　Kevin：这问题让我想起推特联合创始人之前经常说的一句话：“无论你的公司有多大，无论你公司里有多优秀的人才，公司外面总会有比你更多的聪明人。”

　　这也是为什么我们如此专注于构建一个优秀的 API，现在已经有三百万开发者在使用我们的 API。

　　不管我们有多有雄心，不管我们将来发展到多大，这个世界上依然会有大量用例和应用场景，AI 能够从根本上改善我们的生活。

　　我们没那么多人，也没有那么多的专业知识，没法自己去构建所有这些东西。正如我刚才说的，那些数据是特定行业、特定场景的，往往被封存在公司“墙内”。

　　而世界上每一个行业、每一个垂直领域，都存在着巨大的机会，可以去构建基于 AI 的产品，让现有技术变得更好。我们自己根本做不过来，我们也不想去做那么多，就算想做也做不完。

　　Lenny：我好奇的是：是什么让你们可以这么快、这么稳定地发布出如此高质量的产品？听起来你们的做法更像是“自下而上”的，给团队充分授权，而不是设定一个非常“自上而下”的季度 roadmap。你觉得有哪些因素让你们能做到如此快速、高频地发布？

　　Kevin：对，我们会努力明确一个大致的方向。当然，我们也会做季度级的产品规划，会制定一个大致的年度战略……

　　但我一点也不相信我们写在规划文档里的那些东西，会真的在三个月后变成我们交付的产品。更别说六个月、九个月之后的规划了。

　　但没关系。我记得艾森豪威尔有句名言：“计划没什么用，但规划过程很有价值。”我非常认同这句话，特别是在我们这个快速变化的行业里。

　　比如说季度路线图，我们可以趁这个机会停下来思考：“我们这段时间做了什么？哪些做得好？哪些没做好？我们从中学到了什么？接下来打算做什么？”

　　所以，哪怕你的规划只有一部分是对的，那这个“规划的过程”依然是有价值的。我认为，我们必须接受一个现实：

　　我们经常犯错。这是我非常欣赏 Sam Altman 的一点。他确实非常鼓励我们快速推进，但他也理解，快速行动就意味着，我们可能有些地方没做对，或者上线的功能没起作用，那我们就会回滚。比如你看看我们给模型起的名字太烂了。

　　Kevin：这些名字确实糟透了。我们知道。我们之后会找个时候去修正，但这不是最重要的事，所以我们不会在这上面花太多时间。

　　Lenny：是的，我也觉得名字其实没那么重要。我很好奇：你们内部是怎么对齐的？有没有什么节奏或仪式感？比如你和 Sam 会不会定期一起审核所有内容？你们每周有固定会议吗？每月一次？还是说你会看到所有进展……

　　Kevin：我们会定期了解项目进展，也会做一些产品评审之类的事，和你预期的差不多。但我们没有固定的“流程仪式”，因为我绝对不希望我们的发布被卡在必须等我或 Sam 审核这一步。如果我在出差，或者 Sam 正好很忙，那不应该成为我们不发布某个产品的理由。

　　当然了，如果是那种最重要、优先级最高的事情，我们会非常紧密地跟进。但我们真的尽量避免流程中断。坦白说，我们希望能让团队真正拥有自主权，快速行动。我认为，比起等待审批，更重要的是：先发布，再迭代。

　　我们团队的理念是“迭代式交付”，意思是说，大家现在都是在一起学习这些模型的。所以，在你还不知道模型完整能力集之前，就把东西发布出去，然后在“公开场合”中和用户一起迭代，这其实是更好的方式。

　　我们其实是和整个社会一起“共同进化”的，我们边用边学 —— 学习模型擅长什么、不擅长什么、怪在哪里。我非常喜欢这种理念。

　　我们还有另外一个理念是：Model Maximalism，尽量使用模型本身来完成任务。模型并不完美，它们肯定会犯错。你可以花很多时间围绕它们构建各种各样的“支架”（也就是额外逻辑结构）。

　　我们有时候确实会这么做，因为有些错误是你真的不希望模型犯的。但总体上我们不会花太多时间去给所有问题都建上“支架”。

　　因为我们整体的心态就是：两个月之后就会有一个更好的模型，它会彻底打破现在存在的那些限制。所以，如果你正在开发一个产品，如果你构建的东西刚好卡在模型能力的“边缘”，那就继续做下去，说明你选的方向是对的。

　　再给它几个月的时间，模型就会变得非常强大。然后你现在那个“勉强能跑”的产品，会变得表现非常出色。这其实就是确保你站在前沿、真正去构建创新产品的一种方式。

　　Lenny：我在播客里采访过 Bolt 的创始人。在 Bolt 这款产品之前，他们整整做了七年，有很长一段时间都处于失败状态，什么也没搞出来。然后某一天，某个更强的模型发布了，一切都突然运转起来了。然后他们这些年构建的一切终于能用了。顺便问下：为什么 Anthropic 做出的 Claude 在编程方面表现那么好？

　　Kevin：Anthropic 确实训练出了非常优秀的编程模型，这是毫无疑问的。而我们也认为我们同样可以做到。等等看我们的成果。不管怎样，我对 Anthropic 团队表示尊重。

　　如刚才所说，我认为所谓“智能”其实是多维度的。过去 OpenAI 可能有一个巨大的领先优势，领先其他公司 12 个月。但现在不再是这样了。我仍然认为我们是领先的，但这已经不是压倒性的领先了。

　　这就意味着，现在会出现这样一种情况：在某些方面 Google 的模型特别强，在另一些方面 Anthropic 的模型特别强，而我们在另一些领域也做得很出色。

　　我们的竞争对手看到我们某个方向做得好，也会说：我们也得在那方面提升。其实一旦有人证明某事是“可能的”，后来者就更容易追赶，而不是在一片未知中披荆斩棘。

　　这就像那个著名例子，以前没人能在 1 英里内跑进 4 分钟，然后终于有人做到之后，下一年又有 12 个人也做到了。现在我们行业中这种现象比比皆是。

　　当然，这也意味着竞争会非常激烈。但最终受益的是用户，是开发者，是企业，所以整个行业才会进步得这么快。我们当然非常尊重其他大型模型厂商，模型正在变得越来越好，我们也会尽最大努力跟上节奏，快速前进。

　　Lenny：虽然在很多方面别的模型可能更强，但 ChatGPT 在用户心目中，似乎就是“AI 本体”。大家好像都把 AI 和 ChatGPT 这两个词当成同义词。你觉得你们做对了哪些事，让你们能在“用户认知”这件事上赢得这么彻底？

　　Kevin：我觉得先发优势非常重要，这也是我们为什么如此专注于快速推进的原因之一。我们力求成为第一个推出新能力的团队，像 Deep Research 那类功能。

　　此外，我们的模型本身也非常强大……它可以处理实时视频输入，可以进行语音到语音的转换，语音转文字和文字转语音，还能进行更深度的研究，操作画布，写代码。所以 ChatGPT 现在可以成为一个“全能中心”，你想做的事情大多数都能在这里完成。

　　随着我们不断推进 —— 我们还会有更多具备 Agent 能力的工具，比如 Operator，它可以帮你上网浏览，为你完成一些任务 。未来你会越来越多地只需来到一个地方：ChatGPT，告诉它你的指令，它就能在现实世界中为你完成真正的任务。

　　这是一个非常基础但宝贵的价值点。我们尽力保持高速前进，就是为了始终让自己成为最有用的那个平台。

　　Lenny：你在构建 AI 产品、在 OpenAI 工作期间，有没有遇到过什么最“反直觉”的事情？

　　Kevin：我一下子没想起来。但对我来说，有一件事一直很有趣：当我试图搞清楚某个 AI 产品应该怎么设计，甚至思考某个 AI 行为为什么会发生、怎么才算合理的时候，我常常把它类比为一个人。

　　举个例子，我们是全世界第一个发布推理模型的公司。推理模型并不是一个快问快答的模型，它往往需要花一定的时间作出思考，这和我们解决复杂的逻辑问题或科学难题时的状态一模一样。当时我们一直在琢磨：该用什么样的用户界面来呈现推理能力？

　　推理能力不像 DeepSearch，模型会思考半个来小时，用户完全可以忙别的去。推理模型的思考时间大概是 10 到 25 秒，这个时间足够尴尬，那怎么解决这个交互呢？我们想到了模拟人类。人类可能会说：“嗯，这是个好问题，我的思路是......”后来，我们确定了一边思考，一边给出一点进展提示的交互。

　　所以，真的存在很多这样的场景。你可以像对待一个人，或者一群人那样去“推理”模型的行为，这招真的有用。

　　Kevin：是的，我们确实从中学到了不少。最开始上线的时候，我们只是给你展示模型“正在说什么”的小标题，但没有提供太多细节，因为不确定是不是所有人都想看到这些。后来，我们意识到展示模型真正在想什么，会给用户带来一些新鲜感和信任感，所以权衡之后，找到了一个更好的解决方案。

　　Lenny：这让我想起来之前的一次交流，很多人都认为，对话不是我们和 AI 交互的最佳界面。而你反驳了这一观点，你认为：人类的交互方式本来就是对话。每个人的智商不同，但我们都能和他们交流 —— 因为我们是在“说话”。这其实是一样的道理，一个大型语言模型可以适应各种不同智力水平的人。

　　Kevin：其实大模型的理想界面，我也不确定是什么。但我真的觉得，对话是一个了不起的界面。因为它非常通用。人们总是说，“聊天嘛，迟早会有更好的方式。”但我反而觉得：不，这种方式，它真的非常通用。因为这就是我们说话的方式。

　　就像现在我可以直接跟你对话。我们彼此能看见，还能互动。我们也可以在 WhatsApp 上发消息聊天。这些方式全都是非结构化的沟通。如果我被限制只能用某种更“刚性”的界面跟你交流，那我们之间能谈的事情就会大幅减少。

　　过去对话这样的交互方式根本行不通，因为以前没有哪个模型能理解人类语言的所有复杂性和细微差别。而这就是大型语言模型的神奇之处。对我来说，这种界面正好契合了模型的能力。

　　另外，我强调下，我的意思并不是说只有“对话”这一种交互方式。比如你有一些使用频率高、流程固定的场景，你其实并不需要特别“通用”的能力，这时候，更定制化、更快速、针对特定任务的交互，反而更好。他们是相互补充的。也许对话会成为一个基础兜底的交互方式，用来覆盖所有没想到的场景。

　　Lenny：你们有产品团队，有研究团队。你们内部是怎么协作的？是不是每个团队都有产品经理？能不能给我们讲讲点子和产品是如何共同诞生的？

　　Kevin：坦白说，如果你回到几年前，当 ChatGPT 刚刚开始的时候——当时我还没加入 OpenAI——那时候我们更像是一家纯粹的研究公司。你可能还记得，ChatGPT 当时只是一个低调的研究预览版本。

　　Kevin：没错。当时我们只是想让人们“玩一玩”模型，跟它们互动而已。我们当时的定位是一家世界一流的研究公司。但随着 ChatGPT 的成长，以及我们开发出 B2B 产品、API 和其他功能，我们现在已经比过去更像是一家“产品公司”了。

　　现在我依然认为我们不应该变成一家纯粹的产品公司。我们必须既是一流的研究公司，也是一流的产品公司。而这两者必须真正协同运作。

　　如果你把研究和产品分开来看，研究人员做了很棒的事、构建出模型，然后产品和工程团队再“拿来用”这些模型，那我们其实只是自己模型的“API 使用者”。

　　最好的产品来自深入的研究。那需要大量的迭代反馈，需要理解自己想解决的问题，并为这些问题构建 Evals，然后用这些评估去收集数据、微调模型，让模型在这些用例上表现得更好。

　　我认为，未来最优秀的产品，一定来自“研究”和“产品”深度融合的团队。我们基本上所有产品都是以这种方式来运作的。

　　Kevin：我不太确定，25 个左右吧。我个人认为，一个组织整体上产品经理应该少一些。产品经理太多，会带来很多问题。你会把世界填满幻灯片和点子，而不是执行力。一个产品经理管得工程师稍微多一点，反而是好事。这意味着他们不会事无巨细地管控，而是把大量的决策责任留给工程师。

　　这也意味着你需要具备产品意识的工程师。我们很幸运，OpenAI 的工程团队非常注重产品思维，而且自主性极强。

　　当你拥有这样的团队时，你就有了一支执行力特别强的队伍。你的产品经理会努力真正理解问题，并以一种温和的方式引导团队，但他们不会被太多杂事困住，也不会陷得太深到细节中，最终的结果就是：你们可以推进得非常迅速。

　　Kevin：我最看重一个人的“主动性”。我们希望招来的人不是坐等别人给任务，而是自己发现问题就能立刻着手解决。这是我们工作方式的核心。

　　我们也希望这个人能适应不确定性——因为这里的不确定性非常大。我们有时会发现一些年轻产品经理会在这方面遇到困难，因为这不是那种“一上来就有人给你划定清晰边界和目标”的地方。

　　刚入行的产品经理通常希望有明确的职责分工，但我们这里的问题本身还很模糊，大多数事我们都在边走边解决。

　　所以，我们需要那种高主动性、能接受不确定性、乐于动手执行、而且行动迅速的人。我们也希望产品经理能通过“影响力”来带动团队前进。毕竟通常来说，团队成员并不向产品经理汇报。你还要面对研究团队这样更倾向自我驱动的群体，所以要建立良好关系，情商（EQ）在这里也特别重要。

　　Lenny：我知道大多数公司都是这样：产品经理来了，大家会想，“我们为什么需要你？”而作为 PM，你得赢得信任、向大家展示你的价值。我觉得在 OpenAI，这种情况可能会更加极端。“我们为什么需要这个人？研究员、工程师都有了 —— 你来这儿干嘛？”

　　Kevin：是的，我觉得当你把事情做好，大家是会认可的。但你必须“带动”大家一起前进。我认为，产品经理最重要的能力之一就是“果断”。

　　我其实不太喜欢“产品经理就是产品 CEO”这种陈词滥调。就像 Sam 一样，如果他在每个会议上都作出所有决定，那就是在犯错；可他要是从不做决定，那也是在犯错。关键在于你要知道什么时候该信任团队、放手让他们去创新。

　　而当一个决策摆在那里，人们要么觉得没把握、要么觉得自己没权限拍板，或者这个决策牵扯太多人、太多意见分歧时，这时候就需要有人站出来，果断作出决断。这是一位 CEO 的关键特质，也是一位产品经理应具备的特质。

　　顺便说一句，拍板的人未必要是产品经理。如果是其他人，我也完全欢迎。但我还是更倾向于让产品经理站出来。如果情况很模糊，没有人拍板，你必须确保有人下决定——我们得往前推进。

　　Lenny：我蛮好奇的，人们总说 LLM 会取代写代码的工作，比如“AI 在一年内会写掉 90% 的代码”，很多人这么说。但与此同时，你们还在疯狂招聘工程师，疯狂招聘产品经理。所以我想问：你们内部是怎么使用 AI 的？有没有哪些使用方式是人们没意识到的？

　　Kevin：我们用得很多。可以说，我们每个人每天都在用 ChatGPT。它帮我们总结文档、撰写产品说明书，撰写 Evals。

　　但话说回来，我对自己的使用情况还挺失望的，如果把五年前还在别的公司的我放到现在的岗位上，他会觉得这份工作和以前没什么两样。其实我觉得，我们本该有更大的进步。

　　举个例子，为什么我们不能像“Vibe Coding”那样，随时随地做 Demo？我们现在还在用 Figma 展示东西，其实我们应该展示的是大家用“Vibe Coding”在三十分钟内做出来的原型，用来验证想法、探索创意。这在今天完全可以做到，但我们做得还不够。

　　实际上，我们的首席人力官 Julia 前几天还跟我说，她在上一份工作时就用“Vibe Coding”做了一个她很想要的内部工具。如果连我们的人力都在做这件事，我们就更没有理由不去做了。

　　Lenny：一个很棒的故事。有些人可能没听过“Vibe Coding”这个词，你能解释一下它是什么意思吗？

　　你可以给它一个提示，它就会生成代码，然后你在编辑器中操作时，它会持续给你建议下一步要写什么。最初大家使用这些工具的方式是：给个提示，它生成代码，然后你去编辑它，再给个提示，然后再继续。

　　你会一直在和模型来回交互。随着模型变得更强大，人们也越来越习惯这种方式，你就可以逐渐“放开方向盘”了。当模型不断给出建议时，你只需要不断点击“接受”：点击、点击、点击、继续、继续、继续。

　　当然，模型也会出错，或者写出不能编译的代码。但当它不能编译时，你只需把报错贴进去，然后继续“走起，走起，走起”，然后测试。如果它做了一些你不想让它做的事，你就输入一个指令，再继续“走起，走起”。你就是让模型自由发挥。

　　这不是说你现在可以用这种方式写那种特别关键、特别严谨的生产代码，但在很多时候，比如你要做个概念验证或者做个 Demo，这时候你就可以完全“放手”，模型会给你一个非常惊艳的结果。

　　Lenny：这个解释太棒了。我觉得其中有个很有意思的隐喻——你刚才描述这个过程的时候，感觉就像是在和模型“交谈”，你先是输入提示，然后它回应你，像是你在和它耳语，甚至是“超耳语”，像是心灵对话。

　　Lenny：完全是这样。那我就想接着问一个问题：你刚刚说你们希望在设计流程中更多地用原型代替传统设计文档。那你觉得在未来几年里，产品团队的构成或结构上可能会有哪些最大的变化？

　　Kevin：我认为未来的产品团队中一定会有越来越多研究人员内嵌在团队中。我不仅仅是指像我们这种基础模型公司。其实说实话，行业里让我有点惊讶的一件事是：大家对“微调模型”的应用还不够广泛。你知道吗，其实这些模型已经非常强大了。

　　我们的 API 在很多事情上表现得很好，但当你有特定的用例时，你总是可以通过微调来让模型在特定的用例上表现得更好。这只是一个时间问题，人们还没有完全适应这样做。

　　AI 将成为我们所做一切的组成部分。但你会看到许多微调模型，为什么你不希望针对特定用例进一步定制模型呢？

　　因此，我认为每个团队将需要拥有准研究人员、机器学习工程师类型的人，因为微调模型将成为构建大多数产品的核心工作流程的一部分。

　　Lenny：这让我想起了 Cursor 和 Windsurf，我从这些创始人那里学到的是，他们一方面在使用一个强大的模型，但他们也有很多客户定制的模型来处理边缘任务，使得整个体验更加贴合实际场景。你刚刚提到的这些研究人员和团队会构建的“微调模型”，指的到底是什么？

　　Kevin：微调模型的过程基本上就是，你给模型提供大量的示例，让它在某个方面变得更擅长。比如说，给它一个问题，配上一个好答案；再给它一个问题，再配上一个好答案。

　　或者说，给它一个问题，再给它一个好答案……成千上万次，这样你就可以把模型在这个特定任务上的表现提升到一个全新的水平。我们公司内部到处都在使用这种方法。

　　实际上，我们内部使用的模型“组合”比人们想象的要多得多。并不是说我们有十个不同的问题，就去让基础的 GPT-4o 来回答它们全部。如果我们有十个不同的问题，我们可能会用二十种不同的模型调用来解决它们。

　　其中有一些是使用了专门微调过的模型，有些是大小不同的模型，因为你可能会有不同的长度要求或成本要求，针对不同的问题使用不同的策略。每一个调用可能也会用上定制的提示词。

　　本质上你就是在教模型在特定子任务上变得非常擅长。你要做的是把一个大的问题拆解成更细致、具体的任务，而不是让模型处理一个笼统的高层问题。然后你就可以使用更有针对性的模型来处理每一个小任务。

　　现在已经有很多优秀的公司在这样做了whatsapp客户群聊不回。但我仍然看到许多公司只是把问题一次性丢给模型，期望它能解决一个宽泛的问题，而不是拆解任务。

　　我认为未来会有越来越多的公司学会把问题拆解，然后用特定模型来解决每一部分任务，其中就包括使用微调模型。

　　Kevin：举个例子，比如客户支持。我们每周有超过 4 亿活跃用户，会收到大量用户提交的服务工单。我不知道我们有多少客服人员，但肯定不多，可能只有三四十个，比起同类公司要少得多。这是因为我们自动化了大量流程。

　　大多数问题，我们用内部资源知识库就能解决，比如像航空公司的问答方式那种，这些都可以教给模型，让它自动回答。

　　要是模型不太确定怎么回答，它就先给个建议，让人类来把关。人类的回答呢，又成了模型微调的数据，相当于在教模型怎么回答。

　　我们在不同的地方用不同类型的模型：如果一个问题需要更多的推理能力，且对响应速度不是特别敏感，那我们就用我们的 O 系列模型；但有时候我们只是要快速检查某个点，那就用超快、超便宜的小模型。总的来说，就是“专门的模型做专门的事”，然后你把它们组合起来解决问题。

　　其实，这和我们人类工作的方式有点像。一个公司就像一个模型组合，每个人都像被微调过一样，根据自己学的知识和经验，有各自擅长的技能。把我们组合起来，团队的成果肯定比个人单干要强得多。

　　Lenny：Kevin，你简直让我大开眼界。这听起来完全正确。你有三个孩子，对吧？面对 AI 浪潮，你现在鼓励你的孩子学些什么，以便为未来做好准备？有个用户忧心忡忡，他觉得自己六岁的孩子到 2036 年的时候，可能要面临非常激烈的竞争。

　　Kevin：哈哈，我懂。我家有一个 10 岁的孩子，还有一对 8 岁的双胞胎，他们都还很小。不过很惊人的是，他们已经是“AI 原住民”了——他们觉得有自动驾驶汽车、有 AI 聊天助手这些事再正常不过了。他们每天都在跟 ChatGPT、Alexa 等各种 AI 聊天工具互动，完全习以为常。

　　说实话，我也不知道未来到底会怎样。我觉得像编程这样的技能在很长一段时间内还是会有用的，谁知道会持续多久呢？

　　但我相信，如果你能教会孩子保持好奇心、独立性、自信心，还有最重要的——教会他们“如何思考”。不管未来会怎样，那些能力都会是非常重要的核心技能。

　　所以我们肯定也不是说我们自己知道所有的答案，但在教育孩子这件事上，我们就是这么做的，我对我们的孩子就是这么想的。

　　Lenny：你们家的孩子是不是在用 ChatGPT？我很喜欢你发的那些照片，孩子们在玩提示词什么的。我想问的是，你们有没有在 AI 辅助教育方向上做些探索？因为这可能真的会变得非常重要。

　　Kevin：这个话题可能是 AI 能做得最重要的事情之一。也许这话说得有点夸张——AI 能做的事情很多，比如加速基础科学研究和发现，我觉得那可能才是真正最重要的事。但就“个性化教育”来说，它绝对也是最重要的事情之一。

　　但我还是很惊讶，现在居然还没有一个像“价值二十亿美元”的 AI 个性化家教产品。因为模型的能力已经足够支持了。而且几乎所有研究都表明——传统课堂依然重要，但当你把课堂教育和个性化辅导结合起来后，学习速度可以提升几个标准差，效果显著。

　　所以这已经是毫无争议的好事了——它对孩子有好处，而且还是免费的。ChatGPT 是免费的，你不需要付费，而且模型的能力也足够好。

　　但这世界上为什么还没有一个“真正了不起”的 AI 教育产品，让我们的孩子在用，让未来的孩子也在用，我真的想不通。

　　世界上有很多地方的孩子没有我们孩子那么幸运，无法接受那么扎实的教育。而 ChatGPT 是免费的，几乎每个人都有安卓设备。这完全可以改变世界。我真的很希望这样一个产品存在，我惊讶它还没有出现，但我真的希望它能尽快出现。

　　Lenny：很多人担心 AI 的发展方向。他们担心 AI 会抢走工作，担心超级智能会在未来压迫人类。你对此有什么看法？人们需要听到一个乐观的观点。

　　Kevin：我是一个坚定的科技乐观主义者。看看过去两百年，甚至更久一点，技术推动了人类社会绝大多数的进步——不论是经济进步、地缘政治变化、生活质量提高、寿命延长，几乎所有这些背后都是科技的推动。

　　我认为，从长远来看，几乎没有例子表明技术不是一件伟大的好事。但这并不意味着对个人没有短期的冲击，这对个人来说很重要。你不能只关注平均值是好的。

　　你也需要尽可能照顾好每个人。这是我们经常思考的事情。在我们与政府合作、与政策制定者合作时，我们试图在任何可能的地方提供帮助，我们在教育方面做了很多工作。

　　其中的一个好处是，ChatGPT 也是你可能想要的最好的复习应用程序。如果你对学习新事物感兴趣，它知道很多事情可以教你很多东西。但这些都是非常现实的问题。我对长期发展非常乐观，作为社会，我们需要尽我们所能，确保我们尽可能顺利和支持性地度过这个过渡期。

　　Lenny：AI 已经在很多方面改变了创造性工作，比如写作、设计、编码这些。那你觉得，下一个大的飞跃会是什么？我们在思考 AI 辅助创造力时，接下来真正重要的突破会在哪里？

　　Kevin：是啊，这真的是个值得思考的问题。比如，我们之前提到过图像生成，人们在 Twitter、Instagram 等平台上展现的创造力绝对令人惊叹。我是世界上最差的艺术家，给我一支铅笔和一张纸，我画得比我的五岁和八岁的孩子还差。

　　但有了图像生成模型，我可以有一些创意的想法，将它们输入模型，突然之间，我得到了我根本无法自己完成的输出。这很酷。即使是那些真正有才华的人也是如此。

　　我最近和一位导演聊到了 Sora，他拍过一些我们大家都知道的电影。他说，比如他正在制作的一部科幻电影，我们可以拿《星球大战》打个比方：比如你有一个镜头是飞机飞向“死亡星球”那种结构，然后飞机俯瞰整个星球，接下来你要见到另一个镜头 —— 飞机降落到了地面，观众突然能看到城市、建筑等等全景。那你怎么去处理这个剪辑和过渡呢？

　　他跟我说，两年前，他会找一家特效公司，花十万美元，对方大概花一个月时间，会做出两个版本的剪辑过场。但一个月后，假设这两个版本都不是自己想要的呢？他也没办法，只能硬着头皮从里面选择一个，因为等不起两个月。现在他可以用 Sora，自己在脑中构思一个提示词 prompt，模型也能和他一起“头脑风暴”。

　　然后他能拿到五十个不同版本的剪辑过场，之后还可以基于这些版本反复迭代、细化，组合不同想法。最后他当然还是会找那些特效工作室去制作最终版本，但在此之前他已经完成了创意探索。

　　整个过程就变得更加具有创造性，而且最终成果也更出色。这就是我借助 AI 所能做到的。所以我对创造力这件事的看法是：不会有人对着 Sora 说“给我做部好电影”，然后它就自动给你生成一个。

　　这需要创意、独创性和各种能力。但 AI 可以帮你探索更多可能性，它可以帮助你得到更好的最终结果。

　　Kevin：是的，我们内部确实在用一些新的研究技术，做一些非常令人兴奋的事情。Sam 有时候也会提前“秀”一些正在研发的东西，这其实就是我们所谓的“迭代式部署”理念的一个很典型的体现。

　　我们不会把某项重大突破藏在自己手里很久，然后某天突然向全世界公布。我们通常会直接公开我们正在做的事情，在可能的情况下分享，并尽早、频繁地发布，然后在公众面前不断迭代。我真的非常喜欢这种理念。

　　说真的，大模型在短短几年里取得了非常大的进步。如果你现在回头去用 GPT-3，你可能会觉得那玩意儿糟糕透顶，虽然在两年前，很多人都已经被它惊艳到了，觉得太厉害了。

　　那时候我们大概每 6 到 9 个月会迭代一次新的 GPT 模型，比如 GPT-3、GPT-3.5、GPT-4。而现在，我们的 O 系列推理模型迭代速度比以前还要快。

　　大概每 3 到 4 个月就会有一个新的 O 系列模型发布，每一个版本在能力上都有提升。这些模型的能力正在以极快的速度提升。而且随着规模化，它们的成本也在不断降低。

　　你回头看看，就连几年前的模型，比如 GPT-3.5 那时候的 API 成本，都比现在的 GPT-4 mini 高出一百倍。也就是说，短短几年时间，智能水平大幅提升的同时，成本却下降了两个数量级。我还真不知道这世界上有没有哪条技术曲线，像这样在多个维度上同时进化得这么快。

　　模型越来越聪明，越来越快，越来越便宜，而且也越来越安全了。每次迭代，它们“胡说八道”的频率都在下降。这就像当年的摩尔定律，每 18 个月芯片上的晶体管数量就会翻一倍。

　　我常常提醒自己：你今天用的这个 AI 模型，是你这辈子用过最差的模型。当你真正理解这句话的时候，你会觉得：这太疯狂了。

　　Lenny：我其实正打算说同样的话。每次我看到这些新东西的时候，比如你刚才说的 Sora，我脑海中总会浮现一个类似观点。但很多人听到这些会立刻反应说：“不是的，它还没准备好，效果还不够好，肯定赶不上我看过的电影。”其实你刚才说的这个观点才是关键 —— 这已经是你此生用过最差的模型，它只会变得更好。

　　Kevin：没错，它只会变得更好。这就是所谓的 Model Maximalism。你围绕“模型几乎能做到”的事情去构建，而模型最终会赶上来，并做到令人惊艳。