THE SHIFTING DYNAMICS & META-MOATS OF AITHE SHIFTING DYNAMICS & META-MOATS OF AI

最近有媒体说VC们开始对AI人工智能感觉疲倦了,因为2024年第一季度的AI投资数量和金额在下滑,变现被更多投资人所频繁提到。事实上,一些投资人也正在反思和复盘AI。以研究和主题驱动的前沿科技投资基金Compound VC 管理合伙人Michael Dempsey日前就复盘了AI赛道的变化,尤其是关于护城河的分析,很值得我们思考和学习。

具体来看看,enjoy it!

自8年前Compound VC开始投资 AI 以来,我们一直保持着相当稳定的投资观点(尽管越来越依赖数据且更加细致入微)。这些观点涵盖了从技术时间表,到某些类型的创始人应该在 AI 领域创办的最佳初创企业类型、公司间的价值积累点、行业的拐点、最成熟(且被低估)的颠覆或赋能领域等方方面面。

这可以部分地概括为 2017 年以下的简单框架,并且已在我们多年来的年度信函中多次发布:

2017 年,Compound 的 AI投资框架(摘自我们的年度 LP 会议)

尽管有这样的框架,但我们对创始人在 AI 领域创业时需要驾驭的多变量动态的信念可能没有那么深刻。这主要是因为整个 AI 领域都感觉很新奇,多年来几乎没有达成共识的赢家,因为业内没有一家公司在商业上进行过有意义的调整。几乎没有“最佳实践”或“赌注”运营原则。

在 Transformers 的引领下,人工智能技术方法(或许是整个行业)已日益成为共识,随着时间的推移,各种迭代在社区中迅速融合(CoT、RAG、MoE、模型合并等)。

当然,通过 RWKV、SSM 等新方法,也出现了一些新兴技术的发展,但感觉更有可能通过大型组织中的臭鼬工厂团队或旨在颠覆的新组织来完成,而现任者(以及过去 3 年内成立的大多数 AI 实验室)对绩效的共识前提将基于计算、数据和规模。

这种单调性在领导者较为单一的行业中自然发生,同时也会经历大量人才的涌入,这些人才希望在适应新类别或行业时得到“指引”。

随着商业和技术成功的转变,我们对 2024 年及以后人工智能领域的公司和护城河建设有了新的认识。

速度

不管是好是坏,未来几年,每家公司都将在人工智能领域面临直接竞争或被千刀万剐的残酷竞争。有些领域会吸引大量短期资本,有些开源项目会试图蚕食闭源竞争对手,有些产品/公司会言过其实却交付不足,但仍会制造大量噪音。因此,短期内,初创公司的主要目标是在这种噪音中脱颖而出。

实际上,人工智能公司可能是我们一段时间以来在科技领域建立的最复杂的企业之一。进行核心人工智能大模型研发需要围绕研究社区、资本积累和部署、人才获取、竞争理解和商业化等,犹如进行 4D 象棋游戏。

由于人工智能公司和整个类别的复杂性,构建护城河的细微差别分为短期、中期和长期动态。

一旦一家初创公司能够创造足够的早期护城河,他们就会进入需要继续保持多年速度的阶段。同样,资本将继续流入该领域,为你的企业在多个领域创造竞争,持续时间比许多人预想的要长,而且随着模型性能商品化,现有企业也将开始成为某些领域的后发者。

实际上,这意味着创始人必须做所有伟大的公司在软件领域做的事情,但在这个进展和速度都不确定的领域,他们必须比其他任何人都更快。他们必须做到非常高水平,有可能实现或在某些情况下创造从未有过的东西。

整个行业似乎已经注意到了这一点,但很少有公司能够以超过整个行业自然压缩和优势侵蚀的速度执行,这往往导致大量具有相似目标的公司在相同的、最终无关紧要的竞争轴线上竞争。

从某种程度上来说,OpenAI 是一家打响发令枪的公司,也是速度动态的一个很好的例子。

在 ChatGPT 取得巨大成功之后(据称是为了领先于竞争对手而进行的尝试),OpenAI 的一个小团队迅速发展成为一个更大的团队,因为在用 transformers 和 GPT-2 跨越了众所周知的鸿沟之后,该公司看到了转向更快的产品交付组织和更紧密的反馈循环的必要性。

其他企业,如Runway(Compound 投资组合公司)和Perplexity都是以精英速度为核心的组织的典范。这两家公司都从看似无名小卒成长为受人关注的科技公司。随着产品功能的快速深化,它们推出了广泛的功能,并从使用开源大模型或 API 转变为专有大模型或 API。

保持这种速度不仅仅意味着创始人必须在 12 到 24 个月内完成,然后成长为更大的组织并持续发展。相反,在人工智能领域,最好的公司必须既是精英短跑运动员,又是最快的马拉松运动员。

当然,比赛结束时的奖品将是无比宝贵的,但这仍可能以许多不同的方式出错,而人们总是容易分心去进行错误的战斗。

如果我不得不猜测的话,这就是我们将看到大多数公司失败的地方;利用早期持久PMF 的虚假信号,玩短期游戏,最终被其他初创公司或玩长期游戏的公司超越或摧毁。

最常见的状态是构建一种在短期基础模型性能之上创造增量价值的产品,而不是利用基础模型性能的提升来实质性地提高产品价值。

Sam Altman在最近的一次采访中提出了一种简单的启发式方法来理解这一问题:

当我们只做基本工作,即通过每一次改进使大模型及其工具变得更好时,你就会得到‘OpenAI 杀死了我的初创公司’的梗。如果你在 GPT-4 上构建了一些东西,一个理性的观察者会说‘如果 GPT-5 比 GPT-4 好得多’……不是因为我们不喜欢你,而是因为我们有一个使命……我们会压倒你。”

而 Brad Lightcap在同一次采访中表示: “询问公司大模型的 100 倍改进是否是他们感到兴奋的事情。”

短期游戏的另一种失败状态是,那些以拟物化框架构建产品的人,不是因为人工智能而构建“x”的东西,而是构建一个因人工智能而成为“y”的新奇事物。

由于这些具有潜在破坏性的干扰(以及这里未讨论的许多其他干扰),我们认为创始人需要建立企业架构,使他们的团队能够从文化角度、运输和执行角度对抗这种陷阱。

此外,他们必须构建基础设施,使他们在计算、数据和人才等领域不受限制,所有这些都由资本推动,使他们不必减慢产品迭代速度,并且可能因为人工智能中缺乏完全牢不可破的护城河而受到干扰。

简单地说,建立一家人工智能公司不仅仅是为了生存。

数据飞轮

多模态性和扩展性告诉我们,如今 AI 的投资回报可以来自于“连接现有数据”。LLM大模型早期的典型例子是,当LLM被教授编码任务时,它提高了各种看似不相关的任务的性能。现在,随着公司从LLM或“多模态模型”转向世界模型,以提高图像、音频、视频等带来的性能和对世界的理解,我们已经在多模态中看到了类似的动态。

再伴随上下文窗口的不断消失,这意味着,预先训练一个大模型,然后用数据对其进行微调,可能并不是人们曾经认为的短期到中期的护城河。

话虽如此,LLM 并没有在训练数据分布之外真正表现出智能,在各种非语言任务中,我们已经看到数据和规模并没有最大化,以便提高性能,就像我们早期通过 The Pile 等实现的更传统的自然语言理解一样。

这使得我们逐渐青睐那些旨在拥有超出最初预期的更多堆栈的公司,包括拥有整个堆栈和建立一家支持人工智能的运营公司。

如果您能够建立合作伙伴关系等,那么那些数据在结构上被锁定在缺乏计算能力的现有企业(医疗保健、生物、工业)内的公司也会越来越有吸引力。

这些动态因素使得一部分公司能够为各种任务收集独特的大规模数据,构建自定义工作流,从而使其业务能够生成新的数据集,最重要的是,通过现实世界的证明和反馈来闭合循环,弥合一种新形式的Sim2Real差距,或许最好将其定义为“从比特到原子的差距”

合成数据

在人工智能的各个时代,合成数据的前景始终存在,而且就像任何其他人工智能炒作周期一样,了解合成数据如何在特定行业和公司走向超级效用的过程中发挥作用变得越来越重要。

虽然我们最初在 2016 年就开始关注与自动驾驶(AV) 相关的这些用例,但世界似乎比以往任何时候都更加相信合成数据对于 AGI、ASI 或我们在具身智能和非具身智能中看到的下一个有意义的性能变化的重要性。正因为如此,如果在各个模式下,一些不同的组织在生成数据方面达到世界一流水平,并利用这一点作为复合优势,我们也不会感到惊讶。

对于能够大规模部署并获得用户反馈的公司来说,合成数据将能够以更有效的方式改进他们的模型,而不是收集大量不同质量的数据并将其扔进一堆计算信用中,最终发现只有百分之几的数据是有价值的。

对于在稀疏数据环境中运营的公司,合成数据将使它们能够更快地达到部署点,或者弄清楚在哪里做出“收集、购买还是生成”数据决策,从而再次更快地获得更好的规模和效率。

我的假设是,不幸的是,短期内企业不会足够重视这一点,而等到重视时,可能已经太迟了。因此,我们的主要建议是,企业应对他们在数据采集方面做出的隐性权衡以及为什么这是主导方法有一个一致的假设。

市场时机与人才

我计划写一篇较长的文章来广泛讨论 2024 年的深度科技人才,但我在 2020 年关于该主题的文章第 3 点中分享的许多观点,在过去 18 个月里在人工智能领域引起了强烈反响。

2024 年,越来越多的研究人员感受到了这一“时刻”,比以往任何时候都更需要将研究成果应用到现实世界中。这种感觉变得尤为强烈,因为大型组织对公开分享研究成果的兴趣越来越小,因此与优秀研究相关的影响力已经减弱,现在以某种形式与交付的产品挂钩。

与此同时,人工智能领域的理想团队组成也发生了变化。

人工智能已经开始吸引来自世界各地的人才,让非常有才华的工程师能够想出如何解决由人工智能构建带来的一系列约束问题。坦率地说,这些约束对工程师来说很熟悉(特别是在初创公司工作过的工程师),而对大型超级技术实验室的研究人员和工程师来说则有些陌生,因此它们是人工智能初创公司高度互补的技能,有时甚至是更必要的技能。

随着技术类别经历特定周期的浪潮,你会开始看到新一代的人才流动动态,这是因为从周期的第一个主要浪潮中吸取的经验教训已经被耗尽。

这看起来就像人们在积累了扩展技能后离开现任或主导公司去获得 0-1 技能。这看起来也像是扩展初创公司的优秀员工离开去解决他们现在敏锐感受到的问题。

在这个周期阶段,行业通常会获得大量基础设施/开发工具的衍生品,因为定制的基础设施和工具可以带到组织之外,供下一波初创公司使用,而不必重新发明轮子。几年前,我们看到许多团队从 AirBnB、Uber 和世界上更多地方分拆出来,从事类似的以数据为中心的业务。

在一系列对话中,人才普遍缺乏共识,即哪些公司拥有部分堆栈是无懈可击的,哪些公司不是人工智能公司,这导致这些人才分成两派,一派认为他们必须在前沿实验室(OpenAI、Anthropic、DeepGoog、MSR、MetaAI)或未开发的类别(生物基础模型是其中的一个)工作,而另一些人则认为这一切都毫无意义,下一波创新只会来自于在模型之上构建的东西。

渐进式分拆和人才分散

在经历了漫长的成长期(深科技)的领域,当人们兴致高涨时,我们总是看到这样一种动态:许多公司会从引发寒武纪大爆发的公司中分离出来,以便比他们以前的雇主/扩张中的在职人员做得更好。我们一次又一次地看到这种情况,通常这些公司标志着技术成熟周期中一些奇怪的中间阶段。

这种情况发生在自动驾驶汽车领域,从DARPA 2007 年的 Grand Challenge开始,人才不断涌现,Systems/Waymo、Tesla 和 Cruise 纷纷涌现,最终导致大量自动驾驶汽车公司分散,这些公司采用与现有企业相同的技术方法。这些公司中的绝大多数都筹集到了风险投资,但未能或可能无法兑现超越早期创新“现有企业”的承诺。

作为一名投资人,我认为这是赔钱的灾难性方式,因为它在某种程度上是基于渐进主义而不是阶梯式函数变化。

作为一名创始人,我会非常确定你正在测试的差异化假设是什么,以及你如何以独特的方式捕捉到这种价值,而不是像科技界所说的“没人再去那里了,那里太拥挤了” ,因为这与你以前的雇主有关。

在发生转变的时刻,人们低估了现任者的许多规模优势,却在收益和分配递减的低谷中得到了惨痛的教训。

即将解决的谬误和反向方法的价值

每当人们将当前尚未解决的非常困难的问题视为“显然很快就会解决”的问题时,我们 Compound 机构就会变得兴奋起来。

技术行业已经非常擅长推断进展到最终状态,但在预测时间范围方面仍然低于标准,更重要的是,在可能让我们达到这些最终状态的“随机”行走方面。

缩放定律可能就是这种情况的一种表现,它与我们去年所说的“虽然我们目前还不清楚会发生什么变化,但我们很难相信什么都不会发生”的观点非常相似,我们倾向于相信可能存在一些尚未发现的重大变化,并且可能存在我们尚未在人工智能领域意识到的最终推动优势。

我们认为这可能反映了AI世界将自主性视为一个即将解决的问题的方式,因此不欣赏端到端的方法,这使得我们在遇到Wayve的 Alex Kendall 时非常仔细地倾听,最终让我们共同领投了他们的种子轮融资。

最后一点是,深科技领域的人才整合速度似乎远高于其他技术领域。随着人工智能的不断发展,随着人们对该领域的看法继续分化为“开放领域”或“已获胜”阵营,我们将看到人才优势开始实质性地向那些能够为其思想阵营提供可信案例的人倾斜。

所有这些也许可以用另一种方式来简化:一个人是否非常渴望在 OpenAI 而不是其他地方工作,或许可以很好地通过罗夏墨迹测试来衡量他对人工智能未来的看法的坚定程度。

更新的AI投资框架

回到这篇文章的开头,我们可以将人工智能中的护城河看作是元护城河的集合,每个元护城河都会随着时间的推移在行业成熟度和公司巩固/分布的不同水平上逐渐衰落。

在短期内,构建的核心护城河非常明显,所有目标都是获得早期分销和 PMF,以便成为行业中第一个进入市场的产品(因为现在所有行业都在寻求 AI 合作伙伴关系/实验)或在众多产品中脱颖而出。

随着这些指标被证明,公司必须弄清楚他们的优势在哪里,以及如何将这种优势与资本结合起来,以维持计算和人才,从而为产品、研究和进一步分销提供信息,以扩大 PMF 的规模。

随着时间的推移,初创公司不断涌现,旨在通过短期改进(“嘿,看看这个新模型,它比其他所有模型都做得更好!”)、不同的上市动议(服务驱动合同以及传统的可扩展合同、定制模型等)、过度设计的演示(rip)、高度反向或固执己见的方法(导致转换动态(其中一些可能会持续))和/或锁定合作伙伴关系的精英能力来取代领导者。

从长远来看,这些攻击将被长期保持领先地位的品牌、基于数据的材料性能优势和/或产品深度所阻止,从而产生高昂的转换成本并实现针对许多不同客户类型的规模分销(直接分销或通过之前的合作伙伴关系)。

这个AI框架在这篇文章讨论的所有领域以及其他领域都有细微差别,但实际上它只是进一步说明了人工智能领域的企业建设是一场创意迷宫马拉松,需要根据各种奖励进行大规模执行,无论好坏,当今大多数科技界的开发者都在为此努力。

查看此 Meta-Moat X (一种超越传统商业护城河的竞争优势)时间范围图表的目的是分析您的公司所依赖的竞争轴心,以及随着 AI 逐渐成熟,竞争轴心将如何加速。

虽然我已经为 OpenAI 制定了一个潜在的熊市框架(规模、资金、以transformer 为基础的数据就是你所需要的一切,直到你不需要为止),但一个可能过于乐观的看法是,作为一个组织,OpenAI 已经创建了最擅长探索和扩展模型开发的机制,这为他们赢得了时间继续发展成为一个日益称职的产品组织。与此同时,其他公司正“试图用一支飞镖击中移动的目标”,正如 Kevin Kwok(天使投资人,曾在Greylock Partners工作) 如此精辟地向我所说的那样。

简而言之,初创企业必须深度了解他们正在构建的企业使命。