a16z报告：企业在构建与购买生成式AI服务的16点观察

a16z日前在官网发布了一份报告《Generative AI Enrerprise 2024》，介绍了企业在构建、购买生成式AI（以下简称：GenAI）服务的16个变化。目前在美国，GenAI在消费者C端领域的活跃度，明显超过企业B端。而对于中国市场而言，考虑到目前大模型、算力、芯片等局限与制约，很多人认为从B端企业（or 产业）角度来做GenAI、机会可能更大。

a16z对于GenAI是下了重金投资的机构，他们在官网也一直更新关于这一波GenAI创业与投资的观察，无论是此前从C端流量角度来梳理的活跃GenAI应用TOP100榜单，还是最近连续发布的2-3篇从企业B端角度来做的分析，对于身处其中的创业者而言，都是很值得好好学习和实践的。

在这篇关于企业构建与购买GenAI服务的报告中，a16z还是很乐观的。

• 企业对于GenAI的预算在持续增加，预计2024年相比2023年同比增加2-5倍；
• 部分企业开始将GenAI分配到经常性软件预算项目上，而不再是创新预算或一次性资金；
• 企业当前衡量GenAI的指标可能是客户满意度或NPS，但投资回报率将变得越来越重要；
• 实施和扩展GenAI需要合适的技术人才，而目前许多企业内部并不具备这些人才；
• 企业对于开源模型的关注度很高，考虑因素包括：成本、可控制、易于定制；
• 企业对于模型控制的渴望源于敏感的用例和企业数据安全问题；
• 云服务在模型购买决策中仍然具有很大影响力，大多数企业依托现有的云服务商来购买模型；
• 目前企业正在自己构建GenAI应用程序，而不是购买应用程序；
• 预计到 2024 年底，模型 API 和微调的总支出将增长到超过 50 亿美元，而企业支出将构成该机会的重要组成部分。

具体来看，enjoy it

2023 年，生成式AI席卷了消费者领域，消费者支出创纪录地突破了10亿美元。到2024年，我们相信GenAI在企业端的收入机会将成倍增长。

去年，虽然消费者花费数小时与新的AI 伴侣聊天或使用大模型制作图像和视频，但大多数企业与GenAI 的互动似乎仅限于少数明显的用例，并将“GPT套壳应用”产品作为新的 SKU 提供。一些反对者怀疑 GenAI能否扩展到企业中：我们不是被同样的3个用例所困扰吗？这些初创公司真的能赚到钱吗？这不都是炒作吗？

在过去的几个月里，我们与数十位《财富》500 强企业和顶级企业领导者进行了交谈，并对另外 70 位人士进行了调查，以了解他们如何使用、购买GenAI并为其制定预算。我们对过去 6 个月内他们在资源配置和对GenAI态度发生的显着变化感到震惊。尽管这些企业领导者对部署GenAI仍持保留态度，但他们也将预算增加了近两倍，扩大了部署在较小开源模型上的用例数量，并将更多工作负载从早期实验转变为生产。 

这对创始人来说是一个巨大的机会。我们相信，人工智能初创公司如果能够： 1) 为企业制定以人工智能为中心的战略计划，同时预测企业的痛点；2) 从以服务为主的方法转向构建可扩展的产品，他们将抓住这一新的投资浪潮，并开拓重要的市场份额。

与往常一样，为企业构建和销售任何产品都需要深入了解客户的预算、关注点和路线图。为了让创始人了解企业领导者如何做出部署GenAI的决策，我们总结了16个值得注意的观点，包括企业在部署GenAI的预算、首要考虑因素、模型、企业用例等。

资源配置：预算急剧增长并将持续下去

1. 生成式人工智能的预算正在飙升。

2023 年，我们采访的数十家公司在基础模型 API、自托管和微调模型方面的平均支出为 700 万美元。此外，我们采访的几乎每一家企业都看到了GenAI实验的有希望的早期结果，并计划在 2024 年将支出增加 2 倍到 5 倍，以支持将更多工作负载部署到生产中。

2. 企业开始将GenAI重新分配到经常性软件预算项目上。

去年，企业GenAI的大部分支出不出所料地来自“创新”预算和其他典型的一次性资金池。然而到 2024 年，许多企业将把这些支出重新分配到更永久的软件产品上，不到四分之一的人表示今年的GenAI支出将来自创新预算。此外，我们也开始看到一些企业从人员节省角度来部署GenAI预算，特别是在客户服务方面。我们认为，如果这种趋势持续下去，未来GenAI的支出将大幅增加。一家公司表示，由LLM大模型支持的客户服务所处理的每个电话可节省约6美元，总共节省约 90% 的成本，以此作为将GenAI投资增加八倍的理由。以下是各企业如何分配其 LLM 支出的总体细目：

3. 衡量投资回报率仍然是一门艺术和一门科学。

企业目前主要通过GenAI带来的生产力提高来衡量投资回报率。虽然他们依靠 NPS （New Producion Skill，新生产技术）和客户满意度作为当前的代理指标，但他们也在寻找更切实的方法来衡量回报，例如创收、节省、效率和准确性增益，具体取决于他们的用例。短期内，企业仍在推出GenAI技术并找出用于量化回报的最佳指标，但在未来 2 到 3 年里，投资回报率将变得越来越重要。虽然领导者正在寻找这个问题的答案，但当员工说他们更好地利用了自己的时间时，许多人都相信这一点。

4. 实施和扩展GenAI需要合适的技术人才，而目前许多企业内部并不具备这些人才。

仅仅拥有大模型提供商的API、还不足以帮助企业大规模构建和部署GenAI解决方案。需要高度专业化的人才来实施、维护和扩展必要的计算基础设施。仅实施这一项就成为2023年GenAI支出最大的领域之一，在某些情况下甚至是最大的。一位高管提到，“LLM大模型可能占构建用例成本的四分之一”，而开发成本占预算的大部分。为了帮助企业启动并运行他们的模型，基础模型提供商提供并且仍在提供专业服务，通常与定制模型开发相关。我们估计，这在这些公司 2023 年的收入中占据了相当大的比例，除了业绩之外，这也是企业选择某些模型提供商的关键原因之一。由于在企业中找到合适的GenAI人才非常困难，因此提供工具以更轻松地在企业内部进行GenAI开发的初创公司可能会得到更快的采用。 

模型选择：企业正趋向于多模型、开源世界

5. 多模型的未来。

就在 6 个多月前，绝大多数企业都在尝试 1 种模型（通常是 OpenAI 的）或最多 2 种。当我们今天与企业领导者交谈时，他们都在测试（在某些情况下，甚至在生产中使用）多个模型，这使他们能够： 1) 根据性能、规模和成本定制用例；2) 避免锁定；3) 快速利用快速发展领域的进步。第三点对于领导者来说尤其重要，因为模型排行榜是动态的，公司很高兴能够结合当前最先进的模型和开源模型以获得最佳结果。

我们可能会看到更多的模型激增。在根据调查数据得出的下表中，企业领导者报告了一些正在测试的模型，这是将用于将工作负载推向生产的模型的领先指标。对于生产用例，正如预期的那样，OpenAI 仍然占据主导市场份额。

6.开源模型正在蓬勃发展。

这是过去 6 个月来最令人惊讶的变化之一。 我们估计 2023 年的市场份额为 80%–90% 闭源，其中大部分份额为 OpenAI。然而，46% 的调查受访者提到，他们更喜欢或强烈喜欢进入 2024 年的开源模型。在采访中，近 60% 的人工智能企业表示，他们有兴趣在对开源模型进行粗略微调时增加开源使用或进行切换闭源模型的匹配性能。那么，到 2024 年及以后，企业预计使用情况将明显转向开源，其中一些企业明确目标是 50/50 的比例——高于 2023 年 80% 封闭/20% 开放的比例。

7. 虽然成本是开源模型有吸引力的一个因素，但作为关键选择标准，它的排名低于控制和定制。

控制（专有数据的安全性以及理解模型产生某些输出的原因）和定制（针对给定的用例进行有效微调的能力）远远超过了成本，成为采用开源模型的主要原因。令我们惊讶的是，成本并不是最重要的，但这反映了企业目前的信念，即GenAI创造的超额价值可能远远超过其价格。正如一位高管所解释的：“获得准确的答案是物有所值的。”

8. 对控制的渴望源于敏感的用例和企业数据安全问题。

出于监管或数据安全方面的考虑，企业仍然不愿意与闭源模型提供商共享其专有数据。这毫不奇怪，知识产权对其业务模型至关重要的公司尤其保守。虽然一些企业通过自行托管开源模型来解决这一问题，但一些企业指出，他们会优先考虑与虚拟私有云 (VPC) 集成的模型。

9. 企业通常通过微调来定制模型，而不是从头开始构建模型。

2023 年，围绕构建 Bloomberg GPT 等自定义模型进行了很多讨论。2024年，企业仍然对定制模型感兴趣，但随着高质量开源模型的兴起，大多数企业选择不从头开始训练自己的LLM，而是使用检索增强生成（RAG）或微调开放模型满足其特定需求的源模型。

10. 云服务在模型购买决策中仍然具有很大影响力。

2023 年，许多企业出于安全原因通过现有的云服务提供商 (CSP) 购买模型（领导者更担心闭源模型比 CSP 处理不当），并避免冗长的采购流程。到2024年仍然如此，这意味着CSP和首选模型之间的相关性相当高：Azure用户普遍更喜欢OpenAI，而Amazon用户更喜欢Anthropic或Cohere。如下图所示，在使用 API 访问其模型的 72% 的企业中，超过一半使用其 CSP 托管的模型。（请注意，超过四分之一的受访者进行了自我托管，可能是为了运行开源模型。）

11. 客户仍然关心有差异化的功能。

虽然企业将推理能力、可靠性和易于访问（例如直接在其云服务平台）视为采用给定模型的首要原因，但企业也倾向于具有其他差异化功能的模型。例如，多家企业将之前的 200K 上下文窗口视为采用 Anthropic 的关键原因，而其他企业采用 Cohere 是因为其市场先行者（early-to-market）、易于使用（easy-to-use）、微调方便（fine-tuning）。

12. 尽管如此，大多数企业认为模型性能正在趋同。

虽然科技界的大部分人都专注于将模型性能与公共基准进行比较，但企业更专注于将微调的开源模型和微调的闭源模型的性能与他们自己的内部基准集进行比较。有趣的是，尽管闭源模型通常在外部基准测试中表现更好，但企业领导者仍然给予开源模型相对较高的 NPS（在某些情况下更高），因为它们更容易针对特定用例进行微调。一家公司发现，“经过微调后，Mistral 和 Llama 的性能几乎与 OpenAI 一样好，但成本却低得多。” 根据这些标准，模型性能的收敛速度比我们预期的还要快，这为企业提供了更广泛的功能强大的模型可供选择。

13. 优化可选性。

大多数企业正在设计他们的GenAI应用程序，以便模型之间的切换只需要更改 API 即可。一些公司甚至预先测试提示，因此只需轻轻一按开关，变化就会发生，而其他公司则建立了“模型花园”（model gardens），他们可以根据需要将模型部署到不同的应用程序。

公司之所以采取这种方法，部分原因是他们从云计算时代吸取了一些关于需要减少对提供商依赖的惨痛教训，部分原因是市场发展如此之快，以至于承诺单一服务是不明智的。

使用案例：更多地迁移到生产环境

14. 目前企业正在构建应用程序，而不是购买应用程序。

绝大多数企业都专注于内部构建GenAI应用程序，原因之一是缺乏经过实战检验、具有杀伤力的企业人工智能应用程序。毕竟，像这样的应用程序还没有魔力象限（还没有！）。基础模型还使企业比以往任何时候都更容易通过提供 API 来构建自己的GenAI应用程序。企业现在正在构建自己版本的熟悉用例（例如客户支持和内部聊天机器人），同时也尝试更多新颖的用例，例如编写 CPG （快速消费品）配方、缩小分子发现以及提出销售建议。

关于“GPT套壳应用”的有限差异，或者初创公司为 LLM 的众所周知的输出（例如，总结文档）构建熟悉的界面（例如，聊天机器人），已经写了很多文章；我们相信这些将陷入困境的原因之一是人工智能进一步减少了内部构建类似应用程序的障碍。然而，当更多以企业为中心的GenAI应用程序进入市场时，这种情况是否会发生变化，目前尚无定论。虽然有一家受访企业指出，尽管他们正在内部构建许多用例，但他们对“将会出现新工具”持乐观态度，并且更愿意“使用现有的最好的工具”。其他人则认为 GenAI是一种日益“战略工具”，它允许公司在内部引入某些功能，而不是像传统上那样依赖外部供应商。鉴于这些观察，我们相信那些超越“LLM + UI”公式进行创新、并重新思考企业底层工作流程或帮助企业更好地利用自己的专有数据的GenAI应用程序将在这个市场上表现得特别好。

15. 企业对内部用例感到兴奋，但对外部用例仍然更加谨慎。

这是因为对GenAI的两个主要担忧在企业中仍然很突出：1）认知幻觉、企业安全问题，2）部署GenAI的公共关系问题，特别是敏感的消费领域（例如医疗保健和金融服务）。去年最流行的用例要么关注内部生产力，要么在接触客户之前通过人工进行传递，例如AI编码、客户支持和营销。如下图所示，到 2024 年，这些用例在企业中仍然占主导地位，企业将文本摘要和知识管理（例如内部聊天机器人）等完全内部的用例推向生产，其速度远远高于敏感的人类。循环用例（例如合同审查）或面向客户的用例（例如外部聊天机器人或推荐算法）。企业渴望避免GenAI事故的影响，例如加拿大航空客户服务崩溃。由于这些问题对于大多数企业来说仍然很严重，因此构建可以帮助控制这些问题的GenAI工具的初创公司可能会得到广泛采用。

机会规模：巨大且增长迅速

16. 我们相信，到 2024 年底，模型 API 和微调的总支出将增长到超过 50 亿美元，而企业支出将构成该机会的重要组成部分。

 根据我们的计算，我们估计模型 API（包括微调）市场到 2023 年结束时的运行收入约为15-20亿美元，其中包括通过 Azure 在 OpenAI 模型上的支出。考虑到整体市场的预期增长和企业的具体迹象，到2024年底，我们预计仅此领域的支出就将增长到至少50亿美元，具有巨大的上升潜力。正如我们所讨论的，企业已优先考虑GenAI部署、增加预算并将其重新分配到标准软件系列、优化不同模型的用例，并计划在 2024 年将更多工作负载投入生产，这意味着企业的支出将成为推动GenAI增长的重要部分。

在过去的 6 个月里，企业发布了自上而下的指令来寻找和部署GenAI解决方案。过去需要一年多才能完成的交易现在只需两三个月就能完成，而且这些交易的规模比过去大得多。虽然这篇文章重点关注基础模型层，但我们也相信企业中的这个机会可以扩展到堆栈的其他部分——从有助于微调的工具到模型服务，到应用程序构建，再到专门构建的GenAI原生应用程序。我们正处于企业GenAI的拐点，我们很高兴与服务于这个充满活力和不断增长的市场的下一代公司合作。