这周和同事们复盘做季度总结和计划，人工智能的话题贯穿全程。我们讨论了一些典型的AIGC公司案例、应用场景，在梳理资料的时候，除了此前分享过的a16z的几篇文章和TOP100榜单外，还看到一些有价值的观点，准备花一些时间在微信号上整理和分享下。
今天要说的是硅谷顶级投资人Elad Gil的一些观点。Elad Gil是Solo VC（个人基金，或个体户VC），投资了Character.ai、Perpleixty、Mistral、Harvy等热门AI创业公司。去年11月， Elad Gil刚完成个人第三支基金的募资，规模超10亿美元，创下Solo VC记录。
Elad Gil今年2月在个人博客中，分享了对人工智能各个层面：LLM大模型、AI云基础设置、AI应用或Agents，有哪些他在思考的话题，或者说他觉得存在的问题和挑战。这些问题，换另外一种说法，就是有哪些商业机会和发展趋势，对我们很有启发，接下来一起来看看。
在大多数市场中，时间越长，事情就会变得越清晰。但是在生成式人工智能（AGI）中，情况恰恰相反。时间越长，我认为我真正理解的就越少。
对于人工智能堆栈（AI Stack）的每个级别，我都有一些悬而未决的问题。
一、LLM大模型
从某种意义上说，LLM有两种类型：处于性能最前沿和领先的大模型（想想 GPT-4 与直到最近的其他模型），以及其他所有类型的大模型。由于所需的资本规模，我认为随着时间的推移，前沿模型市场将会崩溃，成为寡头垄断市场。与此同时，非前沿模型将更多地由商品/定价驱动，并具有更强大的开源存在（请注意，这是 Llama 和 Mistral 之前的发布）。
事情目前似乎正在朝着上述方向发展：
LLM很可能是一个寡头垄断市场。当前的竞争者包括 OpenAI、Google、Anthropic 等闭源模型，或许还有 Grok/X.ai，以及开源方面的 Llama (Meta) 和 Mistral。当然，这个列表可能会在未来一两年内发生变化。前沿模型的训练成本越来越高，而LLM的价格随着性能的提高而逐年下降（例如，现在训练 GPT-3.5 可能比 2 年前便宜约 5 倍）。
随着LLM规模变得越来越大，资金越来越多地主要来自云服务提供商/大型科技公司。例如，微软向 OpenAI 投资了100亿美元，而 Anthropic 在亚马逊和谷歌那里筹集了70亿美元。英伟达也是多种类型基础模型公司的重要投资者。相比之下，这些公司从VC那里拿到的钱只是沧海一粟。随着LLM训练成本的激增，新兴资助者主要集中在大型科技公司（通常有强烈的动机为了自己的收入而来投资该领域 – 即云服务提供商或 英伟达），或希望支持当地冠军的国家。这正在影响市场并推动尽早选择潜在的获胜者。
值得注意的是，这些云服务提供商的投资规模与实际云收入相比相形见绌。例如，微软的 Azure 每季度产生 250亿美元的收入。微软对 OpenAI 的100亿 美元投资也就相当于 Azure 6 周的收入。人工智能最近对 Azure 收入产生了巨大影响。 事实上，Azure 在 2024 财年第二季度增长了 6 个百分点，这意味着它的年增长率为 50-60亿美元（相当于OpenAI 投资金额的 50%）。当然收入并不是净利润，但这仍然令人震惊，并且随着时间的推移，云服务商有经济上的理由为更大规模的LLM提供资金。
与此同时，Meta 在 Llama 模型方面做出了出色的工作，最近宣布了200亿美元的资本支出，其中部分用于资助LLM训练。 18 个月前，我假设LLM的开源赞助商应该出现，但假设是亚马逊或英伟达，Meta 的可能性较小。
关于 LLM 的问题：
- 云服务商是否能够选择少数参与者，并通过其提供的算力/资本规模锁定寡头垄断市场？
云服务商何时停止为新的 LLM 公司提供资金，而不是继续为现有的公司提供资金？云服务商很容易成为LLM的最大资助者，而不是VC们。考虑到他们因联邦贸易委员会的行动而在并购方面受到限制，以及来自云计算使用的收入，他们这样做是合理的。这可能导致（or已经导致）市场动态的一些扭曲。这对LLM的长期发展和市场结构有何影响？这是否意味着由于新进入者缺乏足够的资本和人才，我们很快就会看到新LLM公司的终结？或者他们是否继续资助LLM，希望其中一些LLM能够在他们的云上转化为收入？
- 开源模型是否能改变AI大模型的一些模式？ Meta 是否会继续资助开源模型？如果是这样，Llama-N 是否能够赶上领先的LLM模型？
一个完全开源的大模型，如果能成为AI最领先和前沿的LLM，那有可能将AI基础设施的一些市场份额从LLM转移到云服务商，并减少其他LLM公司的收入。同样，这可能是一个寡头垄断市场，没有单一的赢家（AGI 除外），但对如何思考云和基础设施公司在这个市场中的相对重要性有影响（当然两者都可能非常重要）。
Llama2 使用条款中最有趣的一个内容是，如果你的用户数量少于 7 亿，则可以开放商业使用许可证。这显然阻止了一些大型竞争对手使用他们的模型。但这也意味着，如果你是一家大型云服务提供商，你需要向 Meta支付Llama2的许可证费用，微软已经这样做了。尽管 Llama 是开源的，但这为 Meta 控制（和货币化）Llama 创造了一种有趣的长期方式。
- 我们如何考虑LLM的速度、价格与性能？
可以想象，与人类正常的做事速度相比，缓慢、但性能出色的大模型可能非常有价值。最新的Gemini大模型似乎正朝着这个方向发展，拥有超过 100 万个 token 上下文窗口，就像 Magic 一样，Magic 在 2023 年 6 月宣布了 500 万个Token窗口。大型上下文和理解深度可以真正改变我们对 AI 使用的看法。另一方面，Mistral 展示了小型、快速且廉价的推理性能模型的价值。
- 基础模型的架构如何演变？具有不同架构的模型是否包含了LLM的一些未来潜力？其他形式的记忆和推理何时发挥作用？
- 政府是否支持（或直接采购）区域人工智能冠军？
各国政府是否会像支持航空航天领域的波音和空客公司一样，在本地LLM大模型上的支出有所不同？政府是否希望支持反映当地价值观、语言等的大模型？除了云服务商和全球大型科技公司（可以考虑阿里巴巴、乐天等）之外，潜在资金的其他主要来源是国家。现在欧洲（例如Mistral）、日本、印度、阿联酋、中国和其他国家都有本地的大模型公司。如果是这样，可能会有一些仅靠政府收入、就能支持的价值数十亿美元的人工智能LLM公司。
- 中国会发生什么？
可以预见的是，中国的LLM将得到腾讯、阿里巴巴、小米、字节跳动和其他大公司的支持，这些公司将大举投资本土LLM公司。中国政府可能会利用监管、防火墙等来防止来自非中国公司的竞争，并建立政府支持的本地LLM领先企业。值得注意的一件有趣的事情是中国开源大模型的趋势。例如，来自阿里巴巴的 Qwen 在LMSYS 排行榜上排名更高。.
- X.ai （马斯克旗下AI公司）会发生什么？
看起来像是一张通配符。
- Google有多好？
谷歌拥有创造令人惊叹的事物的计算力、规模和人才，而且组织严密、行动迅速。谷歌一直是世界上人工智能优先的公司。看起来也像是一张通配符。
二、基础设施公司
有几种类型的基础设施公司，用途截然不同。例如， Braintrust提供评估、日志记录和代理，以帮助公司从“基于氛围”的人工智能分析转向数据驱动；Scale.ai则在数据标记、微调等领域发挥着关键作用。这些公司存在着一些可能的问题，例如有多少 RLHF 转变为 RLAIF？。
人工智能基础设施公司面临的最大的不确定性的问题与AI云堆栈及其演变有关。目前来看初创公司和企业对于AI云服务的需求有很大不同。对于初创公司来说，新的云提供商和工具（例如 Anyscale、Baseten、Modal、Replicate、Together 等）似乎正在采取一条有用的道路，从而实现快速采用和收入增长。但对于有特殊需求的企业来说，存在一些悬而未决的问题。例如：
- 当前的AI公司是否需要为大型企业构建其产品的本地/BYOC/VPN 版本？
企业似乎会针对以下方面进行优化：1）使用他们已经有预算的现有云市场预算来购买服务； 2）由于延迟和性能的考虑，会犹豫是否需要从其 Web 应用程序/数据托管位置（即 AWS、Azure、 GCP)？ ；3）会关心安全性、合规性（FedRAMP、HIPAA等）。这些短期的市场机会可能与长期企业需求不同。
- AI 云的采用有多少是由于 GPU/GPU 受限所致？
在主要云服务商缺乏 GPU 的情况下，各公司都在争先恐后地寻找足够的 GPU 来满足自己的需求，从而加速采用自己的 GPU 云的新初创公司。 英伟达可能采取的一项潜在策略是优先将 GPU 分配给这些新公司，以降低超大规模厂商的议价能力并分割市场，并通过初创公司加速行业发展。
GPU瓶颈何时结束？这对新的人工智能云服务提供商有何影响？对于那些唯一业务就是GPU的公司而言，目前或许获利，但随着GPU短缺的结束，这些公司也面临挑战。拥有更多工具和服务的云计算公司会更有竞争力。
- 像GroqGroq这样的新型 AI ASICS 如何影响 AI 云？
还有什么可以整合到人工智能云中？他们交叉销售嵌入和 RAG 吗？持续更新？微调？其他服务？这对数据标签商或其他提供重叠产品的公司有何影响？与通过云相比，什么可以直接整合到大模型提供商中？
- AI云中哪些公司会追求哪种商业模式？
值得注意的是，人工智能云世界有两个细分市场：1）初创公司；2）中大型企业。 “仅 GPU”商业模式默认适用于初创企业（云需求较少），但对于中大型企业来说，采用可能更多地受到主要平台上 GPU 云限制的推动。
提供开发人员工具、API 端点和/或专用硬件或其他方面的公司是否会演变成其他两个类似的模型？ 1） “Snowflake/Databricks for AI”模型；2）“Cloudflare for AI”？如果有，哪些采用哪种模式呢？
- 新的人工智能云市场规模有多大？
像 Heroku、Digital Ocean、Snowflake 还是 AWS 一样大？此类公司的产出规模和利用规模是多少？
- 人工智能堆栈如何随着超长上下文窗口模型的发展而发展？
我们如何考虑上下文Token和提示词、微调、RAG 和推理成本之间的相互作用？
- FTC（和其他监管机构）预防并购对这个市场有何影响？
至少有十几家可靠的公司在开发人工智能云相关的产品和服务——数量太多，不可能全部都是独立的。在一个大力反对科技并购的政府领导下，人们如何看待退出？人工智能云本身是否应该相互整合以巩固所提供的份额和服务？
三、AI应用
ChatGPT 是许多 AI 创始人的发令枪。在 ChatGPT 之前（甚至在 Midjourney 和 Stable Diffusion 之前），大多数科技人员并没有密切关注我们现在正在经历的 Transformer/Diffusion 模型革命和混乱。
这意味着最接近该模型和技术的人——即人工智能研究人员和基础设施工程师——是第一批离开并创办基于该技术的新公司的人。远离核心模型世界的人们——许多产品工程师、设计师和产品经理，直到现在才意识到人工智能的重要性。
ChatGPT 大约 15 个月前推出。如果你需要9 到 12 个月的时间来决定辞去工作，然后又需要几个月的时间与联合创始人集思广益，形成一个初步的想法，那么我们会开始看到一波AI应用开发者在现在/or很快就会出现。
- B2B 的AI应用
在新兴的 B2B 应用浪潮中，哪些重要的公司和市场将是哪些？与初创企业相比，现有企业将在哪些方面获得价值？
- 消费者/C端应用
可以说，许多最早的人工智能产品都是直面消费者或“产消者”——即用于个人和商业用例。 ChatGPT、Midjourney、Perplexity 和 Pika 等应用就是这样的例子。也就是说，为什么人工智能生态系统中的消费者构建者如此之少？纯粹是上面提到的时间延迟吗？ 2007-2012 年的社交产品群体似乎已经过时了。打造下一波人工智能消费浪潮需要新鲜血液。
- AI Agents产品
在Agents方面，可能会发生很多有趣的事情。与寻找商业用例的初创公司相比，哪些领域是重点关注的产品领域？