大模型对 AI Infra 的重构之：LLMOps

摘要：

• 文章讨论了大模型（LLM）在人工智能基础设施（AI Infra）中的应用，以及它如何重构现有的AI Infra。
• 投资人对AI的热情在大模型时代再次被点燃，但投资决策变得更加谨慎。
• AI的发展经历了几次高潮，目前正处于由弱人工智能向强人工智能转变的前夜，大模型的核心能力正由垂直特定领域转向通用横向发展。
• 大模型在实际生产环境中的落地率不足5%，面临交互限制、记忆限制和工具调用限制等应用痛点。
• LLMOps（大模型中间件）作为解决方案，集成了开发框架和运营工具，旨在高效、可扩展和安全地使用AI模型构建和运行应用。
• LLMOps平台通过提供数据管道、词嵌入模型库、向量数据库等，解决大模型的交互窗口长度问题，并为私有数据注入提供工具。
• AI Agent作为LLMOps的核心，可以驱动大模型落地，解决应用的最后一公里问题。
• 文章还提到了LangChain和LlamaIndex两家典型的LLMOps公司，它们分别提供基于AI Agent的LLMOps平台和专注于数据索引及企业RAG应用的解决方案。
• 投资逻辑方面，文章认为AI Agent是大模型应用的趋势，而大模型中间件在解决应用问题中扮演重要角色，国内外公司在这一领域的技术创新和生态建设上都处于起步阶段。