2020 年代 AI 开发者必备：20 款免费基础设施工具全景图谱

“AI 应用的上层建筑是 Prompt，经济基础是 Gateway。没有稳固的 Gateway 层，再精美的 RAG 和 Agent 都是沙上建塔。”

一、为什么 AI Gateway 是 2026 年的必选项

2023-2025 年的 AI 开发经历了三个阶段：

1. Demo 时代（2023）：调用 OpenAI API，跑通就是胜利
2. RAG 时代（2024）：向量数据库、检索增强，拼的是数据质量
3. 工程时代（2025-2026）：多模型切换、成本控制、安全合规、可观测性

AI Gateway 是工程时代的基石。

没有 Gateway 的典型痛点：

• 单点故障：OpenAI 挂了，整个应用死
• 成本失控：没有 token 监控，月底账单暴雷
• 安全黑盒：不知道用户输入了什么，AI 回了什么
• 无法切换：从 GPT-4 迁到 Claude，代码重写一遍

二、AI Gateway 四大金刚

1. LiteLLM | 推荐指数：🌟🌟🌟🌟🌟

开源 LLM 代理的事实标准。统一 100+ 模型接口，一行代码切换。

import litellm

# 调用 GPT-4
response = litellm.completion(model="gpt-4", messages=[...])

# 切换到 Claude（只改一行）
response = litellm.completion(model="claude-3-5-sonnet", messages=[...])

# 换本地 Ollama 模型（同样一行）
response = litellm.completion(model="ollama/llama3", messages=[...])

免费点：开源核心完全免费 杀手锏：Fallback 链、请求记录、虚拟 Key 管理 官网：litellm.ai

2. Helicone | 推荐指数：🌟🌟🌟🌟

LLM 可观测性第一选择。一行代码接入，零侵入。

# 只改 base_url，其余代码完全不变
openai.api_base = "https://oai.helicone.ai/v1"

免费点：每月 10万 请求 杀手锏：Request/Response 完整记录、Cost 分析、Prompt 版本管理 官网：helicone.ai

3. Cloudflare AI Gateway | 推荐指数：🌟🌟🌟🌟🌟

边缘 AI 推理网关。全球 300+ 节点，推理延迟 < 50ms。

curl https://gateway.ai.cloudflare.com/v1/$ACCOUNT_ID/$GATEWAY/openai/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -d '{"model": "gpt-4", "messages": [...]}'

免费点：Workers 免费额度内 杀手锏：边缘缓存、语义缓存、流式响应优化 官网：developers.cloudflare.com/ai-gateway

4. Portkey AI | 推荐指数：🌟🌟🌟🌟

LLM 生产化网关。Guardrails 内容安全、语义缓存、Fallback。

import portkey_ai

client = portkey_ai.Portkey(
    api_key="PORTKEY_API_KEY",
    virtual_key="OPENAI_VIRTUAL_KEY"
)

免费点：每月 1万 请求 杀手锏：输入/输出安全过滤、多模型 Fallback、Prompt A/B 测试 官网：portkey.ai

三、模型路由与聚合

5. OpenRouter | 推荐指数：🌟🌟🌟🌟🌟

LLM 路由市场。200+ 模型，统一接口，自动选最优路径。

from openai import OpenAI

client = OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key="$OPENROUTER_API_KEY"
)

# 自动路由到 cheapest/fastest/best
client.chat.completions.create(model="openrouter/auto", messages=[...])

免费点：大量模型有免费层 杀手锏：按价格/质量/延迟排序，自由选择 官网：openrouter.ai

6. One API | 推荐指数：🌟🌟🌟🌟

国产 LLM 聚合神器。把国内各家大模型转成 OpenAI 格式。

免费点：开源免费 杀手锏：通义千问、文心一言、智谱等全部统一 GitHub：songquanpeng/one-api

四、前端 AI 开发套件

7. Vercel AI SDK | 推荐指数：🌟🌟🌟🌟🌟

前端友好的 AI 开发套件。流式 UI 的最佳实践。

import { useChat } from 'ai/react'

function Chat() {
  const { messages, input, handleInputChange, handleSubmit } = useChat()
  return (
    <form onSubmit={handleSubmit}>
      {messages.map(m => <div key={m.id}>{m.content}</div>)}
      <input value={input} onChange={handleInputChange} />
    </form>
  )
}

免费点：完全开源 杀手锏：useChat() 一键流式、streamText() 文本生成、Tool calling 官网：sdk.vercel.ai

五、可观测性与追踪

8. Langfuse | 推荐指数：🌟🌟🌟🌟🌟

开源 LLM 可观测性平台。自托管，数据可控。

免费点：开源版完全免费 杀手锏：Trace 链路追踪、Cost 分析、评估打分、Prompt 版本 官网：langfuse.com

9. LangSmith | 推荐指数：🌟🌟🌟🌟

LangChain 官方追踪平台。

免费点：每月 10万 trace 杀手锏：与 LangChain 深度集成 官网：smith.langchain.com

10. Braintrust | 推荐指数：🌟🌟🌟🌟

AI 应用评估平台。

免费点：generous free tier 杀手锏：Evals 评估体系、回归测试、A/B 对比 官网：braintrust.dev

六、向量数据库与检索

11. Pinecone | 推荐指数：🌟🌟🌟🌟

托管向量数据库。

免费点：每月 10万 向量操作 杀手锏：零运维，毫秒级检索 官网：pinecone.io

12. Weaviate | 推荐指数：🌟🌟🌟🌟🌟

开源向量搜索引擎。

免费点：完全开源 杀手锏：GraphQL 接口、混合检索（向量+关键词） 官网：weaviate.io

13. Chroma | 推荐指数：🌟🌟🌟🌟

轻量级本地向量数据库。

免费点：完全开源 杀手锏：pip install chromadb，5 分钟上手 官网：trychroma.com

七、模型部署与推理

14. Hugging Face | 推荐指数：🌟🌟🌟🌟🌟

AI 模型 GitHub。30万+ 开源模型。

免费点：模型下载、Spaces、Inference API 全部免费 杀手锏：一键部署推理端点 官网：huggingface.co

15. Modal | 推荐指数：🌟🌟🌟🌟🌟

GPU 推理部署平台。

免费点：每月 $30 额度 杀手锏：秒级 GPU 容器启动，按秒计费 官网：modal.com

16. Ollama | 推荐指数：🌟🌟🌟🌟🌟

本地 LLM 运行神器。

免费点：完全免费 杀手锏：ollama run llama3，一行命令运行本地模型 官网：ollama.com

八、AI 编排与框架

17. LangChain | 推荐指数：🌟🌟🌟🌟

LLM 应用开发框架。

免费点：完全开源 杀手锏：链式调用、工具集成、记忆管理 官网：langchain.com

18. LlamaIndex | 推荐指数：🌟🌟🌟🌟

RAG 框架首选。

免费点：完全开源 杀手锏：数据索引、检索、后处理全套 RAG 流程 官网：llamaindex.ai

九、生产力工具

19. Cursor | 推荐指数：🌟🌟🌟🌟🌟

AI 原生 IDE。

免费点：个人免费，无限 AI 补齐 杀手锏：Ctrl+K 生成代码、Ctrl+L AI 对话 官网：cursor.com

20. Warp | 推荐指数：🌟🌟🌟🌟

AI 终端。

免费点：个人免费 杀手锏：自然语言转命令、AI 解释报错 官网：warp.dev

十、工具全景速查表

十一、生产环境推荐架构

┌─────────────────────────────────────────────┐
│  前端层：Next.js + Vercel AI SDK (useChat)   │
│  部署：Vercel                                │
└──────────────────┬──────────────────────────┘
                   │ HTTP
┌──────────────────▼──────────────────────────┐
│  AI Gateway 层（任选一）                      │
│  ┌─────────┐ ┌──────────┐ ┌──────────────┐ │
│  │ LiteLLM │ │Helicone  │ │ Cloudflare   │ │
│  │(路由代理)│ │(追踪记录)│ │ AI Gateway   │ │
│  └────┬────┘ └────┬─────┘ └──────┬───────┘ │
│       └────────────┴──────────────┘          │
│              统一 OpenAI 格式接口              │
└───────────────────┬──────────────────────────┘
                    │
┌───────────────────▼───────────────────────────┐
│  模型层（多模型切换）                          │
│  ┌────────┐ ┌────────┐ ┌────────┐ ┌────────┐│
│  │ OpenAI │ │Anthropic│ │ 本地   │ │ 国内   ││
│  │ GPT-4o │ │ Claude  │ │ Ollama │ │ 通义   ││
│  └────────┘ └─────────┘ └────────┘ └────────┘│
└───────────────────────────────────────────────┘

十二、选型终极建议

快速启动（MVP）：

• Gateway：LiteLLM（开源免费）
• 前端：Vercel AI SDK
• 部署：Vercel
• 模型：OpenRouter 或 Hugging Face

生产环境（Production）：

• Gateway：Cloudflare AI Gateway + Helicone
• 可观测性：Langfuse（自托管）
• 向量检索：Pinecone / Weaviate
• 模型部署：Modal（GPU）+ Hugging Face（CPU）

成本敏感（Side Project）：

• 推理：Ollama（本地）+ Hugging Face（远程免费模型）
• 部署：Vercel Hobby + Supabase 免费层
• 一切能免费就免费，验证想法优先

“2026 年的 AI 开发者，手上已经有了比 2010 年代整个互联网更强大的免费工具集。区别只在于：你有没有把这些工具连接起来，解决真实的问题。”