Guide · 使用教程
DeepInfra 开放权重 LLM API 教程：接入、成本核算、并发与 429 处理
用 DeepInfra 的 OpenAI 兼容接口调用模型，记录 token 与费用，设置并发、有限重试和预算上限，并核对模型数据政策。
作者：Li Xuan·更新于 2026年10月7日
DeepInfra 可以用 OpenAI 兼容接口调用托管 LLM。本教程从最小请求开始，建立一个可复查的质量、成本、并发验收流程。示例模型 ID 来自官方快速开始文档；上线前应在实时模型页确认它仍可用。
准备账号与测试集
在 DeepInfra 创建 API key，并确认账号付款或充值设置。密钥只存放在服务器环境变量或密钥管理器，不要放浏览器代码或 Git 仓库。打开模型目录，选一款开放权重文本模型，记录完整 ID、上下文长度、价格、接口能力和许可。准备至少 100 条脱敏的真实任务输入，包含短问答、长上下文、JSON、工具调用和失败边界。
平台也提供图像、Embedding 以及部分合作方模型。它们的调用方式、计价和数据政策可能不同，本文只用文本聊天请求讲解预算。
第一步：发送最小 Chat Completions 请求
把 DEEPINFRA_API_KEY 设置为当前进程的环境变量。以下是官方 OpenAI 兼容端点，示例模型若下线，请从最新目录替换 ID。
bash
curl --fail-with-body --silent --show-error \
https://api.deepinfra.com/v1/openai/chat/completions \
-H "Authorization: Bearer $DEEPINFRA_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "deepseek-ai/DeepSeek-V4-Flash-0731",
"messages": [
{"role": "system", "content": "请简洁回答，不要编造来源。"},
{"role": "user", "content": "用两句话解释什么是 RAG。"}
]
}'
检查回答与 usage.prompt_tokens、usage.completion_tokens。官方示例还返回 estimated_cost，适合记入请求日志，但最终费用仍与账单核对。401 先检查当前进程密钥是否存在，不要把密钥打印进日志。400 先检查 model ID，再检查请求参数。
第二步：复用 OpenAI Python SDK
已有 OpenAI SDK 的服务可切换 base URL。只设置模型已确认支持的参数；官方文档明确提醒兼容接口不是百分之百参数兼容。
python
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["DEEPINFRA_API_KEY"],
base_url="https://api.deepinfra.com/v1/openai",
timeout=,
)
response = client.chat.completions.create(
model=,
messages=[
{: , : },
{: , : },
],
max_tokens=,
)
(response.choices[].message.content)
(response.usage)
常见问题
- DeepInfra 兼容接口地址是什么？
- OpenAI SDK 的 base URL 设为 https://api.deepinfra.com/v1/openai；聊天请求使用当前可用模型 ID。
- 默认 200 是每分钟请求数吗？
- 不是，是官方默认每模型 200 个并发请求；资源繁忙也可能返回 429。
- estimated_cost 是最终账单吗？
- 将其作为请求级估算，并与账号账单核对。
- API key 可以放前端吗？
- 不可以，放服务器环境变量或密钥管理器。
- 429 要无限重试吗？
- 不应无限重试。应用端限流，设置有限重试、指数退避和总超时。
- 所有 DeepInfra 模型都不留存数据吗？
- 不能这样概括；图像、批量任务和合作方模型的规则可能不同。