DSPy

1. 项目/产品概览

2. 它主要能做什么

DSPy 的核心创新是把 LLM 调用从"手写字符串"升级为"声明式可编译程序"。这不是又一个 Prompt 模板库——它是一个完整的编译器框架。

2.1 核心三要素

DSPy 通过三个抽象层来构建和优化 LLM 系统：

2.2 编译器工作流

传统 Prompt 工程：
  写 Prompt 字符串 → 测试 → 效果不好 → 改字符串 → 再测试 → 换模型又得重来

DSPy 工作流：
  定义 Signature（声明任务） → 选 Module（执行策略） → Optimizer 编译（自动优化） → 保存为 JSON

关键区别：DSPy 的优化结果是可保存、可复用、可版本控制的 JSON 文件，而不是一段"碰巧好使"的文本。换模型后只需重新编译一次，代码无需改动。

2.3 核心理念：从 Prompt 到 Program

DSPy 将 LLM 应用开发从"汇编语言"（Prompt 字符串）提升到"高级语言"（声明式 Python）：

# 传统方式：脆弱的 Prompt 字符串
prompt = """You are a helpful assistant. Given the following email, extract
the event name and date. Return in JSON format. Email: {email}"""

# DSPy 方式：声明式类型化签名
class ExtractEvent(dspy.Signature):
    """Extract event details from an email."""
    email: str = dspy.InputField()
    event_name: str = dspy.OutputField()
    date: str = dspy.OutputField()

extract = dspy.Predict(ExtractEvent)
result = extract(email="Team offsite this Thursday at 2pm")
# Prediction(event_name="Team Offsite", date="Thursday")

当你需要分步推理时，只需替换 Module，代码不改：

extract = dspy.ChainOfThought(ExtractEvent)  # 自动加推理步骤

当需要工具调用时：

agent = dspy.ReAct("question -> answer", tools=[search, calc])

2.4 高级能力

• 多模态：dspy.Image 作为字段类型，直接处理图片、图表
• Assertions（断言）：运行时约束校验，自动重试纠错
• PythonInterpreter：安全沙箱执行代码，支持数学推理
• RLM（递归语言模型）：递归推理模块（2025 年 12 月新论文）
• Fine-tuning 集成：优化器不仅调 Prompt，还能生成微调数据（BetterTogether 论文）
• 异步支持：原生 async 执行，线程安全，适合高吞吐场景
• 可观测性：MLflow Tracing（基于 OpenTelemetry），每步调用可追踪

3. 适用场景

4. 不太适合的场景

5. 核心能力清单

5.1 Signature（签名）能力

5.2 Module（模块）矩阵

5.3 Optimizer（优化器）矩阵

5.4 企业与工程能力

6. 架构/部署/集成方式

6.1 安装

# 稳定版
pip install -U dspy

# 最新开发版（从 main 分支）
pip install git+https://github.com/stanfordnlp/dspy.git

6.2 LM 配置（统一模型接口）

DSPy 通过 dspy.LM() 统一管理各种 LLM 后端，代码无需因换模型而改动：

# OpenAI 模型
lm = dspy.LM("openai/gpt-4o-mini")
dspy.configure(lm=lm)

# Anthropic 模型
lm = dspy.LM("anthropic/claude-sonnet-4-20250514")

# 本地开源模型（通过 LiteLLM 或直接调用）
lm = dspy.LM("ollama/llama3.1")

# Azure OpenAI
lm = dspy.LM("azure/gpt-4o", api_key="...", api_version="...")

6.3 部署模式

6.4 集成生态

• 可观测性：MLflow Tracing（OpenTelemetry 标准）
• 部署：MLflow Model Serving、PyPI 发布
• 模型提供商：OpenAI、Anthropic、Cohere、Mistral、Google Gemini、AWS Bedrock、Azure OpenAI、Ollama、本地 HuggingFace 模型等
• 向量数据库：与 ColBERTv2 等检索器原生集成，也可通过工具函数接入任意向量库
• 与其他框架：LangChain 有 DSPy 官方集成，DSPy 模块可嵌入 LangChain Pipeline；LlamaIndex 也可与 DSPy 互补使用
• Go 语言：社区 dspy-go 项目提供兼容实现

7. 怎么用

7.1 最小完整示例

import dspy

# 1. 配置语言模型
lm = dspy.LM("openai/gpt-4o-mini")
dspy.configure(lm=lm)

# 2. 定义任务签名（替代手写 Prompt）
class SentimentClassifier(dspy.Signature):
    """Classify the sentiment of a sentence as positive, negative, or neutral."""
    sentence: str = dspy.InputField()
    sentiment: str = dspy.OutputField(desc="one of: positive, negative, neutral")

# 3. 选择执行策略
classify = dspy.ChainOfThought(SentimentClassifier)

# 4. 直接调用（零样本）
result = classify(sentence="The new feature is amazing and works flawlessly!")
print(result.sentiment)  # "positive"

7.2 带优化的完整训练流程

import dspy

# 准备训练数据
trainset = [
    dspy.Example(sentence="I love this product!", sentiment="positive").with_inputs("sentence"),
    dspy.Example(sentence="This is terrible.", sentiment="negative").with_inputs("sentence"),
    dspy.Example(sentence="It's okay, nothing special.", sentiment="neutral").with_inputs("sentence"),
    # ... 更多训练样本
]

# 定义评价指标
def sentiment_accuracy(example, pred, trace=None):
    return pred.sentiment.lower() == example.sentiment.lower()

# 创建分类器和优化器
classify = dspy.ChainOfThought(SentimentClassifier)
optimizer = dspy.GEPA(metric=sentiment_accuracy, auto="medium")

# 编译优化
optimized_classify = optimizer.compile(classify, trainset=trainset)

# 保存编译结果
optimized_classify.save("sentiment_classifier_v1.json")

# 加载使用
loaded = dspy.ChainOfThought(SentimentClassifier)
loaded.load("sentiment_classifier_v1.json")
result = loaded(sentence="Absolutely fantastic experience!")
print(result.sentiment)  # "positive"

7.3 Agent 示例（ReAct + 工具调用）

import dspy

lm = dspy.LM("openai/gpt-4o")
dspy.configure(lm=lm)

# 定义工具（Python 函数即可）
def search(query: str) -> list[str]:
    """Search a knowledge base for relevant documents."""
    return knowledge_base.query(query, k=3)

def calculator(expression: str) -> float:
    """Evaluate a mathematical expression."""
    return dspy.PythonInterpreter({}).execute(expression)

# 创建 Agent
agent = dspy.ReAct("question -> answer", tools=[search, calculator])

# 使用 Agent
result = agent(question="What is the GDP per capita of France based on 2024 data?")
# Agent 自动推理：需要 GDP 数据和人口数据 → search → 计算除法
print(result.answer)  # "$46,029"

7.4 多模态示例

class AnalyzeChart(dspy.Signature):
    """Describe the trend and key data points in a chart."""
    chart: dspy.Image = dspy.InputField()
    title: str = dspy.OutputField()
    trend: str = dspy.OutputField()
    data_points: list[dict] = dspy.OutputField()

analyze = dspy.Predict(AnalyzeChart)
result = analyze(chart=dspy.Image("quarterly_revenue.png"))

8. 售前可以怎么讲

8.1 一句话定位

"DSPy 是斯坦福推出的 LLM 编译器——把你的 AI 系统从手写 Prompt 的'手工作坊'变成自动优化的'工业生产线'，Shopify 用它省了 75 倍成本，Databricks 省了 90 倍。"

8.2 客户痛点 → 解决方案

8.3 差异化卖点

vs LangChain（生态最广的 LLM 框架）：

• DSPy 不做编排和集成，而是专注优化 LLM 调用本身的质量——与 LangChain 互补
• LangChain 已有 DSPy 官方集成，DSPy 模块可作为 LangChain Pipeline 中的一个优化节点
• DSPy 的优化能力是 LangChain 原生不具备的：LangChain 帮你搭 Pipeline，DSPy 帮你调优 Pipeline
• 定位：可以用 LangChain 做框架 + DSPy 做优化层

vs LlamaIndex（RAG 专用框架）：

• LlamaIndex 强在数据连接和索引管理，DSPy 强在 LLM 调用编译和优化
• LlamaIndex 适合"帮 LLM 找到正确数据"，DSPy 适合"让 LLM 正确处理数据"
• DSPy 的 RAG 优化（检索策略、生成质量）可与 LlamaIndex 的索引层配合使用

vs 手写 Prompt（传统方式）：

• 手写 Prompt 是艺术，DSPy 是工程——可复现、可版本化、可自动化
• 手写 Prompt 依赖个人经验，DSPy 依赖数据和指标——更科学
• 手写 Prompt 换模型等于重写，DSPy 重新编译即可
• 研究数据：优化出的 Prompt 在框架外用不一定有效（部分场景有退化），说明 DSPy 是一个整体编程模型，不只是"Prompt 生成器"

vs 国内框架（Dify / Coze / MaxKB 等）：

• DSPy 是底层 LLM 编译器，国内框架多偏应用层
• DSPy 更适合有 ML 工程团队、需要精细化控制的中大型团队
• DSPy 的学术背书（斯坦福+ICLR）对技术决策者有强吸引

8.4 客户价值故事线（5 步讲法）

1. 切入："你们上线 LLM 应用后，效果稳定吗？Prompt 调试花了多少时间？换模型是不是又得重来？"
2. 共鸣："手写 Prompt 就像用手工调整汇编代码——换一个 CPU（模型）就得全部重来。大模型本身在进化，但 Prompt 工程的方法还停留在 2023 年。"
3. 演示：现场用 5 行 Python 定义一个分类任务 → 换 ChainOfThought 不改代码 → 用 GEPA 自动编译优化 → 展示效果提升 → 保存为 JSON，证明"可复现"
4. 进阶：展示生产案例——Shopify 从单次 GPT-5 调用到自托管 Qwen-3-9B 多 Agent 架构，质量 2x 提升、成本从 $500 万/年降到零头
5. 重磅："DSPy 不是又一个 Prompt 模板库——它是 ICLR 2026 Oral 论文的编译器方法论。斯坦福出品、MIT 开源、Shopify/Databricks/Dropbox/AWS 均已上线生产。"

9. 常见客户问题

10. PoC 建议

推荐 PoC 方向：从手写 Prompt 到 DSPy 编译优化

选一个客户已有标注数据的 LLM 任务（分类/提取/RAG），对比手写 Prompt vs DSPy 编译后的效果。

总体时间：3.5 天

验证指标：

• 编译后准确率 > 手写 Prompt
• 编译后稳定性（多次运行方差） < 手写 Prompt
• 模型迁移后编译版效果接近或超过原模型手写版
• 编译时间 < 30 分钟（200 条样本）
• 编译后可保存为 JSON，加载即用

PoC 成功标准（Go/No-Go）：

• ✅ Go：编译版效果至少不差于手写版，且显著降低 prompt 维护工作量
• ✅ Go：模型迁移实验成功，证明换模型只需重新编译
• ❌ No-Go：客户完全无标注数据且不愿投入标注（此时 DSPy 优化器价值无法体现）

11. 风险和注意事项

12. 我的售前判断

推荐度：强烈推荐（特别适合已有 LLM 应用但效果不稳定、或需要大规模降本的客户，尤其是具备 ML 工程能力的中大型企业）

理由：

1. 方法论领先："Programming, not Prompting"不是营销口号——它是一种被 ICLR 2024 和 ICLR 2026（Oral）双顶会验证的编译器范式。在 AI 基础设施越来越成熟的时代，Prompt 优化的手工作坊模式终将被淘汰，DSPy 处于这个范式转换的最前沿。

1. 生产案例扎实：Shopify（成本降 75x，从 GPT-5 迁移到自托管 Qwen-3-9B）、Databricks（成本降 90x，开源模型+优化 > Claude Opus 4.1）、Dropbox（45% NMSE 降低）——这些不是 PoC 实验，是千万级请求的生产系统。每个案例都有公开的技术博客/视频详解。

1. ROI 叙事清晰：一次性的编译成本（$2-500）换长期的推理成本节省（$50 万/年 → 零头）。这在任何 CFO 面前都是有力的商业论证。

1. 工程友好：MIT 协议开源、JSON 保存/加载、MLflow Tracing（OpenTelemetry 标准）、异步支持、线程安全、MCP Server 导出——生产化所需的基础设施都已就绪。

1. 学术背书 + 商业验证双保险：斯坦福团队持续产出：2023 DSPy→2024 MIPROv2/BetterTogether→2025 GEPA（ICLR 2026 Oral）/RLM。每月 523+ PR、109 个 Release 证明社区活跃度极高。

推荐客户画像：

• 已上线 LLM 应用，但 Prompt 维护成本高、效果不稳定
• 有 ML/工程团队（1-2 人即可），有 Python 能力
• 想要从大模型迁移到小模型以降本
• 有标注数据（或愿意投入标注）的 RAG/分类/提取/Agent 场景
• 重视可观测性和工程化的中大型企业
• 使用多个模型提供商，需要统一 LLM 调用层

不推荐的情况：

• 完全没有标注数据且短期内不打算标注（Optimizer 价值无法体现）
• 需要低代码/无代码平台（推荐 Dify/Coze/MaxKB）
• 团队完全没有 Python 能力（推荐 API 直调或 SaaS 方案）
• 只有 1-2 个简单 Prompt、不涉及优化（直接手写即可）
• 对成本极敏感、无法承担编译期间的 LLM 调用费用

13. 参考资料

• GitHub 仓库：https://github.com/stanfordnlp/dspy
• 官方网站：https://dspy.ai
• 安装指南：https://dspy.ai/getting-started/installation/
• 入门教程：https://dspy.ai/getting-started/program-dont-prompt/
• 生产部署：https://dspy.ai/production/
• 使用案例汇总：https://dspy.ai/community/use-cases/
• DSPy 框架论文（ICLR 2024）：https://arxiv.org/abs/2310.03714
• GEPA 论文（ICLR 2026 Oral）：https://arxiv.org/abs/2507.19457
• MIPROv2 论文：https://arxiv.org/abs/2406.11695
• BetterTogether（Fine-tuning + Prompt Opt）：https://arxiv.org/abs/2407.10930
• RLM（递归语言模型）：https://arxiv.org/abs/2512.24601
• DSP 论文（框架起源）：https://arxiv.org/abs/2212.14024
• Shopify 生产案例：https://www.youtube.com/watch?v=bxToahwOVpY
• Dropbox Dash 案例：https://dropbox.tech/machine-learning/optimizing-dropbox-dash-relevance-judge-with-dspy
• AWS Nova 迁移案例：https://aws.amazon.com/blogs/machine-learning/improve-amazon-nova-migration-performance-with-data-aware-prompt-optimization/
• Databricks 90x 成本降低：https://www.databricks.com/blog/building-state-art-enterprise-agents-90x-cheaper-automated-prompt-optimization
• Databricks Genie：https://www.databricks.com/blog/pushing-frontier-data-agents-genie
• JetBlue 案例：https://www.databricks.com/blog/optimizing-databricks-llm-pipelines-dspy
• Replit 代码修复：https://blog.replit.com/code-repair
• MLflow 集成：https://mlflow.org/docs/latest/llms/dspy/index.html
• 可观测性教程：https://dspy.ai/tutorials/observability/
• DeepWiki DSPy：https://deepwiki.com/stanfordnlp/dspy
• Discord 社区：https://discord.gg/XCGy2WDCQB
• PyPI：https://pypi.org/project/dspy/
• dspy-go（Go 语言实现）：https://github.com/darwishdev/dspy-go
• GEPA 独立库：https://github.com/gepa-ai/gepa
• GEPA 使用案例集：https://gepa-ai.github.io/gepa/guides/use-cases/
• 医疗影像 DSPy 应用：https://arxiv.org/abs/2511.11898
• 多场景 DSPy 优化研究：https://www.alphaxiv.co/overview/2507.03620

分析日期：2026-07-02 | 数据时效：GitHub 实时获取，官方网站内容截至访问日期，v3.3.0b1