从 AI Demo 到生产：团队必须偿还的五类生产债

技术债 → 输出不稳定、缺少 schema、prompt 脆弱
运营债 → 没 owner、没排障路径、没 AI 专属监控
评估债 → 只靠肉眼感觉，改一次 prompt 坏十个场景
集成债 → AI 输出没有和下游系统/API/数据格式对齐
治理债 → 审计、隐私、HITL、数据保留事后才补

不要把大模型当魔法；要把它当作一个不可靠但有价值的微服务，用契约、评估、监控、集成和治理包起来。

from pydantic import BaseModel, Field, ValidationError

class SqlReviewResult(BaseModel):
    risk_level: str = Field(pattern="^(low|medium|high)$")
    approved: bool
    reasons: list[str]
    required_actions: list[str] = []


def parse_llm_result(raw: str) -> SqlReviewResult:
    """把 LLM 输出变成可验证对象；失败时交给重试或人工确认。"""
    try:
        return SqlReviewResult.model_validate_json(raw)
    except ValidationError as exc:
        raise ValueError(f"LLM output schema invalid: {exc}") from exc

工作流名称：SQL 自动审查 Agent
Responsible：后端/平台负责人，处理日常问题
Accountable：业务系统 owner，决定是否上线和回滚
Consulted：DBA、安全、运维
Informed：使用该能力的业务团队

请求量：ai_requests_total
失败率：ai_schema_validation_failed_total / ai_requests_total
平均延迟：ai_request_duration_seconds
Token 成本：ai_tokens_total, ai_cost_estimated
上下文饱和度：prompt_tokens / model_context_limit
人工介入率：human_review_required_total / ai_requests_total

{"id":"case-001","input":"DROP TABLE users;","expected":{"risk_level":"high","approved":false}}
{"id":"case-002","input":"CREATE INDEX idx_orders_user_id ON orders(user_id);","expected":{"risk_level":"low","approved":true}}
{"id":"case-003","input":"UPDATE accounts SET balance=0;","expected":{"risk_level":"high","approved":false}}

import json


def load_cases(path: str) -> list[dict]:
    with open(path, encoding="utf-8") as f:
        return [json.loads(line) for line in f if line.strip()]


def score_case(actual: dict, expected: dict) -> bool:
    return (
        actual["risk_level"] == expected["risk_level"]
        and actual["approved"] == expected["approved"]
    )

{
  "customer_id": "C001",
  "action": "CREATE_TICKET",
  "due_date": "2026-05-20",
  "priority": "P1"
}

字段完整：customer_id/action/due_date/priority 都存在
枚举合法：action 只能是 CREATE_TICKET / UPDATE_TICKET / ESCALATE
日期合法：YYYY-MM-DD
失败处理：不合法时进入人工确认，不自动写入生产系统

低风险：摘要、分类、只读检索 → 自动执行，保留日志
中风险：生成建议、辅助决策 → 人工确认后执行
高风险：改数据、发消息、删资源、影响客户权益 → 默认禁止或强 HITL

{
  "request_id": "uuid",
  "workflow": "customer-support-agent",
  "actor": "user-or-system",
  "input_hash": "sha256-of-redacted-input",
  "model": "model-name",
  "decision": "ESCALATE",
  "confidence_or_score": 0.82,
  "human_approved": true,
  "created_at": "2026-05-19T10:00:00Z"
}

SQL 文件
→ 规则引擎初筛
→ LLM 结构化审查
→ schema 校验
→ 高危拒绝 / 中低危人工确认
→ 执行前备份
→ 审计日志

UPDATE users SET status = 'inactive';

{
  "risk_level": "high",
  "approved": false,
  "reasons": ["缺少 WHERE 条件，可能全表更新"],
  "required_actions": ["补充 WHERE 条件", "提供回滚方案"]
}

客户消息
→ PII 脱敏
→ 意图分类
→ 生成建议回复
→ 人工确认
→ 写入工单系统

客户说：我昨晚付款后订单还显示未支付，手机号是 138****0000。

{
  "category": "payment_issue",
  "priority": "P1",
  "reply_draft": "您好，我们已收到您的支付异常反馈，会优先核查订单状态。",
  "requires_human_review": true
}

用户问题
→ 检索文档
→ 引用来源
→ 生成答案
→ 标记不确定性
→ 记录低质量反馈样本

怎么重启 k8s-pod-monitor？

答案必须包含：
1. 来源文档路径或链接
2. 具体命令
3. 风险提示
4. 如果找不到依据，明确说“不确定”

工作流名称
业务目标
是否读写生产数据
是否影响客户/资金/权限
当前 owner
当前失败处理方式

上线前必须回答：
- 谁负责？
- 失败怎么停？
- 错误怎么查？
- 数据是否脱敏？
- 高风险动作是否 HITL？
- 有没有回归样本？

请按“生产级 AI 债务”审查这个 AI 工作流：

1. 技术债：模型输出是否有 schema？解析失败是否 fail closed？
2. 运营债：owner 是谁？报警后谁处理？监控哪些 AI 专属指标？
3. 评估债：是否有固定黄金样本？修改 prompt 后如何判断退化？
4. 集成债：下游 API/schema 是否已 mock 和验证？
5. 治理债：是否涉及 PII、客户权益、资金、权限或生产写操作？是否 HITL？

请输出：
- 当前风险等级：低/中/高
- 必须补齐项
- 可延后项
- 不允许上线的阻断项

1. AI 工作流没有 schema，不进生产。
2. AI 工作流没有黄金样本，不随意改 prompt。
3. AI 工作流涉及真实副作用，默认需要人工确认和审计日志。