本地大模型落地实战教程：从 0 搭一个私有 AI 工作台

Ollama 跑通
  ↓
文档问答库
  ↓
代码审查助手
  ↓
个人助手 Modelfile
  ↓
只读 Agent 原型

https://ollama.com

ollama --version

ollama serve

ollama pull llama3.2:3b
ollama pull mistral:7b
ollama pull qwen2.5-coder:7b

ollama run llama3.2:3b

请用一句话解释什么是本地大模型。

mkdir -p ~/local-ai-workbench/docs-sample
cd ~/local-ai-workbench/docs-sample

cat > policy-2023.md <<'EOF'
# 客户数据保留政策 2023

客户订单数据保留 3 年。
客户聊天记录保留 180 天。
超过保留周期后，应在 30 天内删除或匿名化。
EOF

cat > policy-2025.md <<'EOF'
# 客户数据保留政策 2025

客户订单数据保留 5 年。
客户聊天记录保留 90 天。
高风险客户数据需要单独加密存储。
超过保留周期后，应在 15 天内删除或匿名化。
EOF

docker run -d \
  --name anythingllm \
  -p 3001:3001 \
  -v anythingllm_storage:/app/server/storage \
  mintplexlabs/anythingllm

http://localhost:3001

帮我总结这些文档。

请对比 policy-2023.md 和 policy-2025.md 的客户数据保留政策。
必须输出：
1. 两份文件一致的地方
2. 两份文件冲突的地方
3. 每个结论引用来源文件名
4. 如果文档没有提到，不要猜

冲突点：
- 订单数据保留周期：2023 文件为 3 年，2025 文件为 5 年。
- 聊天记录保留周期：2023 文件为 180 天，2025 文件为 90 天。
- 删除/匿名化窗口：2023 文件为 30 天内，2025 文件为 15 天内。

新增要求：
- 2025 文件新增“高风险客户数据需要单独加密存储”。

mkdir -p ~/local-ai-workbench/code-review-demo
cd ~/local-ai-workbench/code-review-demo

cat > user_api.py <<'EOF'
def get_user_data(user_id):
    query = f"SELECT * FROM users WHERE id = {user_id}"
    result = db.execute(query)
    return result.fetchone()
EOF

ollama run qwen2.5-coder:7b

你是一名资深软件工程师，正在做代码审查。
你的任务是找问题，不要鼓励我。

审查重点：
1. 安全漏洞：SQL 注入、鉴权、数据泄露
2. 边界条件：空值、异常、不存在的数据
3. 复杂度：是否有不必要的写法
4. 真实环境会失败的假设

输出格式：
- 问题：
- 风险：
- 为什么是问题：
- 建议修改：

不要复述代码功能，直接输出发现的问题。

代码如下：

def get_user_data(user_id):
    query = f"SELECT * FROM users WHERE id = {user_id}"
    result = db.execute(query)
    return result.fetchone()

问题 1：SQL 注入
风险：user_id 直接拼进 SQL，攻击者可构造输入改变查询语义。
建议：使用参数化查询。

问题 2：SELECT * 数据暴露
风险：返回不需要的敏感字段，例如 password_hash、token、internal_note。
建议：只选择必要字段。

问题 3：空结果未处理
风险：用户不存在时返回 None，调用方可能出现 NoneType 错误。
建议：显式处理未找到场景，返回错误或抛出业务异常。

请基于上面的审查结果，给出一个更安全的 Python 版本。
约束：
1. 使用参数化查询
2. 不要 SELECT *
3. 用户不存在时显式返回 None，并在注释里提醒调用方处理
4. 不要引入新依赖

def get_user_data(db, user_id: int):
    query = """
    SELECT id, name, email
    FROM users
    WHERE id = ?
    """
    result = db.execute(query, (user_id,))
    row = result.fetchone()
    if row is None:
        return None
    return row

{
  "models": [
    {
      "title": "Qwen2.5-Coder Local",
      "provider": "ollama",
      "model": "qwen2.5-coder:7b",
      "apiBase": "http://localhost:11434"
    }
  ]
}

ollama pull mistral:7b
ollama list

ollama run mistral:7b

我现在离线。请只基于我提供的信息回答。
我要写一封邮件，目标是把项目延期 3 天的原因说清楚，但不要甩锅。背景如下：
- 接口联调比预期多花 2 天
- 测试环境昨天不可用半天
- 我们已经补了回归测试
请给我一版简洁邮件草稿。

我现在处于离线环境。
你只能基于我提供的材料回答。
如果材料不足，请明确说“材料不足，无法判断”。
不要补充外部事实。

任务：
[写清楚你要它做什么]

材料：
[粘贴本地材料]

输出格式：
1. 结论
2. 草稿/步骤
3. 需要联网后再核验的点

mkdir -p ~/local-ai-workbench/my-assistant
cd ~/local-ai-workbench/my-assistant

cat > Modelfile <<'EOF'
FROM llama3.2:3b

SYSTEM """
你是我的本地工作助手。

关于我：
- 我主要做工程实践、自动化脚本、技术文章整理。
- 我偏好中文回答。
- 我不喜欢空泛建议。

工作方式：
- 先给结论，再给步骤。
- 如果请求含糊，先改写成更清楚的问题，再回答。
- 优先给最简单够用的方案，不要过度工程化。
- 不确定就说不确定，不要编造。

输出格式：
1. 结论
2. 具体步骤
3. 验证方式
4. 风险或限制
"""

PARAMETER temperature 0.4
PARAMETER num_ctx 4096
EOF

ollama create my-work-assistant -f Modelfile
ollama run my-work-assistant

我想把一篇技术文章转成内部分享稿，请给我一个 30 分钟内能完成的流程。

结论：30 分钟内不要追求完整复刻原文，应提炼成“问题-方案-演示-边界”的分享结构。

具体步骤：
1. 5 分钟：提取文章一句话结论和 3 个关键案例。
2. 10 分钟：改成内部听众关心的落地场景。
3. 10 分钟：补一个可运行 Demo 或截图。
4. 5 分钟：写风险边界和下一步试点。

验证方式：让一个同事只看标题和步骤，判断是否知道怎么试。

mkdir -p ~/local-ai-workbench/read-only-agent/{input,output}
cd ~/local-ai-workbench/read-only-agent

cat > input/app.log <<'EOF'
2026-05-19 09:00:01 INFO service started
2026-05-19 09:02:11 WARN retry payment callback order_id=1001
2026-05-19 09:03:42 ERROR database timeout query=get_user order_id=1002
2026-05-19 09:05:10 INFO payment callback success order_id=1001
2026-05-19 09:06:55 ERROR failed to send webhook order_id=1003
EOF

cat > local_log_agent.py <<'EOF'
import json
from pathlib import Path
from urllib.request import Request, urlopen

ROOT = Path(__file__).parent.resolve()
INPUT = ROOT / "input" / "app.log"
OUTPUT_DIR = ROOT / "output"
OUTPUT = OUTPUT_DIR / "log_report.md"
MODEL = "llama3.2:3b"

SYSTEM_PROMPT = """
你是一个只读日志分析助手。
约束：
1. 只能基于用户提供的日志内容分析。
2. 不要编造日志里没有的信息。
3. 输出中文 Markdown。
4. 必须包含：错误摘要、告警摘要、可能影响、建议排查顺序。
"""


def call_ollama(prompt: str) -> str:
    payload = {
        "model": MODEL,
        "messages": [
            {"role": "system", "content": SYSTEM_PROMPT},
            {"role": "user", "content": prompt},
        ],
        "stream": False,
    }
    req = Request(
        "http://localhost:11434/api/chat",
        data=json.dumps(payload).encode("utf-8"),
        headers={"Content-Type": "application/json"},
        method="POST",
    )
    with urlopen(req, timeout=120) as response:
        data = json.loads(response.read().decode("utf-8"))
    return data["message"]["content"]


def main() -> None:
    if not INPUT.exists():
        raise SystemExit(f"missing input file: {INPUT}")

    log_text = INPUT.read_text(encoding="utf-8")
    prompt = f"请分析以下日志：\n\n{log_text}"
    report = call_ollama(prompt)

    OUTPUT_DIR.mkdir(parents=True, exist_ok=True)
    OUTPUT.write_text(report + "\n", encoding="utf-8")
    print(f"written: {OUTPUT}")


if __name__ == "__main__":
    main()
EOF

ollama serve

python3 local_log_agent.py

cat output/log_report.md

错误摘要：
- database timeout 出现在 get_user 查询，关联 order_id=1002。
- failed to send webhook，关联 order_id=1003。

告警摘要：
- payment callback 对 order_id=1001 出现 retry，随后成功。

建议排查顺序：
1. 先查数据库超时是否影响 get_user 查询链路。
2. 再查 webhook 发送失败的目标服务和重试机制。
3. 最后确认 order_id=1001 是否已最终一致。

读取本地输入 → 调用本地模型 → 生成本地报告 → 保留可审计文件

ollama pull llama3.2:3b
ollama run llama3.2:3b