AI 模型层 · 系统逻辑入门

① 开源 / 闭源：开放的是哪一层

这里的「开源」特指 开放权重（open weights）：把训练好的模型参数公开，任何人可查看 / 部署 / 修改 / 做衍生品。

关键澄清：「任何人都可以」= 权利上的开放，不等于「你一台电脑能跑」。就像开源软件你能拿到源码，但编译运行仍需环境。读文章要分清它开放的是哪一层：

模型层（K3 开放权重）系统层（Codex Security 开放 harness 代码，Apache-2.0，但模型 GPT-5.6 仍闭源）

② 权重 / 参数 / 2.8T

参数是模型里的「可调数字」；权重是训练后固定下来的那些数字（存成 safetensors 文件）。K3 总参数 2.8 万亿，仓库 1.56 TB、96 个分片、单片约 16 GB。

③ MoE 混合专家（公司比喻）

把模型想象成一家公司：共 896 个专业部门，但每处理一个 token 只根据任务叫来 16 个部门 + 共享专家。每次实际计算约 1040 亿参数，而非完整 2.8 万亿——成本大降，但整栋楼（全部权重）必须存在。

误区：MoE 降低的是「每步推理计算量」，不是「总权重体积」——896 个专家权重必须全部存着并在机器间快速调度。所以「每次算得少 ≠ 存得少」。

④ 量化（Quantization）

用更低精度压缩模型：K3 用 MXFP4 权重 + MXFP8 激活进一步压体积、提效率。量化让「存 / 算」更省，但官方仍建议 64+ 加速器节点。

① token 与上下文窗口

token = 模型处理的「词片段」单位（中英切法不同）。上下文窗口（K3 = 100 万 token）是单次能「看 / 记」的量。窗口大 ≠ 全塞满最优——要 harness 决定何时压缩、保留、遗忘（K3 在 30 万 token 处主动压缩）。

② 推理 vs 训练

你「下载来跑」叫 推理（用模型生成）；训练 / 微调是另一回事（更贵，要更多卡）。开源权重通常指能推理 / 微调，不一定是能从头重训。

③ 本地跑：小模型免 token（Ollama + Mac mini）

小模型（DeepSeek-R1 蒸馏版 7B / 14B）一台 Mac mini + Ollama，完全离线、免费、免 token——真的「下载即用」。

大模型不行：K3 的 2.8T 仓库约 1.56 TB，需 25+ 台 Mac mini 才装下内存，且没高带宽互连跑不起来 → 自部署变成机房工程。所以「下载 ≠ 免费用」只适用于小模型。

④ 云端跑：GPU 集群 / API / token 成本

云端 = 云厂商有 GPU 集群（64+ 加速器超级节点），能跑大模型，再以 API 提供给开发者。

普通人不用下载 1.56 TB、不用管 64 张卡，而是在各种产品里「间接遇见」K3（按需调用、按 token 付费）。意义：把重资产集中托管，降低门槛；代价：每次调用付 token 费、且数据出网。

注意：若工具本身要调云端 API（如 Codex Security 调 GPT-5.6），仍要 token / 账号——即使它的 harness 代码是开源的。

⑤ 蒸馏（Distillation）

小模型从大模型「学出来」：DeepSeek-R1 同时发布 1.5B / 7B / 8B / 14B / 32B / 70B 蒸馏版，一台 Mac mini 就能跑 7B / 14B。K3 目前只开放 2.8T 完整权重，没有官方从小到大蒸馏系列。

harness 七要素（最关键的认知升级）

模型外面的 系统层包含：

• 工具权限：能读代码库 / 终端 / 浏览器吗？
• 上下文管理：100 万 token 怎么分、何时压缩 / 遗忘？
• 执行循环：写 → 跑 → 看 → 改 的闭环。
• 状态保存：任务进行到哪一步了？
• 人工确认：删文件 / 发邮件 / 付款前谁拍板？
• 失败恢复：出错了怎么重试、回滚。
• 协作 / 交付：结果怎么接进人的工作流。

同一 K3 在 Kimi Code 得 72.9、放进 Claude Code 得 73.7——权重没变，变的是周围的工具 / 提示 / 上下文 / 执行循环。你做 agent 项目时接触的工具调用、重试、上下文，就是 harness 的一部分。

「模型即产品」越来越像个暴言——前沿模型到用户之间，始终隔着一整套系统。一个只把模型直接暴露给用户的「产品」，几乎没有护城河：竞争对手可以换上同一个（甚至更好的）模型，你的差异瞬间归零。

真正的护城河在哪

护城河 = 系统层 + 数据 + 集成 + 工作流 + 分发，而不在权重本身。

• Slack / Notion：AI 不是产品本身，而是嵌进「协作 / 笔记」既有工作流里的一项能力。用户留下是因为上下文（聊天记录、文档）和协作网络，不是因为某个模型。模型被商品化，围绕它的系统才是产品。
• 反例：只做一个「裸聊天框」套壳，没有自己的数据 / 工作流 / 权限，随时可被底层模型厂或同类工具替代。

给你选工具的方法

面对一个 AI 工具，多问三句：

• 能看什么（上下文）：它接得住你的资料吗？
• 做什么（工具）：它能真正执行动作，还是只给建议？
• 谁拍板（人工确认 / 权限）：危险操作前是你确认，还是它自作主张？

答得越清楚，护城河越实在，工具也越值得信赖。

K3 的开源许可证把业务分成两类，正好对应你做产品时的两种姿势：

• 嵌入功能（embedding）：你把开源权重跑进自己的产品 / 功能里，体验和运行你说了算（本地或自有集群）。模型成为你功能的一部分，而不是别人按 token 收税的服务。
• 卖推理（selling inference）：你转售 API 访问 / 推理能力，按 token 赚差价——本质是渠道生意，壁垒薄。

复盘你做过的 agent 项目

• 哪些是模型（权重，可替换）？——换成另一个同量级模型，功能还成立吗？
• 哪些是 harness（工具调用、上下文、重试、状态、人工确认）？——这部分才是你的 IP 和壁垒，换模型也带不走。

结论：模型是商品、可互换；你的 harness 才是资产。

给你的 actionable

想一个你能把开源模型「嵌进去」的功能点（如本地摘要、分类、信息抽取），既降 token 成本、又避免数据出网——这就是「嵌入功能」思路的最小落地。

• 体验本地免 token 推理：装 Ollama → 拉一个 7B 小模型（如 ollama run deepseek-r1:7b）→ 亲历「下载即用、离线免费」。
• 看一个 harness 的工作流：打开 Claude Code / Kimi Code 这类工具，观察它如何「写代码 → 运行 → 看报错 → 改 → 再跑」，体会模型外面的系统层。
• 对比实验：把同一个需求分别丢给「裸聊天框」和「带工具的 agent」，感受 harness 带来的差异。