30 秒快速回答：端侧部署轻量化多模态模型，核心链路是”轻量视觉编码器 + 小型 LLM + 量化压缩 + 推理引擎”。先把模型压缩到 1-3B 参数级别（INT4 量化后约 1-2GB），再交给 TensorRT / CoreML / ONNX Runtime 等引擎在手机、车载、边缘盒子上推理。核心价值：读完本文你能掌握从模型压缩到端云协同的完整落地路径，并可照着代码示例直接跑通一个端侧多模态推理 Demo。
为什么非端侧不可：三大驱动力与一个瓶颈
端侧部署多模态模型不是”炫技”，而是被三件事逼出来的：
- 延迟敏感：自动驾驶、工业质检、AR 眼镜等场景要求识别响应低于 50ms，而云端往返一次往往超过 100ms，端侧推理几乎是唯一选择；
- 隐私合规：医疗影像、安防监控等数据不可离开设备，推理必须全程在本地完成；
- 带宽受限：IoT 设备网络不稳定，重度依赖云端的方案随时”断供”。
但端侧算力普遍只有 1-20 TOPS，真正的瓶颈是内存带宽：以 7B 模型为例，INT4 量化后权重仍有约 4GB，在 25GB/s 带宽下理论极限仅约 6 token/s。所以，部署的第一步永远是让模型”瘦身”。
四板斧：量化、蒸馏、剪枝、结构重设计
| 手段 | 原理 | 典型方案 | 注意点 |
|---|---|---|---|
| 量化 | 将权重/激活降为低精度 | INT4/INT8；W4A16 是精度与速度的平衡点，常用 GPTQ / AWQ | AWQ 对视觉模型友好度更高 |
| 蒸馏 | 大教师模型用软标签训练小模型 | 训练 1B-3B 学生模型 | 建议蒸馏中间层特征对齐，并保留原始数据联合训练 |
| 剪枝 | 删除冗余参数与结构 | 结构化剪枝，对注意力头/FFN 做稀疏化 | NPU 稀疏支持有限，更适合压缩存储而非提速 |
| 结构重设计 | 从架构层面减少计算量 | Mamba 状态空间模型替代部分 Transformer 层；视觉分支轻、文本分支重的非对称结构 | 共享视觉塔 + 轻量语言头，兼顾多模态与成本 |
实践中通常组合使用：先蒸馏出小模型，再量化到 INT4，最后按设备特性做剪枝或结构调整。
典型链路与可运行示例
一条被广泛验证的端侧多模态链路是：
轻量视觉编码器（TinyViT / EfficientNet-Lite）→ 投影层（单层 MLP，256 维）→ 小型 LLM（Phi-3-mini / Qwen2-VL-0.5B / Gemma-2B）→ INT4 量化 + KV Cache 优化 → 推理引擎（TensorRT / CoreML / ONNX Runtime）
以 llama.cpp 为例，完整流程如下：
# 1. 将 HuggingFace 模型转为 GGUF 格式（含视觉投影层，输出 INT4 量化）
python convert_hf_to_gguf.py \
--outfile qwen2-vl-0.5b-int4.gguf \
--outtype q4_k_m \
/path/to/Qwen2-VL-0.5B
# 2. 启动多模态服务，--mmproj 加载视觉投影权重
llama-server \
-m qwen2-vl-0.5b-int4.gguf \
--mmproj mmproj-qwen2-vl-f16.gguf \
--port 8080
# 3. 调用图片理解接口
curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"qwen2-vl","messages":[{"role":"user","content":[{"type":"image_url","image_url":{"url":"http://localhost:8080/image.jpg"}},{"type":"text","text":"图中发生了什么？"}]}]}'
在 Apple Silicon 上，mlx-vlm 提供了更简单的命令行体验：
mlx_vlm.generate --model mlx-community/Qwen2-VL-0.5B-4bit \
--image ./image.jpg --prompt "描述这张图片"
端云协同：谁在端、谁在云
端云不是二选一，而是按场景分工：
| 场景 | 推荐路径 | 理由 |
|---|---|---|
| 隐私敏感（医疗影像 / 安防） | 端侧 | 数据不出设备，合规硬约束 |
| 低延迟交互（AR / 自动驾驶） | 端侧 | 响应需 <50ms |
| 复杂推理（长文档理解 / 多步推理） | 云端 | 端侧算力与上下文不足 |
| 知识更新（新知识 / 模型升级） | 云端 | 端侧模型更新成本高 |
| 混合场景 | 端侧粗筛 + 云端精修 | 兼顾延迟与质量 |
总结
- 端侧部署 = 轻量视觉编码器 + 小型 LLM + 四板斧压缩 + 推理引擎；
- 四板斧各有侧重：量化最通用、蒸馏效果上限高、剪枝更适合省存储、结构重设计面向下一代架构；
- 端云协同按”隐私、延迟、算力、知识更新”四个维度分工，而不是简单替代。
延伸阅读：想进一步理解本文提到的量化与模型小型化，推荐 blog 内教程《什么是模型量化？》《什么是小模型（SLM）？》；想了解端侧智能体如何调用这些模型，可看《什么是端侧 AI Agent？》。