什么是本地部署？
想象你在自家车库造特斯拉！本地部署就是把价值上亿的 AI 大模型（比如 GPT-3 级别）直接装在你买的服务器上，就像把一头 "电子巨兽" 圈养在家里。🦖➡️🏠
👉技术黑话翻译：不需要联网调用厂商接口，所有计算在你家机柜完成，数据不出门！
有钱烧显卡的人在想啥？
❗️隐私党：数据就是底裤！医疗记录 / 商业机密敢放云端？分分钟被看光光！🔐
❗️控制狂：想改算法就改，想加功能就加，就像给 AI 整容不用挂号！💉
❗️技术宅：月薪 3 万的 AI 工程师，没本地部署经验？简历直接扔垃圾桶！👨💻🗑️
云端方案｜豪门与寒门的抉择本地部署
云端 API / 租赁
💰成本
一张显卡 = 一辆五菱宏光
按次收费，细水长流
⚙️维护
每周重启比大姨妈还准时
甩锅给厂商，躺平就行
🔒安全
数据锁进自家保险柜
就像把日记存菜鸟驿站
🚀灵活度
想怎么魔改就怎么魔改
只能用厂商给的 "阉割版"
用 API 就像租女朋友，本地部署才是娶回家！
普通人上车指南
❗️烧钱三件套：
❗️技术三板斧：
❺ 暴击灵魂的抉择时刻
✅适合人群：
❌快逃警告：
本地部署就像娶了个烧钱小祖宗，但当你看着自家 AI 吐出机密数据时 —— 那种掌控感，比中彩票还爽！🎰 所以问题来了：你是要当云计算的打工人，还是做自家 AI 帝国的秦始皇？👑
服务器线上部署：vLLM、SGLang和Xinference。
个人测试首选：Ollama、LM Studio
适合入门：Ollama：新一代深度学习框架：https://m.mingzhang.cc/cms/soft/7dcz
快速简洁的大语言推理入门首选，支持GGUF和SafeTensor格式。支持Windows，但是默认的Qwen2 72B是4 bit量化版本。
适合入门：LM Studio桌面App，支持大语言模型和嵌入模型，只支持GGUF格式。
LM Studio支持Windows，但是每次加载模型都要重新配置一遍参数，而且默认是只Offload 20%的计算到GPU，所以每次都得去调到最大，性能也不稳定。还有一个原因，每次加载之后才能修改Offload到GPU为最大，然后每次相当于要加载两遍，跑了好多次之后，nvidia-smi提示找不到GPU了，要重启电脑。
生产推荐：SGLang是一个用于大语言模型和视觉语言模型的快速服务框架。不支持Windows。
vLLM是一个快速且易于使用的用于大语言模型（LLM）推理和服务的库。不支持Windows。
生产推荐：Xorbits Inference：分布式大模型推理框架
各种模型都支持，大语言模型，嵌入模型，SD模型，Audio模型。。。支持Windows，支持集群；适合商业；但是其大语言模型的推理引擎也只能用llama.cpp或者Transformer，Transformer都是默认加载全精度的，所需显存较大。
localai
GPT4All
LM Studio
vLLM
h2oGPT