没有 AIPC 的家庭是支离破碎的
什么是AIPC？为什么没有AIPC的家庭就会支离破碎？
在扯淡吗？
ok，今天我们来聊聊什么是AIPC。
AIPC 是能够在本机处理 AI 工作负载的个人电脑。它可以是笔记本、台式机，也可以是https://x.com/compose/articles/edit/2045800601678966786放在桌面上的工作站。
一份扫描件进入电脑，程序先读取文件。OCR 把图片里的文字识别出来，本地模型再从文字里提取日期、事项和负责人，最后由文件程序保存结果。CPU 运行操作系统和这些程序，也负责调度任务。模型和图像识别可以使用 GPU，得到软件支持的任务还可以调用 NPU。
这就是一个本地 AI 任务从输入到输出的过程。
电脑里有 NPU，任务不会自己开始。本地模型要安装，运行环境要配置，OCR 和文件程序也要分别安装。模型能不能调用 GPU 或 NPU，由驱动、模型格式、运行后端和应用程序决定。
任务管理器里出现 GPU 或 NPU 使用率，只能看到硬件正在计算。模型有没有返回内容，要看程序；返回内容有没有写进文件，还要看输出目录；文件里的分类和摘要能不能使用，最后要回到原文检查。
这些步骤之间还有交接。OCR 把识别文字写入文件，本地模型读取这份文件，文件程序再把模型结果写进表格或者知识库。前一步改了文件名，后一步还在读取旧路径，任务就会停下来。模型已经返回内容，文件程序使用的字段名称对不上，结果也可能没有进入表格。硬件在运行，只能说明其中一个环节还在工作。
本地模型在这台设备上完成计算。云端模型在远程服务器运行。两者可以出现在同一个流程里，例如 OCR 在本机识别文字，另一个程序再把文字交给云端模型。原文件留在本机时，一个联网程序仍然可以读取它，实际发送了什么，要看程序和网络设置。
这里说的“支离破碎”，只指任务、文件和设备分散，不指家庭关系。一份扫描件放在电脑里，识别结果进入另一个文件夹，摘要由另一个程序生成，整理后的文件再进入知识库。原文件、识别文本和整理结果没有放在同一个位置，也没有由同一个程序处理。
有人知道 AIPC 有用，但是现在没有预算。还有一些人听过 AIPC，看过设备，却没有购买理由。
AMD Ryzen AI Max+ 395
AMD Ryzen AI Max+ 395 是处理器型号。平时谈这批设备时，我会简称 Max395。装进 Mini PC 后，也会直接说 Max395 Mini PC。
本地模型运行以前，模型文件要先从磁盘进入内存。运行期间，操作系统、桌面、模型服务、聊天界面和 OCR 程序也在使用内存。内存装了多少，GPU 能够分到多少，会直接出现在模型载入的过程中。
Max395 有 16 核 Zen 5 CPU、Radeon 8060S 集成 GPU 和 XDNA 2 NPU，处理器平台支持最高 128 GB LPDDR5x 内存。它的 CPU 和集成 GPU 共用系统内存，不再另外放一组独立显存。
这 128 GB 也不是只给模型使用。操作系统和后台程序会占用一部分，BIOS、驱动和系统设置会影响 GPU 可以使用多少。打开网页界面、模型服务和 OCR 程序以后，它们会继续占用内存。最后能够载入哪个模型，要看整机配置和当时正在运行的程序。
AMD 还有一台 Ryzen AI Halo 开发平台。它使用 Ryzen AI Max+ 395，配有 128 GB LPDDR5x 内存和 2 TB SSD，可以安装 Linux 或 Windows 11。这里的 Max395 是处理器，开发平台和各家厂商生产的 Max395 Mini PC 才是完整设备。
一台采用 Max395 的 Mini PC 可以安装 Ubuntu，在同一台机器上运行模型服务、网页界面和内部 API。另一台电脑通过局域网打开网页，输入会送到 Max395 设备上的模型服务，计算完成后再把结果返回网页。OCR 或文件程序也可以通过同一个 API 提交任务。
这种用法不要求 Mini PC 一直连接显示器。模型服务留在设备上运行，办公电脑只负责打开网页和提交文件。文件存在哪台电脑、Mini PC 能不能读取、模型服务重启后是否自动恢复，是另外几项配置。设备能开机，不等于这几项已经接通。
NVIDIA DGX Spark
DGX Spark 走的是另一套硬件和软件环境。NVIDIA 给它的名称是“个人 AI 超级计算机”，没有把它列为 AI PC。
这台设备使用 Grace Blackwell 架构，里面有 Blackwell GPU 和 20 核 Arm CPU，配有 128 GB 统一系统内存，运行 NVIDIA DGX OS。NVIDIA 把模型原型、微调、推理、数据科学和边缘应用列为它的主要用途。
DGX Spark 是一台完整设备。处理器、内存、NVMe 存储、网络接口和操作系统已经装在同一台机器里。Max395 则会进入不同厂商的 Mini PC、台式机和笔记本，同一颗处理器可以配不同的磁盘、接口和散热系统。
两者之间还有一个会落到安装过程里的差别。Max395 使用 x86 处理器平台，DGX Spark 使用 Arm 处理器和 DGX OS。一个只有 Windows x86 版本的安装包，不能直接放到 DGX Spark 上运行。程序还要有对应的 Arm 版本、容器镜像和依赖项。
容器可以把一组依赖放在一起，但镜像本身仍然要支持 Arm 和 NVIDIA 的运行环境。原来在 Windows 或 x86 Linux 上使用的脚本，搬到 DGX Spark 时，可能要更换其中的安装包或者组件。脚本读取的输入目录、模型目录和输出目录，也要重新接到这台设备上。
128 GB 在 DGX Spark 上同样由系统、模型和应用程序共同使用。模型原型、微调和推理是设备可以承担的任务，具体模型占用多少内存，仍然由模型文件、精度和运行配置决定。
没有独立 AIPC 时的闲置电脑
如果现在还没有 AIPC，家里的闲置电脑能不能先跑起来？
“本地 AI”能做的事情挺多的。整理文字、识别扫描件、生成图片和转写视频都可以在本机进行，但它们使用的模型不同，对内存、显卡和磁盘的使用也不同。
这里用“本地模型处理 10 条固定文本”作为例子。
闲置电脑能不能跑，不由它有没有 AIPC 这个名称决定。要把具体任务和这台电脑的系统、内存、显卡、磁盘放在一起看。
所以我看一台闲置电脑时，会先确认它准备承担哪一种工作，再看这项工作会使用哪些硬件。任务只偶尔出现，设备的使用方式是一种情况。模型每天都要处理，设备的使用方式又是另一种情况。
闲置电脑在这里不是 AIPC 的替代品。它只是暂时承担一项本地任务，让设备和任务先发生关系。任务还是偶尔出现，和任务每天进入、需要设备长期开着，是两种使用方式。后者才会继续碰到噪声、散热和设备占用。
这也是闲置电脑和 AIPC 在这篇文章里的前后关系。暂时没有预算时，现有电脑可以用来放进一项具体任务。任务逐渐固定，文件开始持续进入，电脑需要把时间留给这项工作，独立设备的问题才会出现。
OCR 和知识库
OCR 把扫描图片和 PDF 变成文字，知识库把文件和文字放进可以继续查找、整理和调用的位置。这里先带过，后面再单独写它们怎样在 Mini PC 上使用。
噪声与散热
游戏本运行一次任务，和放在房间里长期开机，是两种使用状态。模型载入以后，CPU、GPU 或 NPU 开始产生负载。风扇会转，机身会发热，任务运行的时间越长，这些事情越难绕开。
这台游戏本如果还在办公、看视频或者保存家庭文件，本地 AI 程序会和原来的程序使用同一套内存、磁盘和网络。模型占用内存时，办公程序仍然要运行；文件写入磁盘时，原来的文件也放在这块磁盘里。
长期这样开着也不是个问题，也不是个办法。
现在也有很多人来找我购买 AIPC，或者来问我选购意见。
什么时候考虑一台单独的 AIPC
随着本地大模型的能力越来越强，逐渐的在逼近目前包括 OpenAI 、 Anthropic 等公司的闭源云端大模型。未来硬件 的价格还会继续走高。而如果你作为一个专业人士，你的工作当中有很多其实是可以通过 AI 去帮你节省时间的。那这个时候，你应该要考虑拥有一台自己的、单独的、部署在本地的 AIPC。
AIPC 这样一台独立的，可以24小时不间断运行的设备，只要接上电，就可以为你产生 token。在你睡觉的时候帮你执行任务，你就一定要考虑到这里边的价值。
所以问题就变成了，我现在到底有哪些工作可以让 AI 接手？有哪些事情可以不间断的去做？或许自己没有答案，因为 我们很多人对 AI 的能力边界是不清楚的。那么这个时候，你可以考虑找一位专业的人士帮你诊断一下。
不久的将来，我们每一个人拥有一台自己的 AIGC，就像现在拥有手机一样的普遍。
本文由Codex整理，本人校对。