标签归档:NAS

AI时代的NAS系统

装这台机器的时候,我关心的第一个数字是 TB。现在每次开机,我第一个看的是 rocm-smi 里的显存占用。

这个变化不是换了个监控面板那么简单。它意味着过去十年我们对「NAS」的整套想象——容量、RAID 级别、顺序吞吐、待机功耗、硬盘噪音——正在被另一套指标挤到次要位置:显存有多大、权重能不能装下、PCIe 与网络的带宽够不够把装不下的部分喂进去、以及数据能不能在被模型读到之前先被组织好。

这台机器我把它叫 HomeServerU。它不算一台标准 NAS,甚至没有用 ZFS,也没有跑任何成品 NAS 系统。但过去一年它实际承担的工作,恰好把「AI 时代的家庭存储服务器应该长什么样」这件事演示得比较完整。所以这篇不谈选型推荐,先把这台机器的真实配置、拓扑和踩过的坑摊开,再谈结论。

一、先看账面

部件 实际配置
CPU AMD Ryzen 9 7950X3D,16 核 32 线程,128 MB L3(双 CCD,其中一片带 3D V-Cache),最高 5.76 GHz
内存 128 GB(系统可见 123 GiB),另有 32 GiB swap
GPU 3 × AMD Radeon AI PRO R9700(Navi 48 / gfx1201,32 GB GDDR6)
1 × Radeon RX 7800 XT(Navi 32 / gfx1101,16 GB)
合计约 112 GB 显存
本地盘 970 PRO 1 TB NVMe(系统盘,ext4,已用 468 GB)
T5 1.8 TB 便携 SSD(USB,离线归档 / 备份,已用 277 GB)
网络存储 三个 CIFS 挂载:约 44 TB(已用 40 TB,91%)、9.1 TB、931 GB,合计约 54 TB
网络 I226-LM 2.5GbE + RTL8127 10GbE,宿主网桥 + libvirt 桥接 + 多张 docker 网桥
平台 PEX880xx PCIe Gen4 Switch、LSI MegaRAID SAS-3 3108、ASPEED AST1150 BMC
系统 Ubuntu 26.04.1 LTS(Resolute Raccoon),Linux 7.0,libvirt/KVM + Docker

单看这张表,最刺眼的是「不均衡」:128 GB 内存配 16 核 CPU 尚可理解,但 112 GB 显存配 54 TB 磁盘,比例完全不是传统 NAS 的思路。传统配置里硬盘是资产的大头,GPU 顶多加一张做转码;这里反过来,硬盘池是最便宜、最不紧张的部分,而四张卡把 PCIe 拓扑、供电和驱动栈全部绑架了。

还有一点容易忽略:这块板子上有 PCIe Gen4 Switch 和硬件 RAID 卡,还有独立 BMC。也就是说,能同时插三张 32 GB 卡、再挂一个阵列卡,靠的不是消费级主板的拆分能力,而是服务器/工作站级的 PCIe 资源。想复现这类配置,第一道门槛往往不是预算,是 lane 数。

二、一个反直觉的拓扑:存储其实在虚拟机里

这台 Ubuntu 宿主本身没有大容量阵列。那 54 TB 来自另一台机器——一台跑在它自己身上的 KVM 虚拟机,Windows Server 2025。硬件 RAID 卡和大容量硬盘直通给这台虚拟机,由 Windows 负责文件系统和 SMB 共享,宿主再用 CIFS 把三个共享挂回 /mnt/samba/d、/mnt/samba/e、/mnt/samba/f。

换句话说,存储层绕了一圈:物理盘在宿主机箱里 → 直通给虚拟机 → 虚拟机开 SMB → 宿主通过网络挂回来 → 宿主上的 AI 服务再读它。第一次画这张图的时候自己也觉得别扭,但它解决的是很现实的问题:阵列卡的驱动与管理工具、Windows 下现成的共享与备份生态、以及不想把 Linux 宿主跟某个文件系统绑定。虚拟化在这里不是为了提高密度,是为了把「磁盘栈」和「算力栈」解耦——两边可以用完全不同的内核、驱动和重启节奏。

代价也很直接:CIFS 成了整台机器的数据总线。照片库、媒体库、模型权重、备份归档全走这条链路,10GbE 因此不是给拷贝蓝光原盘准备的,而是给「AI 服务热读数据」准备的。传统 NAS 里网络是出口,用户从外面来取数据;这里网络是内部总线,模型从里面来取数据。方向反了。

我得说清楚:这层套娃是历史演进的结果,不是值得照抄的设计。如果今天从零开始,我更倾向让 Linux 宿主直接管存储池。但迁移 40 TB 数据和一整套 Windows 侧备份流程的成本,足以让一个「不够优雅但能跑」的方案长期存活——这大概是所有自建系统最终的常态。

三、113 GiB 的「大文件」

共享盘里躺着一个文件:qwen3.8-flash-next-uncensored-iqr-v4.rad,121,175,261,184 字节,约 112.9 GiB。

传统 NAS 眼里的大文件是蓝光原盘、虚拟机镜像、素材工程,特征是写完基本不读:一次顺序写入,往后躺在盘上吃灰,读的时候也是整块顺序读。模型权重完全不是这个物种。它是每次服务启动都要加载、每次推理都要触及的常驻数据集;对一个 MoE 模型来说,甚至会出现「权重装不进显存、把主机内存当下一级存储」的用法——放不下的专家放在 pinned host memory 里,推理时经 ReBAR 零拷贝跨 PCIe 直读,同时在后台预取下一层可能命中的专家。

于是有意思的事发生了:内存的用途变了,PCIe 的用途变了,网络的用途也变了。128 GB 内存不再只是页缓存和虚拟机内存,它要装向量表、n-gram 大表、KV 状态槽和放不下的专家;10GbE 不再只是传输带宽,它决定了一个 113 GiB 的权重文件在服务重启后多久能重新可用。

把这一条推到底,就是 AI 时代 NAS 与传统 NAS 最本质的分歧:存储在传统 NAS 里是终点,在这里是起点。数据被存下来不是结束,后面还跟着切块、嵌入、索引、召回、进上下文、再写回摘要和记忆这一整条链。

四、显存才是新的容量单位

看一下某次普通的运行快照:

GPU[0]  R9700    VRAM 34.21 GB / 已用 33.96 GB
GPU[1]  7800XT   VRAM 17.16 GB / 已用 15.94 GB
GPU[2]  R9700    VRAM 34.21 GB / 已用  0.06 GB
GPU[3]  R9700    VRAM 34.21 GB / 已用 33.89 GB

两张 R9700 几乎顶满,跑的是同一个大模型服务的双卡张量并行;7800 XT 那张 16 GB 卡被嵌入和语音服务占着;第三张 R9700 是空的。为什么留一张空卡?因为它是调试新模型、临时跑量化对比、以及某张卡的服务崩了之后能立刻挪过去的余量。把每一 GB 显存都榨干的系统,是没有迭代能力的系统。这一点和传统 NAS 里「留一块热备盘」的直觉其实同源,只是贵了一个数量级。

所以容量规划的问题变了。以前是「多少 TB、几盘几冗余、坏两块会不会全丢」;现在是「权重多少 GiB、量化到几 bit、切几路 TP、放不下的部分放主机内存还是放盘、每 token 要跨 PCIe 搬多少字节」。硬盘容量在这套账本里几乎不出现,因为它最便宜、最容易扩。

顺带一个反直觉的结论:CPU 在这台机器上是配角。16 核 7950X3D 大部分时间在等 GPU,真正有用的反而是那 128 MB L3 和平台给足的 PCIe lane。如果只能升级一样东西,我不会换 CPU。

五、它其实是一台推理网关

把这台机器上跑的东西列出来,会更清楚「NAS」这个名字已经装不下了:

层次 服务 作用
生成 Radiance(自编译 RDNA4 推理引擎,双卡 TP) MoE 大模型主服务,权重读自共享盘
嵌入 vLLM / WeMM-Embedding-2B(W4A16) 2048 维向量,供照片与文档检索
重排 Qwen3-Reranker-0.6B(CPU) 召回结果的精排
语音 / 文档 FunASR paraformer(占 16 GB 卡)、MarkItDown 音频转写、Office/PDF 结构化
记忆 / 检索 Immich(ROCm 机器学习 + 带向量扩展的 PostgreSQL + Valkey) 照片库与跨模态语义检索
媒体 / 代码 Jellyfin、Gitea 媒体库、私有仓库
站点 / 自动化 WordPress + MySQL、AI 日报、状态面板、QQ Bot 本文所在的站点也跑在同一台机器上

把它们串起来就是一条完整的本地 RAG 流水线:文档或音频进来 → 转文本 → 嵌入 → 落向量库 → 检索 → 重排 → 生成 → 摘要和长期记忆再写回存储。全链路在局域网内闭环,没有任何一步需要把私人数据送去外部 API。

是的,你正在读的这篇博客,和喂给它素材的那些服务,物理上住在同一个机箱里。这件事本身就挺能说明「NAS」这个词现在的边界。

六、从「存得下」到「召得回」

传统 NAS 的数据模型很简单:目录树、权限、共享协议、备份策略。人知道文件在哪,需要时去取。评估它好坏的指标是可靠性与吞吐。

一旦模型成为主要读者,评估标准就换了。模型不知道目录树,它只认向量、分块和上下文窗口。一份资料如果没被切块、没被嵌入、没有可用的元数据,那它对系统而言等于不存在——哪怕它安安稳稳躺在 44 TB 的盘里,占了 40 TB。

于是写入路径变长了:存一份照片,要同时产生缩略图、嵌入向量、时间戳与聚类结果;存一份文档,要产生分块文本与向量;一次对话结束,还会产生摘要和记忆条目。存储系统的负载特征也随之改变——从少数几次大块顺序写,变成大量小块随机读、高扇出的元数据查询和近邻检索。

这台机器上 /mnt/samba/e 里的 models、ImmichLibrary、_av1work,以及那块 T5 上的 strata-archive 和 strata-production-backup,正好是四个层次:模型、语料、派生物、冷归档。AI 时代真正需要被「整理」的不是文件夹,而是数据到上下文的通路。

七、代价:驱动、内核与调度

如果不写这一节,前面会显得太像产品宣传单。实际上这套东西的麻烦几乎全在硬件与内核交界处。

为了在这批 RDNA4 卡上跑通需要的内核特性,amdgpu 驱动是打过补丁的。而每次内核 ABI 升级,补丁版 amdgpu.ko 都可能被替换回原版,静默地让某张卡回到异常状态。最后的解法是加一个开机时运行的 guard 单元,先读 /sys/module/amdgpu/srcversion 判断补丁还在不在,并且必须排在所有 GPU 服务之前——否则服务已经先分配了显存,判断就失去意义。

还有 GPU 编号漂移:换机之后卡的枚举顺序跟旧机相反,所有写死 HIP_VISIBLE_DEVICES 的单元都得重排;16 GB 卡同时被嵌入、语音和其他进程盯上,很容易超卖 OOM,只能靠显存隔离和逐个改 drop-in 配置解决;服务启动顺序也得手工编排,六个 GPU 单元如果同一秒一起抢卡,启动就是一场竞态。

换句话说,传统 NAS 的可用性问题是「盘坏了怎么办」,这里的可用性问题是「哪张卡被谁占了、驱动是不是被升级冲掉了」。运维对象从磁盘阵列变成了驱动栈、拓扑和调度。这部分成本不会出现在任何配置单上,但它决定了这台机器到底是工具还是玩具。

八、如果从头再来

按重要性重排一次优先级,会和三年前完全不同:

  1. 显存容量与互联——决定能跑什么模型,也决定要不要把主机内存当显存的下一级。这是唯一无法靠后期小改动补回来的部分。
  2. 内存容量——不只是给虚拟机,更要给 pinned host pool、向量表、KV 状态和页缓存。128 GB 现在看不算奢侈。
  3. PCIe 拓扑与 ReBAR——能不能插满、能不能零拷贝直读主机内存,比 CPU 型号重要得多。
  4. 网络——10GbE 起步。当权重、语料和归档都在网络盘上,1GbE 会让整条流水线退化成批处理。
  5. 硬盘容量——反而最不紧张,扩展也最容易。

存储分层我会这样做:NVMe 放权重、索引和向量库;大容量池放语料、媒体和派生物;一块离线或便携 SSD 做归档与可回滚快照。别指望网络盘承担权重的高频热读,那会把链路变成瓶颈;也别把备份和索引放在同一个故障域里。

另外,务必留一张空闲卡、一块空闲盘、一个可以随时回滚的快照。自建系统最贵的从来不是硬件,是「改坏了之后回不去」的那几个小时。

结语

NAS 里的 N 还是 Network,A 还是 Attached,但 S 已经不太像 Storage 了。它更像 Service——或者说,它存的东西从「文件」变成了「上下文」:权重、向量、记忆、摘要,以及让模型能理解这个家的数据之间关系的那部分结构。

三年前装机时我算的是能存多少 TB,现在开机第一眼看的是显存占用和排在队列里的推理请求。机器还是那台机器,问题变了。所谓「AI 时代的 NAS」,大概就是指这个变化本身。

本文配置与运行数据取自一台实际运行的家庭服务器,隐去了网络地址与凭据信息。