NestJS 大文件上传雪崩防护实战:从崩溃到稳定

NestJS 大文件上传雪崩防护实战:从崩溃到稳定

一、案例背景:大文件上传引发的连锁反应

某内容管理平台基于 NestJS 构建,提供视频与压缩包上传服务。早期接口直接使用 Multer 将文件写入磁盘,在上传请求并发增加后,服务器频繁出现响应超时、内存飙升,甚至进程重启。

问题表现为:单个 2GB 文件上传时,Node 进程内存占用从正常 300MB 飙升至接近 2GB;多个大文件同时上传时,磁盘 IO 等待时间急剧上升,其他普通接口响应从 50ms 恶化到 5s 以上,最终拖垮整个服务。

二、为什么大文件上传会导致雪崩

在 NestJS 中,文件上传通常借助 Multer 中间件。Multer 默认会把文件保存到临时目录,或者通过内存存储读取完整文件。若使用 memoryStorage,文件会完整进入内存;即便使用磁盘存储,从网络读取到磁盘写入之间的缓冲处理不当,也会造成背压缺失。

1. 内存存储引发内存溢出

当 memoryStorage 被启用时,每个上传请求都会在内存中分配与文件大小相等的 Buffer。一个 1GB 文件就会占用 1GB 堆内存,三个并发请求就足以让 Node.js 默认堆上限爆掉。

2. 磁盘写入缺少背压控制

如果直接将可读流管道写入可写流而不处理背压,当磁盘写入速度低于网络读取速度时,数据会堆积在内存中。Node.js 的 pipe 会默认处理背压,但不少开发者手动监听 data 事件并写入文件,绕过背压机制,导致内存持续膨胀。

3. 并发连接耗尽

大文件上传耗时较长,HTTP 连接被长时间占用。如果服务器没有并发限制,大量上传请求会占满连接池或文件句柄,普通业务请求无法及时处理,形成雪崩。

三、NestJS 中的防护方案

针对上述问题,我们从四个方面重构上传链路:流式写入、背压控制、并发限流与分片支持。

1. 使用流式写入替代内存与普通磁盘存储

在 NestJS 中,可以使用 FileInterceptor 搭配 diskStorage,并让 Multer 直接管理临时文件。但更灵活的方式是接入 Busboy 或直接解析 multipart 流,将文件流通过 pipeline 写入最终存储,并监听错误与完成事件。

  • 磁盘流式写入:利用 fs.createWriteStream 将上传流管道到磁盘,不积累完整文件。
  • 对象存储直传:对于云环境,可生成预签名 URL 由客户端直传,服务器仅做元数据校验,从源头避免大文件经过应用层。

2. 主动处理背压,控制内存峰值

必须使用 pipeline 或 pipe 连接可读流与可写流,它们会自动暂停上游读取,等待下游消费完成。不要手动监听 data 事件写入文件。若需要转换流,可在中间加入 Transform,并确保每个转换步骤都尊重背压。

3. 增加并发限流与请求队列

在 NestJS 全局守卫或拦截器中,可以基于 令牌桶 或 信号量 限制同时处理的上传数。例如,超过阈值的请求返回 429 或进入队列等待。这样保证磁盘 IO 和连接资源不被耗尽。

  • 上传接口独立限流:对上传路由设置更严格的并发与速率限制。
  • 文件大小与类型白名单:在上传前校验 Content-Length 与文件类型,提前拒绝异常请求。

4. 引入分片上传与断点续传

对于超大文件,可以要求客户端分片上传,每片控制在 5-20MB。服务端使用 NestJS 接口接收分片并写入临时目录,全部完成后合并。这样单次请求占用资源时间大幅缩短,降低雪崩概率。

四、优化效果与经验总结

改造后,在相同并发条件下,服务内存峰值下降约 70%,普通接口 P99 延迟从 5s 恢复至 120ms 以内。即使同时上传 10 个 2GB 文件,进程也未再发生内存溢出或连接耗尽。

大文件雪崩防护的本质不是堆硬件,而是让数据流动起来并尊重背压。NestJS 的模块化能力允许我们将限流、流式处理和存储策略拆分为独立组件,既保持代码清晰,又能在高负载下稳定运行。