据报道，美光正在研究开发高耐久性NAND闪存模块，这些模块的设计目标是部署在更靠近GPU的位置，而非像传统存储池那样经过多层协议与处理器相隔。这种创新方法通常被称为“近GPU NAND”（Near-GPU NAND），旨在提供一种存储密度和耐久性之间的折中方案，为现代计算需求提供经过优化的全新存储层级。

近GPU NAND的理念是提供一种存储解决方案，将NAND闪存更靠近GPU，可用于处理不需要HBM（高带宽内存）或常规DRAM模块的非低延迟或高带宽的工作负载。该方案允许GPU访问密度低于传统TLC或QLC NAND的NAND闪存池，但重点在于提升I/O速度、带宽和读取速度。

对于AI工作负载，尤其是涉及大规模LLM（大语言模型）的任务，近GPU NAND有望缓解内存瓶颈。该方案使得GPU能够直接访问数百GB的潜在存储池，类似于HBM或GDDR7/LPDDR6等DRAM的现有功能。这一层将位于GPU内存和常规系统存储之间，充当高速缓冲区，非常适合大规模LLM的计算。届时，LLM将不再受限于内存，可以在GPU数量较少但存储和内存层级更多的系统上运行，以弥补所需的推理规模。

此外，通过利用扩展的存储和内存层级，系统可以用更少的GPU运行复杂模型，从而降低对昂贵的HBM或DRAM的需求。NAND闪存将比HBM或普通DRAM成本更低，这种方法不仅能优化性能，还能提供更具成本效益的解决方案，并且可以根据特定系统需求进行定制。