SanDiskとSK hynixは、AIワークロードにおけるメモリボトルネックを軽減するため、High-Bandwidth Flash(HBF)という新しいメモリ規格を開発している。HBFは、Through Silicon Vias(TSV)でNANDダイを積層し、ロジックダイを追加することで、DRAMと比較して数千倍の並列読み出しを実現し、0.3~3TB/sの読み出し帯域幅を提供する。これはJEDEC HBM4の約6.4GB/sの読み出し帯域幅を上回る。

ただし、NANDセルの書き込み速度が非常に低く、耐久性も低いため、頻繁な書き込みを必要とするKVキャッシュ(Key-Valueキャッシュ)は依然HBMに保持される。一方、読み出しが主なモデルの重みはHBFに移行可能で、HBMの容量をKVキャッシュに割り当てることで、モデルのコンテキスト長を精度を損なわずに拡大できる。

HBFスタックはSSDほど安価にはならないが、高度なパッケージングが必要なため、HBMよりも低コストで規模の経済を実現できる。このアーキテクチャは、AIモデルの重みを高速に読み出すことを可能にしつつ、頻繁に更新されるKVキャッシュを高速書き込みが可能なHBMに保持することで、全体的なシステム効率を向上させることを目指している。