SanDisk ve SK hynix, yapay zeka iş yüklerinde bellek darboğazını hafifletmek için High-Bandwidth Flash (HBF) adı verilen yeni bir bellek standardı geliştiriyor. HBF, NAND die yığınlarını Through Silicon Vias (TSV) ile birleştirerek ve bir mantık die ekleyerek, tek bir NAND hücresinin okuma hızının yaklaşık 1/1000 olduğu DRAM ile karşılaştırıldığında binlerce paralel okuma sayesinde 0,3‑3 TB/s arasında okuma bant genişliği sunabiliyor. Bu değer, JEDEC HBM4'in yaklaşık 6,4 GB/s okuma bant genişliğinden bir derece büyük.

Ancak NAND hücrelerinin yazma hızının çok düşük ve dayanıklılığı zayıf olması nedeniyle, sık yazma gerektiren KV cache (Key‑Value cache) hâlâ HBM'de tutulacak. Model ağırlıkları ise okuma ağırlıklı olduğu için HBF'ye taşınabilir, böylece HBM kapasitesi KV cache için boşalır ve model bağlam uzunluğu doğruluktan ödün vermeden artırılabilir.

HBF yığınları SSD kadar ucuz olmayacak çünkü gelişmiş ambalaj gerektirir, ancak hâlâ HBM'den daha ucuz olacak ve ölçek ekonomileri sağlanabilir. Bu mimari, yapay zeka model ağırlıklarını daha hızlı okumaya olanak tanırken, sık güncellenen KV cache'i hızlı yazma yeteneği olan HBM'de tutarak sistem genel verimliliğini artırmayı hedefliyor.