SanDisk y SK hynix están desarrollando un nuevo estándar de memoria llamado High-Bandwidth Flash (HBF) para aliviar el cuello de botella de memoria en las cargas de trabajo de IA. HBF apila los dies de NAND mediante Through Silicon Vias (TSV) y agrega un die lógico, lo que, gracias a miles de lecturas paralelas en comparación con la velocidad de lectura de una sola celda NAND (aproximadamente 1/1000 de la DRAM), permite un ancho de banda de lectura entre 0,3 y 3 TB/s. Este valor es aproximadamente un orden de magnitud mayor que el ancho de banda de lectura de unos 6,4 GB/s del HBM4 de JEDEC.
Sin embargo, debido a la baja velocidad de escritura y la poca durabilidad de las celdas NAND, el KV cache (Key‑Value cache), que requiere escrituras frecuentes, seguirá residiendo en el HBM. Los pesos del modelo, siendo predominantemente de lectura, pueden trasladarse al HBF, liberando así la capacidad del HBM para el KV cache y permitiendo aumentar la longitud del contexto del modelo sin sacrificar precisión.
Los apilamientos de HBF no serán tan baratos como un SSD debido a que requieren un empaquetado avanzado, pero seguirán siendo más económicos que el HBM y podrán beneficiarse de economías de escala. Esta arquitectura permite leer más rápidamente los pesos de los modelos de IA mientras mantiene el KV cache, que se actualiza con frecuencia, en el HBM, aprovechando su capacidad de escritura rápida, con el objetivo de mejorar la eficiencia general del sistema.