Un entusiasta de la computación reutilizó una GPU empresarial muy ruidosa y casi obsoleta para crear un sistema capaz de ejecutar un modelo de 27 mil millones de parámetros con 32GB de VRAM a una velocidad de 32 tokens por segundo. Esto se logró con un costo adicional de 266 dólares.

Oscar Molnar compró una Tesla V100 SXM2 económica con 16GB de HBM2 y un adaptador de SXM2 a PCIe para aumentar su VRAM a 32GB. Además, agregó un modo PWM para el enfriador extremadamente ruidoso, comparable al de una cortadora de césped. Estas GPU actualmente parecen baratas, y si no deseas comprarlas desde China en eBay, se listan por menos de 140 dólares cada una.

No es posible conectar directamente la tarjeta Tesla V100 SXM2 a una PC. Molnar compró un adaptador de SXM2 a PCIe en eBay por 66 dólares. Sin embargo, el enfriador, descrito como 'un ventilador del infierno', generaba un ruido que molestaba al entusiasta de la PC y los LLM locales. Este enfriador producía 82dB de ruido, comparado por Molnar como 'entre una trituradora de basura y una cortadora de césped'. Aunque esto puede parecer la configuración más compleja, en realidad solo requería reenrutar los cables del ventilador existente y conectarlos al encabezado del ventilador PWM de la placa madre. También se puede comprar un 'cable jumper PH2.0 hembra a macho de 2.54mm' para este proceso. Hacer que el ventilador funcione solo al 10% de su velocidad mantiene la Tesla V100 por debajo de 50°C bajo carga completa.

El sistema equipado con 32GB de VRAM funciona con una RTX 4080 (16GB de VRAM, arquitectura Ada) y una Tesla V100 (16GB de VRAM, arquitectura Volta). Las Tesla V100 con 32GB de VRAM se venden al doble de precio. Molnar utilizó NixOS y un controlador Nvidia antiguo para crear un sistema que soporte las arquitecturas Volta y Ada. Durante las pruebas de LLM locales, ejecutó un modelo de 27 mil millones de parámetros a una velocidad de 32 tokens por segundo, lo que es 'suficientemente rápido para uso interactivo' y más rápido que la mayoría de las alternativas de API en la nube.