開発者のAndrew氏は、2017年モデルのTesla V100 GPUを使用して、ローカルで動作する現代の大規模言語モデル（LLM）をサポートするシステムを開発した。このGPUは高速メモリを備えており、Gemma 4 26BやQwen3 35Bなどのモデルをローカルで実行できる。GemmaはGPUメモリに完全に収まるためより高速に動作するが、Qwen3はリソース不足を感じさせる。

Andrew氏は2つのV100 GPUを搭載できるPCIカードを構築し、より大規模なモデルをメモリ内に収めることに成功した。このシステムは最新のオンラインモデルのパフォーマンスには達しないが、ローカルで動作するため驚くほどの能力を発揮する。中古市場でより多くのデータセンターハードウェアが利用可能になるにつれ、このようなローカルソリューションがさらに普及する可能性がある。

Andrew氏のこのプロジェクトでは、ソフトウェアスタックを実行する詳細が取り上げられている。以前のプロジェクトでは、同じGPUを使用したハードウェア中心のアプローチが提案されていた。