コンピュータ愛好家が、企業向けGPUを再利用して、32GB VRAMで270億パラメータのモデルを32トークン/秒で動かすシステムを構築。追加コストは266ドル。

Oscar Molnarは、16GB HBM2の安価なTesla V100 SXM2とSXM2からPCIeへのアダプターを購入し、VRAMを32GBに拡張。草刈り機並みの騒音を出すクーラーにPWMモードも追加した。現在、これらのGPUは安価で、eBayで中国から購入しなければ、140ドル以下でリストされている。

Tesla V100 SXM2カードを直接PCに取り付けることはできない。Molnarは、eBayで66ドルを費やしてSXM2からPCIeへのアダプターを購入した。しかし、地獄のファンと呼ばれたクーラーの騒音は、PCとローカルLLM愛好家を困惑させた。このクーラーは82dBの騒音を発し、Molnarはこの音を「ゴミ粉砕機と草刈り機の間」と表現した。これは最も複雑な設定かもしれないが、実際には既存のファンケーブルを再配線し、マザーボードのPWMファンヘッダーに接続する必要がある。また、この作業には「2.54mmメスからPH2.0オスジャンパーケーブル」も購入できる。ファンを10%の速度で動作させると、Tesla V100はフルロード時でも50℃以下に保たれる。

32GB VRAMを搭載したシステムは、RTX 4080（16GB VRAM、Adaアーキテクチャ）とTesla V100（16GB VRAM、Voltaアーキテクチャ）で動作している。32GB VRAMのTesla V100は、2倍の価格で販売されている。MolnarはNixOSと古いNvidiaドライバーを使用して、VoltaとAdaアーキテクチャをサポートするシステムを構築した。ローカルLLMテスト中、270億パラメータのモデルを32トークン/秒で動作させ、これは「インタラクティブな使用に十分な速さ」であり、多くのクラウドAPIの代替案よりも速い。