私は昔からWindows一筋でやってきていました。ホームビデオを見返すと、３歳の頃からWindowsを使ってお絵描きしていたレベルです。
現在使っている自作Windows機の構成は以下のとおりです。
CPU：intel Corei5-13600K
マザーボード：Z690-F GAMING
GPU：RTX3080(10GB)
ストレージ：たくさん
ローカルでLLMを回すとなるとGPUのメモリが大切になってきます。gpt-oss-20bを動かそうとすると、16GBは消費します。私のGPUは10GBしかありませんが一応動きはします。ただ、溢れた分はRAMに逃したりなんとかしているようで、かなりレスポンス（トークン生成）が遅い状況でした。
これを改善する方法は２つあり、１つはGPUを載せ替えることです。狙うならメモリ24GBを搭載するRTX5070Ti SUPERですが、未発売かつ御祝儀価格がいくらになるのか分かりません。もう１つの方法が、Macを買うでした。
Macはユニファイドメモリを搭載しており、LLMをこのメモリで高速に回すことができます。ちょうど、Windowsを仮想マシンで起動しっぱなしにしておけるミニPCも欲しかったので、Mac mini M4の仕様を調べてみたところ、ユニファイドメモリはデフォで16GB(¥94,800)、課金して32GB(¥154,800)でした。また、LLMはメモリ帯域も大事なのですが、Mac miniは120GB/sです。LLMを動作させるには問題ありませんが、仮想デスクトップも同時起動となると、32GBでもやや心許ない。
ついでにMac Studio M4 Maxも調べたところ、ユニファイドメモリ36GB(¥328,800)、メモリ帯域は546GB/sといい感じ。私がApple Storeオンラインショップを覗いた際には、Mac Studio M4 Maxの整備済品が¥278,800で売られていました。これしかないと思い、整備済品をポチってしまいました。
出費は大きかったですが、gpt-ossもサクサク動作したので大満足でした。１つ誤算だったのは、M4チップはARM系なのでWindows仮想マシンもARM系のものがインストールされます。ギャルゲーやらなんやらを出先のスマホでプレイするための仮想環境だったのですが、互換性の問題で動作しないのがチラホラ…（君のぞとか）。
ちなみに、購入から４日後に整備済Macのページを見ましたが、Mac Studio M4 Maxの在庫は消し飛んでいました。ラス１だったのか在庫僅少だったのかは分かりませんが、たった１つ言えることは「様子見せずに、買っておいてよかったーーー！！！」
コメント