何を見るべきか
ローカルLLMの記事でよく出るGPUとVRAMは、AIモデルを手元で動かせるかを左右する重要な要素です。
初心者は、まず「GPUは計算担当」「VRAMはGPU側の作業机」と考えると理解しやすいです。
用語整理
| 用語 | 意味 |
|---|---|
| GPU | AI計算に強い部品 |
| VRAM | GPUが使う専用メモリ |
| モデルサイズ | AIモデルの大きさ |
| 量子化 | モデルを軽くする工夫 |
VRAMが足りないと、大きなモデルをそのまま動かせません。
初心者が注意すること
「一番大きいモデルが一番良い」とは限りません。自分のPCで安定して動くサイズ、用途に合うモデル、ライセンスを確認します。
また、GPUがないPCでもCPUで動く場合はありますが、速度は遅くなりやすいです。
まとめ
ローカルLLMは、PC性能とモデルサイズのバランスを見る技術です。初心者は、最初から高性能を狙わず、小さく動く構成から試すのが安全です。
参考リソース
← 一覧に戻るPR
PR