NVIDIA RTX 3090 (24GB) で動作する LLM モデル一覧
NVIDIA RTX 3090(VRAM 24GB / メモリ帯域 936.2 GB/s)の単機およびマルチGPU推論互換ガイド。
NVIDIA RTX 3090 ハードウェア仕様
VRAM 容量
24 GB
メモリ帯域幅
936.2 GB/s
FP16 演算性能
71 TFLOPS
アーキテクチャ
Ampere
発売年
2020
利用可能 VRAM
24 GB
合計帯域幅
936.2 GB/s
FP16 / FP8 対応
22
INT4 動作可能
44 / 85
DeepSeek-R1-Distill-Qwen-32B
32B • DeepSeek
FP16
68.27 GB
FP8
36 GB
INT4
19.86 GB
~43 tok/s (INT4)詳細計算を開く
DeepSeek-R1-Distill-Qwen-14B
14B • DeepSeek
FP16
32.27 GB
FP8
18 GB
INT4
10.86 GB
~22 tok/s (FP8)詳細計算を開く
DeepSeek-R1-Distill-Qwen-7B
7B • DeepSeek
FP16
18.27 GB
FP8
11 GB
INT4
7.36 GB
~11 tok/s (FP16)詳細計算を開く
DeepSeek-R1-Distill-Qwen-1.5B
1.5B • DeepSeek
FP16
7.27 GB
FP8
5.5 GB
INT4
4.61 GB
~11 tok/s (FP16)詳細計算を開く
DeepSeek-R1-Distill-Llama-8B
8B • DeepSeek
FP16
20.27 GB
FP8
12 GB
INT4
7.86 GB
~11 tok/s (FP16)詳細計算を開く
Qwen3.5-35B-A3BMoE 3B
35B • Qwen 3.5
FP16
70.98 GB
FP8
35.66 GB
INT4
18.01 GB
~531 tok/s (INT4)詳細計算を開く
NVIDIA RTX 3090 1x / 2x / 4x 構成 LLM 互換マトリクス
8Kコンテキスト・バッチサイズ1条件での事前検証結果。
| LLM モデル | FP8 必要 VRAM | 1× (24GB) | 2× (48GB) | 4× (96GB) |
|---|---|---|---|---|
| DeepSeek-R1(671B) | 675 GB | Needs 15× | Needs 15× | Needs 15× |
| DeepSeek-R1-Distill-Qwen-32B(32B) | 36 GB | INT4 | FP8 / INT4 | FP16 / FP8 / INT4 |
| Llama 4 Scout(109B) | 111.21 GB | Needs 3× | Needs 3× | INT4 |
| Llama 3.1 8B(8B) | 9.31 GB | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
| Llama 3.1 70B(70B) | 78.31 GB | Needs 2× | INT4 | FP8 / INT4 |
| Qwen3-235B-A22B(235B) | 237.95 GB | Needs 6× | Needs 6× | Needs 6× |
| Qwen3-32B(32B) | 36.23 GB | INT4 | FP8 / INT4 | FP16 / FP8 / INT4 |
| Qwen3-14B(14B) | 16.04 GB | FP8 / INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
| Mixtral-8x7B(46.7B) | 48.5 GB | Needs 2× | INT4 | FP16 / FP8 / INT4 |
| GPT-OSS-20B(21B) | 21.78 GB | FP8 / INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
全 22 GPU 専用互換ガイド一覧
NVIDIA RTX 5090 (32GB)NVIDIA RTX 5080 (16GB)NVIDIA RTX 5070 Ti (16GB)NVIDIA RTX 4090 (24GB)NVIDIA RTX 4080 SUPER (16GB)NVIDIA RTX 4070 Ti Super (16GB)NVIDIA RTX 4060 Ti (16GB)NVIDIA RTX 3090 (24GB)AMD Radeon RX 7900 XTX (24GB)NVIDIA RTX PRO 6000 Blackwell (96GB)Apple M4 Max (128GB)Apple M4 Max (64GB)Apple M4 Pro (48GB)Apple M3 Ultra (192GB)NVIDIA B200 (192GB)NVIDIA H200 (141GB)NVIDIA H100 (80GB)NVIDIA H20 (96GB)NVIDIA A100 (80GB)NVIDIA L40S (48GB)AMD Instinct MI300X (192GB)Huawei Ascend 910B (64GB)
NVIDIA RTX 3090 ローカル推論 FAQ
tools.gpuCompatibility.gpuDetail.faq.q1▾
単枚 24GB の VRAM により、8Kコンテキスト環境下で主要ベンチマークのうち 44 モデルを FP16・FP8・INT4 でローカル起動できます。
NVIDIA RTX 3090 のトークン生成速度の目安は?▾
936.2 GB/sの帯域幅と24GBメモリにより、出力速度は1トークンあたりに読み込むアクティブ重み量に反比例して決まります。
2枚または4枚の NVIDIA RTX 3090 が必要になるのはいつですか?▾
重みとKVキャッシュの合計が24GBを超える場合や、高並列リクエストを処理したい場合にマルチGPU並列構成が必須となります。
関連する LLM・GPU ツールを探索
全ツールとディレクトリを見る →人気モデル別 VRAM 計算機
DeepSeek-R1 (671B)DeepSeek-V3 (671B)DeepSeek-V4-Pro (1.6T)DeepSeek-V4-Flash (284B)DeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Qwen-14BDeepSeek-R1-Distill-Qwen-7BDeepSeek-R1-Distill-Llama-70BLlama 4 Maverick (400B)Llama 4 Scout (109B)Llama 3.1 405BLlama 3.1 70BLlama 3.1 8BLlama 3.2 3BQwen3.5-397B-A17BQwen3-235B-A22BQwen3-Coder-480B-A35BQwen3-32B
GPU 互換性ガイド
NVIDIA RTX 5090 (32GB)NVIDIA RTX 5080 (16GB)NVIDIA RTX 5070 Ti (16GB)NVIDIA RTX 4090 (24GB)NVIDIA RTX 4080 SUPER (16GB)NVIDIA RTX 4070 Ti Super (16GB)NVIDIA RTX 4060 Ti (16GB)NVIDIA RTX 3090 (24GB)AMD Radeon RX 7900 XTX (24GB)NVIDIA RTX PRO 6000 Blackwell (96GB)Apple M4 Max (128GB)Apple M4 Max (64GB)Apple M4 Pro (48GB)Apple M3 Ultra (192GB)