Калькулятор VRAM и GPU для Qwen3-235B-A22B
Подбор оборудования для Qwen3-235B-A22B (235B, Alibaba Qwen). Оценка для контекста 8K: INT4 120.1 ГБ • FP8 237.9 ГБ • FP16 473.7 ГБ.
GPU
Требования к памяти 237.95 ГБ
Требуется 3 GPU (на основе емкости памяти)
235 GB
Все веса модели
0.73 GB
Кэш истории разговора
1.85 GB
Оптимизация экспертной модели
0.37 GB
Временный кэш вычислений
Метрики производительности
Тест 1033 ток/с →Общая пропускная способность
1033 токенов/с
Пропускная способность на пользователя
1033 токенов/с/пользователь
Оценочная задержка
145 мс
Макс QPS
6.9 запросов/с
Оценка пропускной способности памяти и вычислений для 3x NVIDIA H100 (80GB).
Команда быстрого запуска (CLI)
vllm serve Qwen/Qwen3-235B-A22B --quantization fp8 --tensor-parallel-size 3 --max-model-len 8192
Параметры автоматически учитывают выбранную точность, контекст и число GPU.Страница модели Qwen3-235B-A22B →
Примеры сценариев (GPU + Модель + Параллелизм):
Кликните эти примеры для быстрой настройки популярных сценариев развёртывания моделей!
📋 FAQ по формулам расчета
Как рассчитывается пропускная способность GPU?
Мы используем подход с двойными ограничениями: Пропускная способность, ограниченная вычислениями = (GPU TFLOPS × Множитель точности × 1000) ÷ (2 × Активные параметры в миллиардах), и Пропускная способность, ограниченная пропускной способностью памяти = Пропускная способность памяти (ГБ/с) ÷ Общий доступ к памяти на токен (ГБ). Фактическая пропускная способность является минимумом из этих двух значений, представляя фактическое узкое место.
Почему мы учитываем ограничения пропускной способности памяти?
На основе данных бенчмарка A100 40GB, все протестированные модели были ограничены пропускной способностью памяти, а не вычислительной мощностью. Это подтверждает наш подход расчета на основе пропускной способности памяти, который более точен, чем чисто вычислительные оценки.
Как по-разному обрабатываются модели MoE?
Для моделей MoE (Mixture of Experts), таких как DeepSeek-R1 (671B общих, 37B активных), мы учитываем только активные параметры для расчетов пропускной способности. Это означает, что доступ к памяти на токен основан на 37B параметрах, а не на полных 671B, что делает модели MoE гораздо более эффективными для вывода.
Что представляет собой коэффициент системной эффективности?
Коэффициент системной эффективности (40% базовый) учитывает реальные накладные расходы: накладные расходы фреймворка (Ollama, vLLM), паттерны доступа к памяти, эффективность пакетной обработки и использование оборудования. Этот коэффициент был откалиброван с использованием фактических данных бенчмарков A100 40GB с наблюдаемой средней эффективностью 37,2%.
Как коэффициент попаданий L2-кеша влияет на расчеты пропускной способности GPU?
L2-кеш значительно влияет на использование пропускной способности памяти. Когда веса модели кешированы в L2, к ним можно обращаться со скоростью ~12ТБ/с вместо ~3,35ТБ/с из HBM. Мы используем упрощенную вероятностную модель для расчета коэффициентов попаданий в кеш: Коэффициент попаданий = (N-1)/N, где N - количество одновременных пользователей. Это отражает вероятность перекрытия доступа к весам: 1 пользователь: 0% попаданий (нет повторного использования кеша), 2 пользователя: 50% попаданий (второй пользователь может повторно использовать веса, загруженные первым пользователем), 4 пользователя: 75% попаданий, 10 пользователей: 90% попаданий. Этот подход основан на теории вероятности: когда несколько пользователей одновременно обращаются к модели, вероятность того, что последующие пользователи получат доступ к тем же весам, увеличивается, улучшая эффективность кеша.
Как точность влияет на производительность?
Форматы с меньшей точностью уменьшают использование памяти и увеличивают пропускную способность: FP16 (2 байта/параметр): базовая производительность, FP8 (1 байт/параметр): ~2x уменьшение памяти, INT4 (0,5 байта/параметр): ~4x уменьшение памяти с 20% повышением производительности благодаря лучшему использованию кеша. Однако агрессивная квантизация может повлиять на точность модели, требуя техник как GPTQ или AWQ для поддержания качества.
Почему мои результаты отличаются от других калькуляторов?
Наш калькулятор использует пропускную способность памяти как основное ограничение и реальные данные бенчмарка для калибровки, в то время как многие другие используют только вычислительные оценки. Мы также правильно обрабатываем модели MoE и включаем реалистичные коэффициенты системной эффективности, что приводит к более точным прогнозам в реальном мире.
Какие бюджетные варианты GPU для развертывания LLM?
💰 Бюджетные варианты (до $10k): RTX 4090 (24GB) - Лучший для моделей 7B-13B, конфигурация с одной картой; RTX 3090 (24GB) - Хорошее соотношение цены и качества для небольших моделей и экспериментов; Несколько RTX 4060 Ti (16GB) - Экономически эффективное решение для распределенного вывода.
Какие корпоративные GPU-решения доступны?
🏢 Корпоративные решения ($50k+): NVIDIA H100 (80GB) - Отраслевой стандарт для развертывания LLM в производстве; NVIDIA A100 (80GB) - Проверенная надежность, подходит для моделей 70B+; AMD MI355X (288GB) - Новейший CDNA 4, наивысшая емкость памяти для массивных моделей; AMD MI350X (288GB) - CDNA 4 с воздушным охлаждением, отличное соотношение цены и производительности; AMD MI325X (256GB) - CDNA 3 с HBM3E, отлично подходит для развертывания больших моделей; AMD MI300X (192GB) - Проверенный CDNA 3, отлично для моделей 400B+.
Каковы требования GPU для популярных AI-моделей?
🆕 Qwen2.5 & Qwen3: Qwen2.5-72B требует 2x H100 с FP8, в то время как Qwen3-235B-A22B (MoE) требует 4x H100. DeepSeek R1: 671B параметров требуют ~10x H100 с FP8 для оптимальной производительности. Llama 3.1 70B: 2x A100/H100 с FP16, или 7x RTX 4090 для потребительского оборудования. Llama 3.1 405B: 6x H100 с FP8, или 11x A100 с FP16.
Какие профессиональные советы по оптимизации GPU?
⚡ Профессиональные советы: Используйте FP8/INT8 - Сократите использование памяти на 50-75% с минимальной потерей качества; Рассмотрите модели MoE - Qwen3-235B-A22B предлагает флагманскую производительность с 4x H100 (против 10x для DeepSeek-R1); Модельный параллелизм - Разделите большие модели на несколько GPU; Смешанная точность - Объедините FP16 вывод с FP32 градиентами для обучения; Отображение памяти - Используйте CPU RAM для хранения модели, GPU для активных слоев.
Архитектура и профиль памяти Qwen3-235B-A22B
Всего параметров
235B
Архитектура
MoE (активно 22B)
Разработчик
Alibaba Qwen
Рекомендуемая точность
FP8
Матрица VRAM для Qwen3-235B-A22B по точности и контексту
Предрасчёт для 1 пользователя (веса модели + KV-кэш + накладные расходы).
| Точность | Контекст 8K | Контекст 32K | Контекст 128K |
|---|---|---|---|
| FP16 | 473.7 GB | 479.0 GB | 497.5 GB |
| FP8 | 237.9 GB | 241.0 GB | 250.7 GB |
| INT8 | 237.9 GB | 241.0 GB | 250.7 GB |
| INT4 | 120.1 GB | 122.1 GB | 127.4 GB |
Рекомендуемые GPU для Qwen3-235B-A22B (FP8)
Минимум видеокарт для контекста 8K при batch=1 и ожидаемая скорость.
| Модель GPU | Мин. GPU | Общая VRAM | Скорость |
|---|---|---|---|
| NVIDIA RTX 4090 (24GB) | 10× | 240 GB | 3116 tok/s |
| NVIDIA RTX 5090 (32GB) | 8× | 256 GB | 3762 tok/s |
| Apple M4 Max (128GB) (128GB) | 2× | 256 GB | 60 tok/s |
| NVIDIA A100 (80GB) (80GB) | 3× | 240 GB | 607 tok/s |
| NVIDIA H100 (80GB) | 3× | 240 GB | 1033 tok/s |
| NVIDIA H200 (141GB) | 2× | 282 GB | 705 tok/s |
| Huawei Ascend 910B (64GB) | 4× | 256 GB | 668 tok/s |
Вопросы по развёртыванию Qwen3-235B-A22B
Сколько видеопамяти требуется для запуска Qwen3-235B-A22B?
При контексте 8K и одном пользователе Qwen3-235B-A22B занимает около 473.7 ГБ в FP16, 237.9 ГБ в FP8 и 120.1 ГБ в квантовании INT4.
Сколько нужно видеокарт RTX 4090 или H100 для Qwen3-235B-A22B?
В точности FP8 для Qwen3-235B-A22B потребуется минимум 10x RTX 4090 (24 ГБ) или 3x NVIDIA H100 (80 ГБ).
Какую точность выбрать для Qwen3-235B-A22B в продакшене?
Для Qwen3-235B-A22B (235B, Alibaba Qwen) оптимальный баланс качества, скорости и памяти обеспечивает FP8.
Другие инструменты LLM и GPU
Весь каталог ИИ-инструментов →Калькуляторы VRAM по моделям
DeepSeek-R1 (671B)DeepSeek-V3 (671B)DeepSeek-V4-Pro (1.6T)DeepSeek-V4-Flash (284B)DeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Qwen-14BDeepSeek-R1-Distill-Qwen-7BDeepSeek-R1-Distill-Llama-70BLlama 4 Maverick (400B)Llama 4 Scout (109B)Llama 3.1 405BLlama 3.1 70BLlama 3.1 8BLlama 3.2 3BQwen3.5-397B-A17BQwen3-235B-A22BQwen3-Coder-480B-A35BQwen3-32B
Совместимость видеокарт
NVIDIA RTX 5090 (32GB)NVIDIA RTX 5080 (16GB)NVIDIA RTX 5070 Ti (16GB)NVIDIA RTX 4090 (24GB)NVIDIA RTX 4080 SUPER (16GB)NVIDIA RTX 4070 Ti Super (16GB)NVIDIA RTX 4060 Ti (16GB)NVIDIA RTX 3090 (24GB)AMD Radeon RX 7900 XTX (24GB)NVIDIA RTX PRO 6000 Blackwell (96GB)Apple M4 Max (128GB)Apple M4 Max (64GB)Apple M4 Pro (48GB)Apple M3 Ultra (192GB)