AI 개발 도구 · 2026년 7월 11일 · 약 7분
Unsloth Qwen3.6 NVFP4 사용법: vLLM으로 27B·35B 모델을 빠르게 테스트하는 방법
Unsloth가 공개한 Qwen3.6 NVFP4 체크포인트를 바탕으로, vLLM 실행 전 확인할 GPU 조건, MTP 설정, 벤치마크 숫자를 읽는 법, 초보자가 피해야 할 착각을 정리합니다.
- Unsloth Qwen3.6 NVFP4
- Qwen3.6 사용법
- vLLM
- NVFP4
- 로컬 LLM
- AI 추론 최적화
Qwen3.6을 로컬이나 사내 GPU에서 돌려보고 있다면 Unsloth의 NVFP4 체크포인트를 확인할 차례예요. 27B 모델은 24GB VRAM GPU, 35B-A3B 모델은 32GB VRAM GPU를 기준으로 소개됩니다. 다만 이 글에서 먼저 볼 부분은 “몇 배 빠르다”는 숫자보다 내 장비와 서빙 방식이 NVFP4에 맞는지예요.
Unsloth 문서와 Hugging Face 모델 카드에 따르면 Qwen3.6-27B-NVFP4는 다른 NVFP4 양자화 모델보다 처리량이 2.5배 빠릅니다. 35B-A3B-NVFP4는 1.56배, Fast 버전은 1.79배 빠른 선택지로 소개됐어요. 그래서 이 업데이트는 모델 이름보다 GPU 조건, vLLM 설정, MTP 사용 여부를 함께 봐야 실제 가치가 보입니다.
핵심 키워드
- Unsloth Qwen3.6 NVFP4 사용법
- Qwen3.6 27B NVFP4 vLLM
- Qwen3.6 35B-A3B NVFP4
- vLLM MTP 설정
- 로컬 LLM GPU 메모리
- NVFP4 Blackwell GPU
공식 자료에서 확인한 내용
- Unsloth 문서는 Qwen3.6이 27B와 35B-A3B 모델을 포함하고, 256K context와 agentic coding, vision, chat 작업을 강조합니다.
- Qwen3.6-27B-NVFP4 Hugging Face 모델 카드는 24GB VRAM GPU에서 동작한다고 안내하고, 1xB200 128 concurrency 기준 벤치마크라고 밝힙니다.
- Qwen3.6-35B-A3B-NVFP4 모델 카드는 32GB VRAM GPU에서 동작한다고 안내하고, Fast 버전은 더 빠르지만 약간의 정확도 절충이 있다고 설명합니다.
- 27B와 35B-A3B NVFP4 체크포인트는 MTP module을 포함해 vLLM에서 speculative config로 실행할 수 있다고 안내됩니다.
- Unsloth 문서는 CUDA 13.2 사용 시 이상 출력이 나올 수 있으니 CUDA 13.2를 피하고 그 아래 버전 또는 CUDA 13.3을 쓰라고 안내합니다.
- 27B 모델 카드: https://huggingface.co/unsloth/Qwen3.6-27B-NVFP4
- 35B-A3B 모델 카드: https://huggingface.co/unsloth/Qwen3.6-35B-A3B-NVFP4
NVFP4가 누구에게 의미가 있나
NVFP4는 “모든 로컬 LLM 사용자가 바로 빨라진다”는 의미가 아닙니다. 이 포맷의 장점은 관련 하드웨어와 추론 구성이 맞을 때 커집니다. 그래서 RTX 3090·4090 같은 개인 장비에서는 기존 양자화 모델과 직접 속도·품질을 비교한 뒤 판단하는 편이 안전합니다.
| 사용자 상황 | 먼저 볼 것 | 권장 판단 |
|---|---|---|
| Blackwell 계열 GPU와 vLLM을 쓰는 팀 | NVFP4 지원, vLLM 버전, CUDA 버전 | 작은 테스트 서버에서 바로 비교할 만합니다 |
| RTX 3090·4090 같은 개인 장비 사용자 | NVFP4 실제 지원 여부와 대체 GGUF | 바로 갈아타기보다 기존 quant와 속도·품질을 비교하세요 |
| 사내 API serving 팀 | 동시 요청 수, batch, latency 목표 | throughput 숫자와 실제 사용자 latency를 분리해서 봐야 합니다 |
| 초보 로컬 LLM 사용자 | 총 메모리, 설치 난이도, 실패 시 되돌릴 경로 | Unsloth Studio나 일반 GGUF부터 시작하는 편이 쉽습니다 |
27B와 35B-A3B 중 무엇부터 고를까
처음 테스트라면 27B NVFP4부터 보는 편이 현실적입니다. 모델 카드 기준 24GB VRAM GPU를 언급하고, vLLM 실행 예시도 단순합니다. 35B-A3B는 MoE 구조라 활성 파라미터는 3B지만, 모델 카드는 32GB VRAM GPU를 기준으로 설명합니다. Fast 버전은 속도 쪽에 더 기운 선택지라 결과 품질을 같이 확인해야 합니다.
| 모델 | 공식 안내에서 본 조건 | 어울리는 테스트 |
|---|---|---|
| Qwen3.6-27B-NVFP4 | 24GB VRAM GPU, throughput 2.5배 개선 안내 | 개인 GPU나 작은 실험 서버에서 첫 비교 |
| Qwen3.6-35B-A3B-NVFP4 | 32GB VRAM GPU, throughput 1.56배 개선 안내 | 서버 GPU에서 agentic coding 품질과 속도 확인 |
| Qwen3.6-35B-A3B-NVFP4-Fast | throughput 1.79배 개선 안내, 약간의 정확도 절충 | 응답 지연 시간이 더 중요한 내부 도구 실험 |
vLLM으로 27B NVFP4를 테스트하는 기본 흐름
공식 모델 카드는 vLLM 0.24.0과 nvidia-cutlass-dsl 4.5.2를 별도 Python 3.12 환경에 설치하는 예시를 제공합니다. 운영 서버에 바로 넣기보다 새 venv에서 분리해 테스트하세요. CUDA, driver, vLLM 버전이 맞지 않으면 benchmark 숫자와 전혀 다른 결과가 나올 수 있습니다.
공식 예시에서 출발하는 명령 흐름
- 1. Python 3.12 가상환경을 새로 만듭니다.
- 2. vLLM 0.24.0과 nvidia-cutlass-dsl 4.5.2를 설치합니다.
- 3. 27B는 `vllm serve unsloth/Qwen3.6-27B-NVFP4 --speculative-config '{"method":"mtp","num_speculative_tokens":2}'` 형태로 시작합니다.
- 4. 35B-A3B는 모델 경로만 `unsloth/Qwen3.6-35B-A3B-NVFP4`로 바꿔 같은 방식으로 테스트합니다.
- 5. 첫 테스트에서는 context length, batch, 동시 요청 수를 크게 잡지 말고 안정 실행부터 확인합니다.
벤치마크 숫자는 이렇게 읽어야 한다
Unsloth의 숫자는 유용한 출발점이지만 그대로 내 PC 성능표가 되지는 않습니다. 27B 모델 카드는 1xB200과 128 concurrency 기준이라고 밝힙니다. 혼자 쓰는 로컬 챗봇은 동시 요청이 1~2개인 경우가 많아서, throughput 이득이 체감 latency로 똑같이 이어진다고 보면 안 됩니다.
| 공식 숫자 | 읽는 방법 | 직접 확인할 것 |
|---|---|---|
| 2.5x faster | 27B NVFP4의 처리량 비교 안내 | 내 GPU의 단일 사용자 응답 지연 시간과 tokens/s |
| 1.56x faster | 35B-A3B 일반 NVFP4 처리량 비교 안내 | 정확도와 속도의 균형 |
| 1.79x faster | 35B-A3B Fast 버전 처리량 비교 안내 | 내 작업에서 품질 저하가 보이는지 |
| 24GB·32GB VRAM | 공식 모델 카드가 언급한 실행 조건 | 실제 context length와 batch에서 OOM이 나는지 |
| MTP 포함 | speculative decoding으로 속도 개선 가능 | num_speculative_tokens 값을 바꿨을 때의 성능 |
초보자가 자주 하는 실수
테스트 전에 피할 것
- 벤치마크 하드웨어와 내 장비가 다른데 같은 배속을 기대하지 않습니다.
- NVFP4를 일반 GGUF 4-bit quant와 같은 의미로 읽지 않습니다.
- CUDA 13.2처럼 공식 문서가 피하라고 한 조합으로 시간을 쓰지 않습니다.
- 처음부터 256K context, 큰 batch, 많은 동시 요청을 한꺼번에 켜지 않습니다.
- 정확도 표만 보고 코딩 에이전트 운영 품질을 단정하지 않습니다.
오늘 바로 해볼 한 가지
이미 vLLM을 쓰는 팀이라면 27B NVFP4를 별도 테스트 엔드포인트로 띄우고, 현재 쓰는 Qwen3.6 또는 다른 코딩 모델과 같은 입력 20개를 비교해보세요. 질문은 길게 만들 필요가 없습니다. 작은 버그 수정, 긴 파일 요약, 도구 호출이 필요한 작업처럼 실제로 자주 쓰는 요청만 고르면 됩니다. 결과표에는 평균 tokens/s보다 “쓸 만한 답을 안정적으로 냈는지”를 함께 적어야 다음 선택이 쉬워집니다.
자주 묻는 질문
Unsloth Qwen3.6 NVFP4는 RTX 3090에서도 빨라지나요?
단정하기 어렵습니다. NVFP4 이득은 하드웨어와 서빙 구성 영향을 크게 받습니다. 모델 카드의 주요 벤치마크는 1xB200 128 concurrency 조건이므로, 3090 사용자는 기존 GGUF나 다른 양자화 모델과 직접 비교해야 합니다.
27B와 35B-A3B 중 초보자는 무엇부터 테스트하면 좋나요?
공식 모델 카드가 24GB VRAM GPU를 언급하는 27B NVFP4부터 시작하는 편이 부담이 낮습니다. 35B-A3B는 32GB VRAM GPU 기준 안내와 Fast 버전의 정확도 절충을 함께 봐야 합니다.
MTP speculative config는 꼭 켜야 하나요?
모델 카드의 vLLM 예시는 MTP speculative config를 포함합니다. 다만 최적값은 환경마다 다를 수 있으므로 먼저 공식 예시의 num_speculative_tokens 2로 시작하고, 실제 tokens/s와 품질을 비교하세요.
이 모델을 바로 사내 서비스에 붙여도 되나요?
먼저 샘플 데이터와 별도 엔드포인트에서 테스트하는 편이 안전합니다. GPU 메모리, CUDA, vLLM, 응답 지연 시간, 답변 품질, 장애 대응을 확인한 뒤 제한된 내부 작업부터 적용하세요.