32GB GPU 로컬 LLM 추천 비교: Qwen3.8 27B를 고른 이유
VRAM 32GB(R9700)에 들어가는 2026년 10월 기준 공개 모델 8개를 크기·컨텍스트·코딩 점수로 비교했다. Qwen3.8 27B를 고른 이유 네 가지, 대신 감수한 것, 속도·멀티모달·작은 VRAM이면 다른 선택.
VRAM 32GB 한 장에 올릴 로컬 LLM은 Qwen3.8 27B로 정했다. 4비트로 17GB, 256K 컨텍스트, 코딩 점수가 같은 급에서 가장 높고, 이미지 입력과 MTP(빠른 생성)까지 한 파일에 들어 있다. 대신 생성 속도는 MoE 모델의 절반이다. 32GB 카드(R9700, 5090, 4090 48GB 개조 등)를 들였거나 들이려는 사람이 2026년 10월 기준으로 고를 만한 모델 8개를 같은 표에 놓고 비교한다. 서버를 어떻게 꾸몄는지는 로컬 LLM 서버 구성 글에 있다.
32GB에 들어가는 조건
기준은 두 가지다. 모델 파일이 4비트로 25GB 이하, 그리고 남은 자리에 KV 캐시(대화 기억) 가 들어가야 한다. 27B 모델을 4비트로 올리면 17GB, 192K 컨텍스트의 KV 캐시를 8비트로 두면 약 10GB다. 합쳐 28GB. 이게 32GB에서 쓸 수 있는 거의 끝이다.
| 구조 | 뜻 | 32GB에서 |
|---|---|---|
| Dense 27B급 | 매 토큰에 270억 파라미터가 다 일한다 | 품질 좋음, 생성 45~55 tok/s (MTP 포함) |
| MoE 30B-A3B급 | 300억 중 30억만 일한다 | 생성 2~3배 빠름, 같은 크기면 품질은 한 단계 아래 |
| Dense 32B 이상 | 4비트 20GB+. 컨텍스트를 64K 아래로 줄여야 한다 | |
| MoE 100B 이상 | 32GB에는 안 들어간다. 램으로 넘기면 1자리 tok/s |
후보 8개 (2026-10 기준)
| 모델 | 구조 | 공개 | 4비트 크기 | 컨텍스트 | 라이선스 | 특징 |
|---|---|---|---|---|---|---|
| Qwen3.8 27B | Dense 27B | 2026-08 | 17GB | 256K (YaRN 1M) | Apache 2.0 | 이미지·영상 입력, MTP 헤드 내장, 추론 모드 |
| Qwen3.6 27B | Dense 27B | 2026 중반 | 17GB | 256K | Apache 2.0 | 직전 세대. 도구 지원이 가장 넓다 |
| Qwen3.6 35B-A3B | MoE 35B/3B | 2026 중반 | 24GB | 256K | Apache 2.0 | 빠름. 32GB에서 컨텍스트를 줄여야 한다 |
| Gemma 4 31B | Dense 31B | 2026-04 | 20GB | 256K | Apache 2.0 | 이미지·영상, 같은 점수를 절반 토큰으로 냄 |
| Gemma 4 26B-A4B | MoE 27B/4B | 2026-04 | 18GB | 256K | Apache 2.0 | 멀티모달 + 빠름 |
| GLM-4.7-Flash | MoE 30B/3B | 2026-01 | 19GB | 198K | MIT | SWE-bench Verified 59.2, 에이전트 작업 강함 |
| gpt-oss-20b | MoE 21B/3.6B | 2025-08 | 13GB | 128K | Apache 2.0 | 16GB 카드에도 들어감. 영어 중심 |
| Nemotron 3.5 Lightning 30B | MoE 30B/3B (Mamba 혼합) | 2026-08 | 약 20GB | 1M | OpenMDW | 긴 문서·RAG용, 점수 공개 적음 |
크기는 Q4_K_M 기준 GGUF 파일 크기다. 1M 컨텍스트를 실제로 쓰려면 KV 캐시만 수십 GB라 32GB에서는 숫자일 뿐이다.
코딩 점수로 보면
같은 벤치마크끼리만 비교한다. 출처가 다른 숫자를 한 줄에 놓으면 안 된다.
| 모델 | SWE-bench Pro | SWE-bench Verified | LiveCodeBench v6 |
|---|---|---|---|
| Qwen3.8 27B | 61.7 | — | 90.3 |
| Qwen3.6 27B | 53.5 | — | 83.9 |
| GLM-4.7-Flash | — | 59.2 | 64.0 |
| Qwen3-Coder 30B-A3B | — | — | 74 |
| Gemma 4 31B | — | — | — (TerminalBench Hard 36%) |
Qwen3.8 27B는 직전 세대보다 SWE-bench Pro가 8점 올랐고, 공식 표에서는 상용 최상위 모델과 같은 줄에 놓인다. Gemma 4 31B는 코딩 점수를 공식으로 내지 않았고, 종합 지수(Artificial Analysis)에서 Qwen3.5 27B보다 3점 뒤지는 대신 토큰을 2.5배 덜 쓴다. 코딩이 목적이면 Qwen, 토큰 효율과 멀티모달이면 Gemma다.
직접 돌려 본 것
Qwen3.8 전에 세 개를 돌려 봤다. 솔직하게 적으면, 하나씩 오래 쓰지 않아서 내 손끝에서는 차이가 미미했다. 짧은 질문과 몇 번의 코드 수정으로는 27B급 모델들이 다 비슷하게 답한다. 차이는 오래 쓴 사람들의 리뷰에서 반복되는 쪽이 더 믿을 만했다.
| 모델 | 내가 느낀 것 | 리뷰에서 반복되는 평 |
|---|---|---|
| Qwen3.6 27B | Qwen3.8과 거의 같다 | 같은 크기에서 3.8이 SWE-bench Pro 8점 위. 3.6은 도구·프레임워크 지원이 가장 넓어 “안전한 선택”으로 남아 있다 |
| Qwen3.6 35B-A3B | 확실히 빠르다 | 속도는 2~3배. 긴 코드 수정에서 27B Dense보다 빠뜨리는 게 있다는 평이 반복된다. 채팅·요약용으로 추천하는 글이 많다 |
| Gemma 3 27B | 글이 자연스럽다 | 한 세대 전(2025-03) 모델. 글쓰기·지시 따르기(IFEval 90.4)는 좋지만 수학·코딩 점수는 Qwen3.6 27B와 자릿수가 다르다(GPQA 42 vs 88). 컨텍스트 128K |
짧게 써 보고 고르는 건 의미가 없었다. 결국 고른 기준은 체감이 아니라 숫자(코딩 점수, 컨텍스트, 파일 크기)와 한 파일에 든 기능이었다.
Qwen3.8 27B를 고른 이유 네 가지
1. 같은 32GB면 Dense가 낫다. MoE 35B-A3B는 생성이 빠르지만 활성 파라미터가 30억이다. 긴 코드를 고치는 일에서는 270억이 전부 일하는 Dense가 덜 빠뜨린다. 45~55 tok/s면 사람이 읽는 속도(초당 10토큰 안팎)의 네 배라 충분하다.
2. 256K 컨텍스트가 실제로 들어간다. 저장소 하나를 통째로 넣고 물어보려면 100K는 넘어야 한다. 192K로 잡고 KV 캐시를 8비트로 두면 27.8GB에서 멈춘다. 32B Dense 모델은 파일이 20GB라 이 여유가 없다.
3. 한 파일에 다 있다. 이미지 입력(mmproj), MTP 헤드, 추론 모드가 기본 GGUF에 포함돼 있어 llama.cpp 옵션만으로 켜고 끈다. 비전 모델을 따로 띄우지 않는다.
4. Apache 2.0. 블로그 자동화나 에이전트에 붙여 쓰는 데 제약이 없다. Gemma 4도 이번 세대부터 Apache 2.0이라 이 항목은 둘이 같다.
대신 감수한 것
| 감수한 것 | 숫자 |
|---|---|
| 생성 속도 | 46~52 tok/s (MTP 포함). MoE 30B-A3B급은 같은 카드에서 80~120 tok/s |
| 추론 모드 기본 켜짐 | 짧은 질문에도 350자를 생각하고 답한다. 첫 글자까지 2.7초. 서버 기본값을 enable_thinking: false로 바꾸니 0.2초. 필요한 요청만 켠다 |
| VRAM 여유 | 192K 설정에서 27.8GB. 다른 모델을 같이 올릴 자리가 없다 |
| MTP 수용률 | 코드 80%, 한국어 산문 61% (Vulkan, 깊이 2). 산문이 낮은 건 CUDA 측정과 같은 경향이다 |
다른 선택을 할 사람
| 상황 | 추천 | 이유 |
|---|---|---|
| 응답 속도가 먼저 (채팅, 번역, 요약) | Qwen3.6 35B-A3B 또는 Qwen3-Coder 30B-A3B | 2~3배 빠르고 24GB 카드에도 들어간다 |
| 사진·화면 캡처를 많이 넣는다 | Gemma 4 31B | 이미지·영상 입력이 기본이고 답이 짧아 토큰을 아낀다 |
| 에이전트가 도구를 많이 부른다 | GLM-4.7-Flash | SWE-bench Verified 59.2, τ²-Bench 79.5. MIT 라이선스 |
| VRAM 16GB | gpt-oss-20b | 13GB로 가장 가볍다. 한국어는 Qwen·Gemma보다 약하다 |
| 수백 페이지 문서 검색(RAG) | Nemotron 3.5 Lightning 30B | 1M 컨텍스트. 단, 32GB에서는 256K 안팎이 실제 한계 |
| 한 급 위를 보고 싶다 | 48GB 이상 | 32GB에서는 Qwen3.8 27B가 사실상 천장이다 |
Kimi K2.7, GLM 5.3, Qwen3.8 Flash Next(176B) 같은 이름은 목록에서 뺐다. 활성 파라미터가 작아도 전체 파일이 100GB를 넘어 32GB 카드와 상관이 없다.
다음
32GB 한 장이면 2026년 10월 기준으로 Qwen3.8 27B가 가장 멀리 간다. 속도가 아쉬우면 같은 집안의 35B-A3B로 내려가면 되고, 사진이 많으면 Gemma 4를 본다. 다음은 Gemma 4 31B를 같은 서버에 올려 같은 프롬프트 세 개로 속도와 답을 나란히 비교하는 일이다.
참고: Qwen3.8-27B 모델 카드, Gemma 4 분석 (Artificial Analysis), Qwen3.8-27B GGUF 양자화 크기, Qwen3.8 MTP 측정, Nemotron 3.5 Lightning, 2026 로컬 코딩 모델 비교
