Old PC vs New AI: Can a 2015 Desktop Actually Run Gemma 4? (2B vs 4B Benchmark)
This is a submission for the Gemma 4 Challenge: Write About Gemma 4 Running modern AI models locally...
2015년 데스크탑에서 Gemma 4를 돌릴 수 있을까 #
최신 AI 모델을 구형 하드웨어에서 로컬로 실행한다는 건 거의 불가능에 가까운 일처럼 들린다. 그런데 Gemma 4 같은 소형 모델과 Ollama 같은 도구 덕분에, 오래된 기기에서도 로컬 AI가 놀라울 정도로 현실적인 선택지가 되고 있다.
2015년에 구입한 구형 데스크탑 PC가 아직 있다. 개발과 가벼운 게임에는 충분히 빠르고, 심지어 가족의 일원처럼 느껴질 만큼 오래 함께했다(실제로 첫째보다 더 오래됐다). 이 PC가 끝내 버거워한 단 하나의 영역이 AI 모델의 로컬 실행이었는데, 이제 모델들이 구형 CPU, GPU, 제한된 RAM에도 훨씬 친화적으로 바뀌고 있어 Gemma 4로 처음 시도해봤다.
이 글은 Gemma 4를 주제로 한 시리즈의 첫 편이다. 구형 하드웨어에서 Gemma 4를 실행하고 벤치마크해 실제 사용 가능 여부와 최적 모델 변형을 확인한다. 이후에는 Gemma 4를 핵심으로 삼는 실용적인 애플리케이션을 만들 계획이다.
적절한 Gemma 4 변형 선택 #
어떤 변형을 고를지 결정하기 전에, 테스트에 쓴 구형 구성부터 확인한다.
| 구성 요소 | 사양 |
|---|---|
| CPU | Intel(R) Core(TM) i5-6400 @ 2.70GHz |
| RAM | 24 GB |
| GPU | NVIDIA GeForce GTX 950 2GB VRAM |
Gemma 4 메모리 요구사항
| 모델 변형 | 최소 RAM/VRAM | 권장 RAM/VRAM |
|---|---|---|
| Gemma 4 E2B | 4 GB | 8 GB |
| Gemma 4 E4B | 6 GB | 12 GB |
| Gemma 4 26B (MoE) | 18 GB | 24 GB |
| Gemma 4 31B (Dense) | 22 GB | 32 GB |
RAM 24 GB와 i5-6400 CPU 조합에서 E2B와 E4B는 여유 있게 실행 가능하다.
기본 Gemma 4 용어
- "B" = 파라미터 수십억 개(모델 크기)
- "E" = 유효 파라미터(effective parameters, 엣지/로컬 배포에 최적화된 경량 변형)
Gemma 4 설치 및 실행 #
Ollama를 설치한 후 아래 명령으로 모델을 실행한다.
ollama run gemma4:e2b
ollama run gemma4:e4b저장 공간 요구사항: Ollama 자체 약 6.5 GB, 추가로 E2B 7.2 GB 또는 E4B 9.6 GB가 필요하다.
벤치마크: 속도 #
측정 지표: evaluation rate (생성 토큰/초).
| 프롬프트 | 모델 | 프롬프트 토큰/초 (평균) | 생성 토큰/초 (평균) | 총 소요 시간 (평균) |
|---|---|---|---|---|
| REST API 설명 | 2B | 473.86 | 6.91 | 64.00s |
| REST API 설명 | 4B | 237.49 | 5.03 | 116.55s |
| Docker 요약 | 2B | 877.51 | 6.46 | 56.08s |
| Docker 요약 | 4B | 479.66 | 5.04 | 65.00s |
2B 모델이 일관되게 빠르다. 4B는 더 상세한 설명을 뽑아내지만 속도는 느리다.
벤치마크: 추론 #
| 프롬프트 | 모델 | 정답 여부 |
|---|---|---|
| 논리 퍼즐 | 2B | Y |
| 논리 퍼즐 | 4B | Y |
| 여행 예산 확인 | 2B | Y |
| 여행 예산 확인 | 4B | Y |
두 모델 모두 다단계 추론에서 정확한 답을 냈다. 4B가 더 구조화된 설명을 제공했다.
벤치마크: 지식 #
| 프롬프트 | 모델 | 정확도 | 품질 (1–5) | 비고 |
|---|---|---|---|---|
| 지리 지식 | 2B | 근사치 | 3 | 브르노 좌표 부정확 |
| 지리 지식 | 4B | 높음 | 4 | 도심에 더 가까운 좌표 |
| 여행 계획 | 2B | 부분 | 3 | 여행 제한 초과 추천 |
| 여행 계획 | 4B | 부분 | 4 | 더 근접한 추천이지만 여전히 초과 |
벤치마크: 코드 생성 #
| 프롬프트 | 모델 | 컴파일 여부 | 정확도 (1–5) | 구조 (1–5) |
|---|---|---|---|---|
| C# 문자열 뒤집기 | 2B | Y | 3 | 3 |
| C# 문자열 뒤집기 | 4B | Y | 5 | 4 |
| LINQ 필터링 | 2B | N | 2 | 3 |
| LINQ 필터링 | 4B | Y | 3 | 4 |
2B: int/float 타입 불일치로 컴파일 실패. 4B: 요구사항 조건(price < 100)을 price <= 1000으로 임의 변경.
벤치마크: 구조화 출력 (JSON) #
| 프롬프트 | 모델 | 유효한 JSON | 포맷 정확도 (1–5) |
|---|---|---|---|
| 책 목록 JSON | 2B | Y | 5 |
| 책 목록 JSON | 4B | Y | 5 |
| 사용자 객체 | 2B | Y | 3 |
| 사용자 객체 | 4B | N | 3 |
4B: JSON 외 설명 텍스트를 추가 삽입해 엄격한 JSON-only 요구사항을 위반했다.
벤치마크: 지시 따르기 #
| 프롬프트 | 모델 | 제약 충족 여부 | 이탈 유형 |
|---|---|---|---|
| 20단어 제한 | 2B | N | 22단어 초과 |
| 20단어 제한 | 4B | N | 23단어 초과 |
| 체코어 전용 | 2B | Y | 경미한 문법 오류 |
| 체코어 전용 | 4B | N | 영어 표현 다수 혼용 |
시스템 리소스 사용량 #
| 모델 | 평균 CPU % | 최대 CPU % | RAM 사용량 (GB) | RAM 최대 (GB) | 평균 GPU % | 최대 GPU % |
|---|---|---|---|---|---|---|
| 2B | 55 | 65.9 | 6.3 | 6.9 | 12.1 | 15.3 |
| 4B | 73 | 85.4 | 8.9 | 9.8 | 13.3 | 15.0 |
GTX 950 (VRAM 2 GB)은 모델 전체를 담을 수 없어 Ollama가 부분 GPU 오프로딩(partial GPU offloading)을 사용한다. GPU 활용률이 낮고 CPU가 주된 병목이 된다.
종합 요약 #
| 벤치마크 | Gemma 4 E2B (2B) | Gemma 4 E4B (4B) | 우위 |
|---|---|---|---|
| 속도 | ~6.7 토큰/초 · 빠른 응답 | ~5.0 토큰/초 · 느린 생성 | E2B |
| 추론 | 정답 · 간결한 설명 | 정답 · 더 구조화된 추론 | 동등 |
| 지식 | 좌표 부정확 · 여행 조건 위반 | 더 정확한 좌표 · 더 근접한 여행 추천 | E4B |
| 코드 생성 | 타입 불일치 컴파일 실패 | 컴파일 정상 · 요구사항 일부 이탈 | E4B |
| 구조화 출력 | 엄격한 JSON 준수 | 유효한 JSON이나 추가 설명 텍스트 삽입 | E2B |
| 지시 따르기 | 단어 제한 소폭 위반 | 단어 + 언어 제약 복수 위반 | E2B |
| 평균 CPU 사용률 | ~55% (최대 ~66%) | ~73% (최대 ~85%) | E2B |
| RAM 사용량 | ~6.3 GB (최대 ~6.9 GB) | ~8.9 GB (최대 ~9.8 GB) | E2B |
| 평균 GPU 사용률 | ~12% | ~13% | 동등 |
주요 발견: RAM이 아닌 CPU가 주요 병목이었다(예상과 달랐다). E2B는 속도·효율·엄격한 포맷 준수에서 앞선다. E4B는 코드 품질과 지식 정확도에서 낫다. 두 모델 모두 정확한 제약 준수(단어 수, 언어)에서 약점을 드러냈다.
이 글은 위 출처의 내용을 바탕으로 작성된 초안입니다. 원문의 의견과 정보를 그대로 전달하며, 별도의 견해를 포함하지 않습니다.