한 줄 정의: 수십억 파라미터 이하의 작은 모델(SLM, Small Language Model)을 노트북·GPU·로봇 같은 기기 안에서 직접 돌려서, 대화하고 도구까지 호출하게 만드는 방식이에요. 큰 클라우드 모델에 매번 묻지 않고 “가까운 곳에서 빠르게” 처리하는 게 핵심이에요.
시점부터 정리할게요. 이건 새 개념은 아니에요. “작아도 쓸 만한 모델”이 본격적으로 주목받은 건 Microsoft의 Phi-1(2023년 6월)부터고, Microsoft가 Phi-3(2024년 4월)를 내면서 “SLM”이라는 말이 널리 쓰였어요. Google Gemma도 2024년 2월에 처음 나왔고요. NVIDIA 연구진이 “작은 모델이 에이전트의 미래”라는 논문을 낸 것도 2025년 6월이에요. 이번에 다시 화제가 된 소식은 2026년 10월 23일(미국 기준) 공개된 NVIDIA Nemotron 3.5 Bolt E4B예요. Gemma 4 E4B를 바탕으로 다시 학습한 오픈 모델로, 약 4GB 메모리에서 여러 차례 이어지는 도구 호출, 64K 컨텍스트, 35개 언어를 지원해요.
왜 지금 뜨냐면, “작은 모델도 에이전트 일을 할 수 있다”는 걸 숫자로 보여줬기 때문이에요. NVIDIA는 이전 모델보다 평균 점수가 약 40% 높고, 비슷한 모델보다 출력 토큰을 최대 80% 덜 쓴다고 밝혔어요. RTX 5070에서 첫 토큰이 0.5초대로 나와요(NVIDIA가 llama.cpp에서 4비트 양자화로 측정). 같은 표에서 Claude Sonnet 5.5 같은 클라우드 모델은 약 3초였어요. 음성 비서, 게임 NPC, 로봇처럼 “1초 안에 대답해야 하는” 곳에선 이 차이가 커요.
Claude만 쓰던 개발자라면 이렇게 나눠 보세요.
- SLM에 맡길 일: 빠른 답이 필요하거나, 자주 반복되거나, 데이터가 밖으로 나가면 안 되는 일이에요. 의도 분류, 정해진 API 호출(“불 꺼줘”, “일정 추가”), JSON 추출, 짧은 요약, 게임 캐릭터 대사가 여기에 들어가요.
- Claude에 넘길 일: 여러 파일을 고치는 코딩, 긴 추론, 애매한 요구사항 정리, 결과 검토처럼 틀리면 비싼 일이에요.
- 실무 패턴: 앞단에 SLM을 두고, 자신 없거나 복잡한 요청만 Claude로 넘기는 구조가 가장 흔해요. Mac mini나 RTX PC가 있다면 llama.cpp나 Ollama로 작은 모델을 띄워 개인 서비스의 간단한 분류·추출을 맡기고, 클라우드 호출 비용을 줄이는 데서 시작하면 좋아요.
주의할 점도 있어요. 같은 표에서도 긴 문맥이나 복잡한 고객 응대 작업은 모델마다 편차가 커요. 그러니 “작은 모델 하나로 다 한다”보다는 “좁은 일만 확실하게 맡긴다”는 쪽으로 쓰는 게 안전해요.
연관 용어
- 양자화 (Quantization): 모델 가중치를 4비트 등으로 줄여 메모리를 아끼는 기술이에요. Bolt도 Q4_K_M 형식으로 측정됐어요.
- 함수 호출 (Function / Tool Calling): 모델이 정해진 형식으로 API를 부르는 능력이에요. SLM 에이전트가 쓸모 있는지는 결국 여기에 달려 있어요.
- 하이브리드 추론 (Hybrid Inference): 기기 안의 작은 모델과 클라우드의 큰 모델을 상황에 따라 섞어 쓰는 구조예요.