엔비디아 네모트론 3.5 볼트 공개, 내 PC에서 돌릴 때 필요한 장비와 확인할 점

내 그래픽카드 메모리로 되는지 따져 보고, 도구를 골라 받고, 쓰기 전에 확인할 점까지 — 로컬 AI 에이전트를 직접 돌려 보고 싶은 분을 위한 2026년 10월 기준 실전 가이드

인터넷의 AI 서비스 대신 내 컴퓨터에서 AI를 직접 돌리는 것, 이것을 로컬 실행이라고 부릅니다. 자료가 밖으로 나가지 않는다는 점이 가장 큰 장점이지요. 2026년 10월 15일, 엔비디아가 허깅페이스에 이 용도에 맞춘 엔비디아 오픈 모델 'Nemotron 3.5 Bolt 74B-A9B 24GB'(네모트론 3.5 볼트, 이하 볼트)를 공개했습니다.

그런데 이름에 붙은 '24GB'만 보고 "내 24GB 그래픽카드면 되겠네?" 하고 내려받으면 낭패를 볼 수 있습니다. 이 글은 그 함정부터 짚고, 장비 확인 → 도구 선택 → 맞는 일 → 쓰기 전 점검 순서로 차근차근 안내합니다. 글을 다 읽고 나면 "내 장비에서 돌릴 수 있는지"를 스스로 판단하고, 받을 도구까지 정할 수 있습니다.

본문에 들어가기 전에 자주 나오는 용어 몇 가지를 먼저 풀어 두겠습니다.

파라미터는 AI 모델의 크기를 나타내는 숫자입니다. 클수록 대체로 똑똑하지만 무겁습니다.

전문가 혼합(MoE)은 여러 전문가 중 필요한 몇 명만 불러 일하게 해서, 큰 모델을 가볍게 돌리는 방식입니다.

2비트 압축(양자화)은 모델 숫자를 거칠게 줄여 파일을 작게 만드는 것입니다. 대신 정확도가 조금 떨어질 수 있습니다.

토큰은 AI가 글을 읽는 단위로, 한글 한두 글자 정도로 생각하시면 됩니다.

에이전트는 여러 단계를 스스로 이어서 처리하는 AI를 말합니다.

볼트·Super VL·E4B, 이번에 함께 나온 세 모델 한눈에 보기

이번 발표의 주인공은 볼트이고, 같은 발표에서 두 모델이 더 소개됐습니다. 이 글은 볼트를 중심으로 다루니, 나머지 둘은 한 줄씩만 짚고 넘어가겠습니다.

① Nemotron 3.5 Bolt 74B-A9B 24GB(볼트): 내 PC에서 돌리는 일상적인 에이전트 작업에 맞춘 모델입니다. 이 글의 주인공입니다.

② Nemotron 3.5 Super VL: 1,200억 파라미터 규모의 기업용 대형 모델입니다. 볼트는 이 모델을 압축해서 만들었습니다.

③ 볼트 E4B: 4GB짜리 작은 모델로, 가벼운 장비를 위한 것입니다. 공개 예정일이 2026년 10월 23일이라 마지막 섹션에서 따로 다룹니다.

참고로 서버급 데이터센터에서 돌리는 대형 공개 모델과 볼트는 목적이 다릅니다. 볼트는 PC 한 대로 돌리는 에이전트용 모델이라는 점을 기억해 두세요.

네모트론 3.5 볼트의 정체: 740억 중 90억만 쓰는 모델

볼트는 전체 740억(74B) 파라미터 중 한 번에 90억(9B)만 쓰는 전문가 혼합 방식이라, 덩치에 비해 가볍게 돌아가도록 설계됐습니다. 이름의 '74B-A9B'가 바로 이 뜻입니다. 74B는 전체 크기, A9B는 한 번에 활성화되는 크기입니다.

모델 카드에 적힌 핵심 사양을 정리하면 이렇습니다.

① 상위 모델 Super VL(120B-A12B)을 압축해서 만들었습니다.

② 전문가 부분을 2비트로 줄여 모델 파일이 약 24GB가 됐습니다.

③ 한 번에 최대 256K 토큰을 읽을 수 있습니다.

④ 글·이미지·영상을 입력으로 받고, 답은 글로 냅니다.

모델 카드에는 이 2비트 압축이 RTX Spark 메모리에 맞추기 위한 것이라고 적혀 있습니다. RTX Spark는 이번 모델과 함께 엔비디아가 내세운 노트북 플랫폼이고, RTX Spark 노트북은 10월 16일 판매를 시작했습니다.

여기서 한 가지 개념을 꼭 구분해 두세요. '한 번에 쓰는 양이 9B'라는 것과 '메모리에 올려야 하는 양'은 다른 이야기입니다. 일할 때 전문가 몇 명만 부르더라도, 전문가 전원이 메모리 안에 대기하고 있어야 하기 때문입니다. 다음 섹션에서 바로 이 부분을 장비 기준으로 풀어 봅니다.

'24GB'의 진짜 뜻: 파일 크기와 실제 필요한 그래픽카드 메모리

'24GB'는 모델 파일의 크기일 뿐이고, 실제로 돌리려면 그래픽카드 메모리 32GB 이상이 엔비디아 안내의 출발점입니다. 따라서 "24GB 그래픽카드면 돌아간다"고 생각하시면 안 됩니다.

이유는 간단합니다. 모델을 돌릴 때는 파일 크기만큼의 메모리에 더해, AI가 읽은 글을 기억해 두는 작업 공간도 필요합니다. 읽는 분량(토큰)을 늘릴수록 이 공간이 커집니다. 엔비디아의 llama.cpp 실행 안내도 이 점을 반영해 메모리 구간별로 읽을 수 있는 분량을 달리 잡습니다.

표를 읽는 요령은 이렇습니다.

① 32GB급 그래픽카드로는 모델이 가진 256K 토큰을 다 쓰지 못하고, 안내 기준으로 약 6만 5천 토큰까지 읽는 설정이 기본입니다.

② 48GB급 그래픽카드라면 26만 2,144 토큰 설정까지 안내됩니다. 모델이 읽을 수 있는 최대 분량(256K)을 사실상 다 쓰는 구성입니다.

③ RTX Spark는 64GB와 128GB 두 가지가 안내 기준에 올라 있습니다.

엔비디아가 검증 장비로 든 목록에는 지포스 RTX 5090(32GB), DGX Spark, RTX Spark가 있습니다. 소비자용 그래픽카드 중에서는 32GB짜리 RTX 5090이 이 목록에 있는 셈입니다.

한편 LM Studio 모델 페이지는 최소 시스템 메모리를 22GB로 안내합니다. 엔비디아의 실행 기준(그래픽카드 32GB 이상)과 숫자가 달라 보이지만, 앞쪽은 도구가 모델을 불러오기 위한 최소 조건이고 뒤쪽은 엔비디아가 실제 실행 설정으로 잡은 기준이라고 이해하시면 됩니다. 처음 도전하신다면 두 숫자 중 큰 쪽을 기준으로 장비를 점검하는 것이 안전합니다.

내 장비로 되는지 3분 점검하기

지금 쓰는 PC의 그래픽카드 메모리 용량을 확인하고, 앞의 표와 대조하는 것이 첫 번째 행동입니다. 아래 순서대로 따라 해 보세요.

1단계: 그래픽카드 메모리 용량 확인

윈도우 작업 관리자의 성능 탭에서 GPU를 선택하면 '전용 GPU 메모리' 항목이 보입니다. 이 숫자가 기준입니다. 공유 GPU 메모리가 아니라 전용 메모리를 보셔야 합니다.

2단계: 표와 대조

내 전용 GPU 메모리가 어느 구간에 들어가는지 확인합니다.

① 32GB 미만이라면: 엔비디아 안내 기준에 못 미칩니다. 볼트는 무리하지 말고, 가벼운 모델(이후 나올 E4B 등)을 기다리거나 다른 선택지를 보시는 편이 낫습니다.

② 32GB 이상 48GB 미만이라면: 6만 5,536 토큰 설정 구간입니다. 에이전트 작업의 기본 체험은 가능한 구간이지만, 긴 문서를 통째로 읽히는 일에는 여유가 크지 않습니다.

③ 48GB 이상이라면: 26만 2,144 토큰 설정 구간까지 안내 기준에 들어갑니다.

④ RTX Spark 노트북이라면: 메모리가 64GB인지 128GB인지 확인하세요. 안내 기준에 올라 있는 두 구성입니다.

3단계: 다른 프로그램이 메모리를 쓰고 있지 않은지 확인

게임이나 영상 편집 프로그램처럼 그래픽카드 메모리를 많이 쓰는 프로그램은 AI를 돌리기 전에 닫아 두세요. 작업 관리자에서 전용 GPU 메모리 사용량이 평소 얼마나 되는지 미리 보면, 실제로 쓸 수 있는 여유 공간을 가늠할 수 있습니다.

4단계: 저장 공간 확인

모델 파일이 약 24GB이므로, 내려받을 드라이브에 그보다 넉넉한 빈 공간이 있어야 합니다. 도구에 따라 다른 형식의 파일을 추가로 받을 수도 있으니 여유를 두시길 권합니다.

점검 결과 장비가 기준에 못 미쳐도 낙담할 필요는 없습니다. 이번 발표에는 더 가벼운 E4B가 함께 있었고, 로컬 AI를 시험해 보는 것 자체는 작은 모델로도 시작할 수 있습니다.

어떤 도구로 받을까: Ollama, LM Studio, llama.cpp 고르는 흐름

엔비디아는 llama.cpp, Ollama, LM Studio, vLLM, Unsloth에서 볼트를 쓸 수 있다고 밝혔고, 개인 PC라면 앞의 세 가지 중에서 고르는 것이 현실적입니다. 설치 명령어를 외울 필요 없이, 내 상황에 맞는 도구를 고르는 흐름만 잡아 보겠습니다.

LM Studio는 화면에서 눌러서 받는 방식이라 처음 시작하는 분께 부담이 가장 적습니다. 모델 페이지에서 볼트를 찾아 내려받고, 같은 프로그램 안에서 바로 대화창을 여는 흐름입니다. 앞서 본 대로 모델 페이지에 최소 시스템 메모리 22GB가 안내돼 있으니, 받기 전에 그 안내를 먼저 확인하세요.

Ollama는 명령어 한두 줄로 받고 실행하는 방식입니다. 터미널이 낯설지 않다면 가장 가볍게 시작할 수 있고, 다른 프로그램에서 불러 쓰기도 편한 편입니다.

llama.cpp는 세부 설정을 직접 조절하는 방식입니다. 앞서 본 메모리 설정(28GB, 32GB)과 읽는 분량(6만 5,536 토큰, 26만 2,144 토큰)이 바로 이 도구의 실행 안내에 나오는 값입니다. 내 메모리에 맞춰 읽는 분량을 직접 정하고 싶다면 이쪽이 맞습니다.

세 도구를 고를 때 이렇게 생각해 보세요.

① 설정이 번거롭지 않았으면 좋겠다 → LM Studio

② 터미널에서 빠르게 돌려 보고 싶다 → Ollama

③ 메모리 한계에 맞춰 읽는 분량까지 직접 맞추고 싶다 → llama.cpp

vLLM은 원본 안내가 A100, H100, 블랙웰 같은 데이터센터 GPU 기준입니다. 개인 PC용 선택지는 아니니, 서버를 따로 운영하는 경우가 아니라면 건너뛰셔도 됩니다.

어느 도구든 흐름은 같습니다. 도구 설치 → 모델 내려받기 → 읽는 분량 설정 확인 → 짧은 질문으로 시험 실행입니다. 처음부터 긴 작업을 맡기지 말고, 짧은 질문 몇 개로 정상 동작을 확인한 뒤 읽는 분량을 늘려 가세요. 메모리가 모자라면 속도가 크게 느려지거나 실행이 멈출 수 있으니, 읽는 분량은 안내 기준값에서 시작하는 것이 안전합니다.

볼트가 맞는 일: 도구 호출·웹 탐색·명령줄 작업

볼트는 일상적인 에이전트 작업, 즉 도구 호출·웹 검색과 탐색·명령줄 작업에 맞춰 만든 모델입니다. 여러 단계를 스스로 이어서 처리하는 일에 초점이 있고, 글·이미지·영상을 입력으로 받아 답은 글로 냅니다.

내 PC에서 이런 일을 맡겨 볼 수 있습니다.

① 도구 호출: 모델이 필요한 도구를 골라 호출하고, 그 결과를 받아 다음 단계로 이어 가는 작업

② 웹 검색·탐색: 질문에 맞는 정보를 찾아 여러 페이지를 오가며 모으는 작업

③ 명령줄 작업: 터미널에서 명령을 실행하고 결과를 확인하며 이어 가는 작업

엔비디아가 모델 카드에 공개한 성능 점수도 이 용도와 맞닿아 있습니다. 단, 이 점수는 엔비디아가 직접 측정한 값이라는 점을 먼저 밝혀 둡니다. 같은 표에는 Qwen3.6-35B-A3B와 Gemma4 26B-A4B가 비교 모델로 올라 있습니다.

① Terminal-Bench 2.1(터미널 작업 시험): 50.98

② BrowseComp(웹 탐색 시험): 66.75

③ GPQA Diamond(과학 문제): 86.43

비교 모델과 견주면 대부분 항목에서 볼트가 높게 나왔습니다. 하지만 모든 항목에서 앞서는 것은 아닙니다. 두 항목에서는 Qwen3.6보다 낮습니다.

① PinchBench: 볼트 87.82, Qwen3.6 88.07

② 모르면 지어내지 않는 비율: 볼트 61.27, Qwen3.6 65.85

특히 두 번째 항목은 실무에서 의미가 큽니다. AI가 모르는 것을 아는 척 지어내는 일이 에이전트 작업에서는 잘못된 명령 실행이나 잘못된 정보 수집으로 이어질 수 있기 때문입니다. 중요한 작업을 맡길 때는 결과를 사람이 한 번 더 확인하는 단계를 두세요.

점수를 읽는 요령도 한 가지 덧붙입니다. 공개된 숫자는 내 업무에서의 체감 성능을 보장하지 않습니다. 시험 환경과 내 환경은 다르기 때문입니다. 내가 자주 하는 작업 두세 가지를 골라 직접 맡겨 보고 결과를 비교하는 것이 가장 확실합니다.

쓰기 전에 확인할 점: 한국어, 라이선스, 로컬 실행의 득실

한국어는 지원 목록에 있지만 주력 언어는 영어라서, 업무에 쓰기 전에 직접 시험해 보셔야 합니다. 모델 카드는 주력 언어를 영어와 프로그래밍 언어로 밝히고, 입력 지원 언어 목록에 한국어를 포함했습니다. 한국어 품질을 보여 주는 수치는 공개되지 않았습니다. 그러니 "한국어를 잘한다"고 단정할 수는 없고, 목록에 들어 있다는 사실까지만 확인된 상태입니다.

한국어를 시험해 볼 때는 이렇게 해 보세요.

① 평소 쓰는 업무 문서 한 편을 요약하게 해서 핵심이 빠지지 않았는지 봅니다.

② 한국어 지시를 여러 단계로 이어서 내려 보고, 중간에 지시를 놓치지 않는지 봅니다.

③ 같은 질문을 영어로도 던져 보고, 두 답의 품질 차이를 비교합니다.

④ 숫자·날짜·고유명사가 포함된 질문으로, 지어내는 내용이 없는지 확인합니다.

영어로 지시했을 때 결과가 더 낫다면, 지시는 영어로 하고 최종 결과물만 한국어로 다듬는 방식도 선택지입니다.

라이선스는 OpenMDW-1.1이고, 모델 카드에는 '상업적·비상업적 이용 가능'이라고 적혀 있습니다. OpenMDW-1.1은 리눅스 재단이 만든 공개 모델 라이선스입니다. 다만 이 라이선스는 아직 오픈소스 이니셔티브(OSI)의 승인 심사 중입니다. 따라서 'OSI가 승인한 오픈소스'라고 표현하면 안 됩니다. 상업적 이용이 가능하다고 적혀 있더라도, 회사 업무나 제품에 넣을 계획이라면 라이선스 전문을 직접 읽고 조건을 확인한 뒤 쓰시길 권합니다.

로컬 실행의 가장 큰 장점은 자료가 밖으로 나가지 않는다는 점입니다. 회사 내부 문서나 고객 정보를 외부 AI 서비스에 올리기 부담스러운 상황에서 선택지가 됩니다. 반면 비용 면에서는 짚어야 할 것이 있습니다.

① 장비 부담: 앞서 본 대로 그래픽카드 메모리 32GB 이상이 기준이라, 이 기준을 채우는 장비를 갖춰야 합니다.

② 관리 부담: 모델 업데이트, 도구 설정, 메모리 조절을 직접 챙겨야 합니다.

③ 성능 한계: 2비트 압축 모델이라 정확도가 조금 떨어질 수 있습니다.

그래서 "자료를 밖으로 보내지 않아야 하는 작업이 얼마나 되는가"가 도입 여부의 기준이 됩니다. 그런 작업이 많다면 장비 투자가 설득력을 갖고, 적다면 기존 방식과 병행하는 쪽이 합리적일 수 있습니다.

10월 23일 공개 예정이었던 볼트 E4B, 더 가벼운 장비를 위한 선택

볼트 E4B는 4GB 크기의 작은 모델로, 볼트를 돌리기 어려운 가벼운 장비를 위한 선택지입니다. 발표 내용을 정리하면 이렇습니다.

① 용도: 음성 비서, 대화형 캐릭터, 기기 안 화면용

② 대상 장비: 지포스 RTX, 젯슨, DGX Spark

③ 공개 예정일: 2026년 10월 23일

제가 확인한 10월 21일 시점에는 아직 공개 전이었습니다. 오늘이 10월 29일이므로 공개 예정일은 지났지만, 이 글에서는 실제 공개 여부와 모델 카드 내용을 확인하지 못한 상태입니다. 허깅페이스의 엔비디아 모델 목록에서 E4B가 올라왔는지 직접 확인해 보세요.

E4B를 쓰려는 분이라면 볼트와 용도가 다르다는 점도 알아 두세요. 볼트가 도구 호출·웹 탐색·명령줄 작업 같은 에이전트 일에 맞춘 모델이라면, E4B는 음성 비서나 기기 안 화면처럼 작고 즉각적인 반응이 필요한 용도입니다. 메모리가 부족해 볼트를 못 돌리는 장비라도 E4B는 가능할 수 있지만, 그 둘은 같은 일을 하는 모델이 아니니 목적에 맞게 고르셔야 합니다.

자주 하는 실수 4가지

실수는 대부분 '24GB'라는 숫자를 오해하는 데서 시작됩니다. 흔한 경우를 정리했습니다.

① 24GB 그래픽카드면 된다고 생각한다. 24GB는 모델 파일 크기입니다. 엔비디아 안내 기준은 그래픽카드 32GB 이상입니다. 파일을 올려도 읽은 글을 기억하는 작업 공간이 모자랍니다.

② 처음부터 읽는 분량을 최대로 잡는다. 내 메모리 구간의 안내값에서 시작하세요. 32GB급이면 6만 5,536 토큰, 48GB급이면 26만 2,144 토큰이 안내 기준입니다.

③ 엔비디아가 공개한 점수를 그대로 믿는다. 자체 측정이고, 두 항목에서는 비교 모델보다 낮습니다. 내 작업으로 직접 시험해 보세요.

④ 한국어 품질을 확인하지 않고 업무에 투입한다. 지원 목록에 있다는 것과 품질이 좋다는 것은 다른 이야기입니다.

제대로 준비됐는지 확인하는 체크리스트

아래 항목을 하나씩 확인하면, 시작하기 전에 놓친 것이 없는지 점검할 수 있습니다.

① 내 그래픽카드의 전용 메모리가 32GB 이상인가요? (RTX Spark라면 64GB 또는 128GB)

② 모델 파일 약 24GB를 받을 저장 공간이 넉넉한가요?

③ LM Studio, Ollama, llama.cpp 중 내 성향에 맞는 도구를 골랐나요?

④ 읽는 분량 설정이 내 메모리 구간의 안내값인가요?

⑤ 짧은 질문으로 시험 실행을 먼저 해 봤나요?

⑥ 한국어로 내 업무 문서를 요약시켜 품질을 직접 확인했나요?

⑦ 업무에 쓸 계획이라면 OpenMDW-1.1 라이선스 전문을 읽었나요?

⑧ 중요한 작업은 결과를 사람이 확인하는 단계를 두었나요?

이 여덟 가지가 모두 '예'라면 준비가 된 것입니다. 하나라도 걸리면 그 항목부터 해결하고 넘어가세요.

자주 묻는 질문

Q. 볼트는 인터넷 연결 없이도 쓸 수 있나요?

로컬 실행은 모델 파일을 한 번 내려받고 나면 내 컴퓨터에서 AI를 돌리는 방식이라, 자료가 밖으로 나가지 않는다는 것이 핵심 장점입니다. 다만 웹 검색·탐색 같은 작업은 그 기능 자체가 인터넷을 오가야 하니, 모델 실행과 작업 내용을 구분해서 생각하시면 됩니다.

Q. RTX Spark가 없으면 볼트를 못 쓰나요?

그렇지 않습니다. 엔비디아의 llama.cpp 안내는 그래픽카드 32GB 이상 또는 48GB 이상, 혹은 RTX Spark 64GB·128GB를 기준으로 듭니다. 검증 장비 목록에도 지포스 RTX 5090(32GB)이 올라 있어, RTX Spark가 유일한 길은 아닙니다. 다만 모델 카드는 2비트 압축이 RTX Spark 메모리에 맞추기 위한 것이라고 밝히고 있어, 이 플랫폼이 염두에 둔 대상이라는 점은 알아 두세요.

Q. 읽는 분량 256K 토큰을 다 쓰려면 어떻게 해야 하나요?

모델이 한 번에 읽을 수 있는 최대는 256K 토큰이지만, 엔비디아의 실행 안내에서는 그래픽카드 32GB 이상일 때 6만 5,536 토큰, 48GB 이상일 때 26만 2,144 토큰이 기준입니다. 최대 분량에 가깝게 쓰려면 48GB 이상 구간의 장비가 안내 기준이라고 보시면 됩니다.

내 PC에서 돌리는 엔비디아 오픈 모델, 숫자부터 확인하고 시작하세요

볼트는 '파일 24GB'가 아니라 '그래픽카드 32GB 이상'을 기준으로 장비를 점검해야 하는 모델입니다. 이 한 가지만 기억하셔도 시행착오를 크게 줄일 수 있습니다. 메모리 구간을 확인하고, 내 성향에 맞는 도구를 고르고, 한국어와 라이선스를 직접 확인한 뒤, 짧은 질문으로 시작해 읽는 분량을 늘려 가세요.

엔비디아의 점수는 참고 자료일 뿐이고, 최종 판단은 내 업무로 직접 돌려 본 결과가 내려 줍니다. 오늘 저녁 작업 관리자를 열어 내 그래픽카드의 전용 메모리 숫자부터 확인해 보시는 것으로 시작해 보세요. 🙂