로컬 모델 파일 이름(7B·Q4_K_M·GGUF), 이렇게 읽으면 다운로드 전에 감이 옵니다

로컬에서 모델을 돌려보려고 파일 목록을 열면 이름이 암호처럼 보입니다. 사실 대부분은 몇 가지 규칙의 조합이라, 순서만 알면 다운로드 전에 대략적인 성격을 가늠할 수 있습니다. 먼저 이름 앞쪽은 보통 제작처와 계열, 세대입니다. 그 뒤에 붙는 7B·8B·70B 같은 표기는 파라미터 수로, B는 billion(10억)을 뜻합니다. 숫자가 크면 일반적으로 요구 메모리와 연산량이 함께 커집니다. 다만 파라미터 수가 곧 품질 순위는 아니며, 학습 데이터와 후처리에 따라 달라진다는 점은 여러 모델 카드에서도 반복해서 언급됩니다. 8x7B처럼 곱하기가 들어간 표기는 전문가 혼합(MoE) 구조를 가리키는 경우가 많습니다. 이때 총 파라미터와 실제 추론에서 쓰이는 활성 파라미터가 다르게 적히므로, 메모리는 총량 기준, 속도는 활성 기준으로 보는 편이 혼선이 적습니다. 숫자는 모델 카드 표기 기준이며 모델마다 다릅니다. base와 instruct(또는 chat) 구분도 중요합니다. 보통 base는 사전학습 상태, instruct·chat은 지시 따르기용 후처리를 거친 버전으로 설명됩니다. 대화형으로 쓰려면 instruct 계열을 찾는 경우가 많고, 이때 모델 카드에 적힌 프롬프트 템플릿(채팅 형식)을 맞춰야 출력이 안정적입니다. 확장자 쪽은 저장 포맷입니다. safetensors는 가중치 저장 포맷, GGUF는 CPU·통합 메모리 환경 실행 도구들이 널리 쓰는 포맷으로 알려져 있습니다. 실행하려는 도구가 어떤 포맷을 지원하는지부터 확인하는 게 순서입니다. Q4_K_M, Q5_K_S, Q8_0 같은 꼬리표는 양자화 표기입니다. Q 뒤 숫자는 가중치 비트 수를 뜻하고, 숫자가 낮을수록 파일 용량과 메모리 요구가 줄어드는 대신 출력 품질 변화 가능성이 커진다는 설명이 일반적입니다. 뒤의 K_M·K_S 등은 세부 방식 구분이고, 어느 조합이 '정답'인지는 하드웨어와 용도에 따라 갈려 커뮤니티에서도 의견이 나뉩니다. 메모리 계산은 파일 용량만으로 끝나지 않습니다. 컨텍스트를 길게 잡으면 KV 캐시가 추가로 메모리를 차지하므로, 실행 도구가 안내하는 권장치와 설정값을 함께 보는 편이 안전합니다. 확인 체크리스트 - 파라미터 수와 MoE 여부(총/활성)를 모델 카드에서 확인했는지 - base인지 instruct·chat인지, 프롬프트 템플릿이 명시돼 있는지 - 내 실행 도구가 해당 포맷(GGUF·safetensors 등)을 지원하는지 - 양자화 등급별 파일 용량과 내 메모리 여유를 비교했는지 - 컨텍스트 길이를 늘릴 때 추가 메모리까지 감안했는지 - 라이선스와 상업적 이용 조건을 원문에서 확인했는지