엔비디아가 40개 언어 음성 인식 모델을 무료로 풀었다 — 한국어 '최상위' 등급, 1시간 녹음·화자 분리까지, 상담 녹음·회의록 자동화에 쓸 수 있나?
상담 전화·회의 녹음을 글로 바꾸는 일은 그동안 유료 서비스나 위스퍼(Whisper)에 기댔습니다. 이번 모델은 한국어 품질 등급이 가장 높은 축에 들고 누가 말했는지까지 나눠 주는데, 대신 돌리는 데 드는 GPU가 만만치 않습니다.
무슨 일인가
엔비디아가 10월 28일 Nemotron 3.5 Transcribe 30B-A4B를 허깅페이스·깃허브(NeMo Speech)·build.nvidia.com·NGC에 동시에 올렸습니다. 모델 카드 기준으로 전체 약 340억 파라미터 중 실제로 도는 활성 파라미터는 약 43억(오디오 인코더 포함)인 혼합전문가(MoE) 구조이고, 라이선스는 OpenMDW-1.1로 상업 이용을 허용합니다. 같은 날 학습용 공개 음성 데이터셋 Granary 2판도 함께 나왔습니다(테크크런치).
할 수 있는 일은 녹음 전사(그대로 받아쓰기 / 문장체 정리), 화자 태그를 붙인 다중 화자 전사, 단어 단위 타임스탬프, 영어와의 양방향 번역, 언어 식별입니다. 지원 언어 표에서 한국어는 'Leading' 등급으로 전사·번역·다중 화자·언어 섞어 말하기까지 전부 체크돼 있습니다. 입력은 최대 1시간 녹음(wav·flac·mp3·ogg, 16kHz 모노 변환)이며, 영어 Open ASR 리더보드 평균 오류율은 4.71%(비교 대상 Qwen3-ASR-1.7B 4.94%), 다국어 7개 언어 평균 4.62%, 회의 녹음처럼 여러 명이 말하는 세션의 화자 포함 오류율(cpWER)은 평균 15.80%입니다. 한국어 단독 오류율은 모델 카드에 따로 없습니다. 참조 구성은 H100 80GB 1장이고, 실시간 스트리밍은 지원하지 않는 녹음 파일 전용입니다.
내 사업·앱에 무슨 의미
- 상담 전화·회의가 많은 사장님 — 녹음을 올리면 "누가 뭐라고 했는지"가 나뉜 글로 돌아오는 구조라 CS 기록·회의록 초안에 맞습니다. 단 직접 돌리려면 H100급 GPU가 필요하니, 처음엔 build.nvidia.com 같은 API로 한국어 품질부터 확인하는 게 순서입니다.
- 유튜브·강의 영상을 글로 바꾸는 운영자 — 1시간짜리 영상을 통째로 넣을 수 있고 타임스탬프가 나오니 자막·블로그 초안 자동화에 바로 붙습니다. 영어 번역이 같이 되는 점도 해외 채널 운영자에겐 덤입니다.
- 개발자 — vLLM 0.32.0 + NeMo Speech 플러그인으로 띄우면 OpenAI 호환
/v1/chat/completions엔드포인트가 열립니다. 기존 위스퍼 호출 코드를 큰 수정 없이 바꿔 끼울 수 있다는 뜻입니다. 모델 카드는 가끔 같은 문장을 반복 생성할 수 있으니 후처리 가드를 두라고 적어 두었습니다.
맞는 용도
- 상담·회의 녹음 → 화자별 기록
- 영상·팟캐스트 → 자막·블로그 초안
- 한국어·영어 섞인 녹음
안 맞는 용도
- 실시간 자막·통화 중 받아쓰기
- GPU 없는 일반 PC에서 직접 실행
- 사람 검수 없이 그대로 쓰는 계약·의료 기록