MKD, 자체 개발 파운데이션 모델 ‘Keural-MoE-14B’ 공개

MKD, 자체 개발 파운데이션 모델 ‘Keural-MoE-14B’ 공개

주식회사 엠케이디(MKD)가 자체 개발한 대규모 언어모델(LLM) Keural-MoE-14B를 공개했습니다. 이번 공개는 엠케이디가 선보이는 첫 번째 파운데이션 모델로, 독자적인 AI 기술 확보와 소버린 AI 환경 구축을 향한 중요한 이정표입니다.

최근 전 세계적으로 AI 기술 주권 확보의 중요성이 높아지면서, 국가와 기업이 외부 AI 모델에 의존하지 않고 자체적인 AI 역량을 확보하려는 움직임이 확대되고 있습니다. 엠케이디는 이러한 흐름에 맞춰 자체 AI 모델과 플랫폼을 개발하며 독립적인 AI 생태계 구축을 추진하고 있습니다.

Keural-MoE-14B는 한국어와 영어를 지원하는 140억 파라미터 규모의 Mixture-of-Experts(MoE) 기반 언어모델입니다. 모델 구조부터 토크나이저, 데이터 파이프라인, 학습 과정까지 핵심 기술을 자체적으로 설계·개발하였으며, 외부 모델을 기반으로 파인튜닝한 것이 아닌 독자적인 파운데이션 모델로 개발되었습니다.

특히 Keural-MoE-14B는 엠케이디가 설계한 KeuralMoECausalLM 아키텍처를 기반으로 개발되었습니다. 모델은 32개의 Transformer 레이어와 32개의 Expert를 활용하는 MoE 구조를 채택했으며, 각 토큰 처리 시 4개의 Expert만 활성화하는 방식으로 효율적인 연산 구조를 구현했습니다. 또한 131,072개 규모의 자체 SentencePiece Unigram 토크나이저를 개발하여 한국어와 영어를 포함한 다국어 환경에 최적화하였습니다.

학습 과정 역시 데이터 수집부터 전처리, 토큰화, 사전학습, 정렬(alignment)에 이르기까지 자체적으로 구축되었습니다. 엠케이디는 웹 문서, 위키피디아, 기술 문서, 과학 자료, 코드 데이터 등 다양한 영역의 데이터를 활용하여 약 695억 토큰 규모의 학습 데이터셋을 구축하였으며, 이를 기반으로 모델 학습을 수행했습니다.

Keural-MoE-14B는 현재 연구개발 단계의 모델로, 최신 글로벌 상용 모델과 직접적인 성능 경쟁보다는 독자적인 AI 기술 확보와 파운데이션 모델 개발 경험 축적에 중점을 두고 있습니다. 특히 제한된 연구 자원 환경에서도 모델 아키텍처 설계부터 학습 인프라 구축까지 전 과정을 자체적으로 수행했다는 점에서 의미가 큽니다.

엠케이디는 부산에서 유일하게 독자 파운데이션 모델을 연구·개발하는 기업으로, 이번 모델 공개를 시작으로 추론 성능 향상, 장문 컨텍스트 지원, 멀티모달 기술 개발 등을 지속적으로 추진할 계획입니다.

Keural-MoE-14B는 향후 AI 플랫폼 Keural의 핵심 모델로 활용될 예정이며, 엠케이디는 이를 기반으로 국내외 기업과 기관이 신뢰하고 활용할 수 있는 소버린 AI 환경 구축에 나설 계획입니다.