Qwen3 임베딩 시리즈, 기반 모델 기반 텍스트 임베딩 및 재순위화 성능 향상

Qwen 모델 제품군이 텍스트 임베딩 및 재순위화(reranking) 작업을 위한 새로운 독점 모델인 Qwen3 임베딩 시리즈를 공개했다. 이 모델들은 Qwen3 기반 모델을 기반으로 구축되었으며, 텍스트 임베딩, 검색, 재순위화 작업에 특화되어 있다. Qwen3의 강력한 다국어 텍스트 이해 능력을 활용하여 텍스트 임베딩 및 재순위화 작업의 여러 벤치마크에서 최첨단 성능을 달성했다. Qwen3 임베딩 시리즈는 아파치 2.0 라이선스 하에 허깅 페이스와 모델스코프에 오픈소스화되었으며, 기술 보고서와 관련 코드는 깃허브에 게시되었다.

Qwen3 임베딩 시리즈의 출시는 기존 텍스트 임베딩 및 재순위화 모델의 성능과 유연성을 한 단계 끌어올리려는 시도에서 비롯되었다. 특히, 대규모 언어 모델(LLM)의 발전과 함께 텍스트의 의미론적 이해 및 검색 정확도에 대한 요구가 증가하면서, 이를 효과적으로 지원할 수 있는 전문화된 임베딩 및 재순위화 모델의 필요성이 대두되었다. Qwen3 기반 모델의 견고한 다국어 이해 능력을 바탕으로, 이 시리즈는 다양한 언어와 프로그래밍 언어 환경에서 높은 성능을 제공하며, 개발자들이 복잡한 검색 및 정보 추출 시스템을 구축하는 데 필요한 핵심 도구를 제공한다.

Qwen3 임베딩 시리즈는 0.6B, 4B, 8B의 다양한 파라미터 크기로 임베딩 모델과 재순위화 모델을 제공한다. 임베딩 모델인 Qwen3-Embedding-0.6B, -4B, -8B는 각각 28개 또는 36개의 레이어를 가지며, 32K의 시퀀스 길이를 지원한다. 임베딩 차원은 0.6B 모델이 1024, 4B 모델이 2560, 8B 모델이 4096이다. 이 임베딩 모델들은 최종 임베딩에 대한 사용자 정의 차원(MRL Support)과 작업별 입력 지침 사용자 정의(Instruction Aware) 기능을 포함한다. 재순위화 모델인 Qwen3-Reranker-0.6B, -4B, -8B 또한 28개 또는 36개의 레이어와 32K의 시퀀스 길이를 지원하며, 입력 지침 사용자 정의 기능을 제공한다. 모델 아키텍처는 Qwen3 기반 모델을 바탕으로 임베딩 모델은 듀얼 인코더, 재순위화 모델은 크로스 인코더 구조를 채택한다. LoRA(Low-Rank Adaptation) 미세 조정을 통해 기반 모델의 텍스트 이해 능력을 보존하고 향상시킨다. 임베딩 모델은 단일 텍스트 세그먼트를 입력으로 받아 최종 [EOS] 토큰에 해당하는 은닉 상태 벡터를 활용하여 의미론적 표현을 추출하며, 재순위화 모델은 사용자 질의와 후보 문서와 같은 텍스트 쌍을 입력받아 쌍 간의 관련성 점수를 계산하여 출력한다.

Qwen3 임베딩 시리즈의 훈련 프레임워크는 GTE-Qwen 시리즈에서 확립된 다단계 훈련 패러다임을 따른다. 임베딩 모델의 훈련은 세 단계로 구성된다. 첫 번째 단계에서는 대규모 약한 지도(weakly supervised) 데이터로 대조 학습 사전 훈련을 진행한다. 두 번째 단계에서는 고품질 레이블 데이터를 사용하여 지도 훈련에 집중한다. 마지막 단계에서는 여러 후보 모델을 병합하는 전략을 통합하여 전반적인 성능을 향상시킨다. 특히, 임베딩 모델의 첫 번째 약한 지도 훈련 단계에서는 혁신적인 다중 작업 적응형 프롬프트 시스템을 개발했다. 이 시스템은 Qwen3 기반 모델의 텍스트 생성 능력을 활용하여 다양한 작업 유형과 언어에 맞춰 약한 지도 텍스트 쌍을 동적으로 생성한다. 이는 텍스트 관련성 쌍 수집을 위해 커뮤니티 포럼이나 오픈소스 데이터에 의존하던 전통적인 방식의 한계를 해결하고, 대규모 약한 지도 데이터를 효율적으로 생성할 수 있도록 한다. 재순위화 모델의 경우, 경험적 검증 결과를 바탕으로 고품질 레이블 데이터를 직접 사용하여 지도 훈련을 진행함으로써 훈련 효율성을 크게 높였다.

Qwen3 임베딩 시리즈는 다양한 벤치마크에서 우수한 성능을 입증했다. 재순위화 모델 평가 결과에 따르면, Qwen3-Reranker-4B 모델은 MTEB-R(영어 검색)에서 69.76점, CMTEB-R(중국어 검색)에서 75.94점, MMTEB-R(다국어 검색)에서 72.74점, MTEB-Code(코드 검색)에서 81.20점, FollowIR에서 14.84점을 기록하며 경쟁 모델인 Jina-multilingual-reranker-v2-base, gte-multilingual-reranker-base, BGE-reranker-v2-m3를 여러 지표에서 능가했다. Qwen3-Reranker-8B 모델 또한 MTEB-R 69.02점, CMTEB-R 77.45점, MMTEB-R 72.94점, MTEB-Code 81.22점 등 높은 점수를 달성했다. 임베딩 모델 중 Qwen3-Embedding-8B 모델은 2025년 6월 5일 기준으로 MTEB 다국어 리더보드에서 70.58점을 기록하며 1위를 차지했다. 이 모든 재순위화 점수는 Qwen3-Embedding-0.6B 모델로 검색된 상위 100개 후보를 기반으로 측정되었다.

Qwen3 임베딩 시리즈는 개발자들에게 뛰어난 다재다능함과 포괄적인 유연성을 제공하여 다양한 애플리케이션 개발에 기여할 것으로 예상된다. 0.6B부터 8B까지 다양한 크기의 임베딩 및 재순위화 모델을 통해 개발자는 효율성과 성능 요구사항에 맞춰 최적의 모델을 선택하고, 두 모듈을 원활하게 결합할 수 있다. 임베딩 모델은 모든 차원에 걸쳐 유연한 벡터 정의를 허용하며, 임베딩 및 재순위화 모델 모두 사용자 정의 지침을 지원하여 특정 작업, 언어 또는 시나리오에 대한 성능을 향상시킬 수 있다. 100개 이상의 언어와 다양한 프로그래밍 언어를 지원하는 강력한 다국어, 교차 언어, 코드 검색 기능은 전 세계 개발자들이 언어 장벽 없이 혁신적인 검색 및 이해 시스템을 구축할 수 있는 기반을 마련한다.

Qwen3 임베딩 시리즈 모델은 텍스트 임베딩 및 재순위화 분야의 새로운 시작점을 제시한다. Qwen 기반 모델의 지속적인 최적화를 통해 텍스트 임베딩 및 재순위화 모델의 훈련 효율성을 높이고 다양한 시나리오에서의 배포 성능을 개선할 계획이다. 또한, 교차 모달(cross-modal) 의미 이해 능력을 구축하기 위해 멀티모달 표현 시스템을 확장할 예정이다. 개발자들은 Qwen3 임베딩 시리즈를 기반으로 더 넓은 범위의 시나리오를 탐색하고, 다양한 맥락에서 모델의 심층적인 응용을 추진할 수 있을 것으로 기대된다. 현재 모델은 텍스트 기반 작업에 중점을 두고 있으나, 향후 멀티모달 확장 계획을 통해 적용 범위를 넓힐 잠재력을 가지고 있다.