[LLM] MoE 학습 시 Expert 쏠림 현상은 어떻게 해결할까? - Load Balancing 기법 정리
일부 Expert에게만 토큰이 몰리는 MoE의 고질병, Load Imbalance를 해결하는 기법들에 대해 알아봅니다.
Recent posts
[AICC] AI 컨택센터 에이전트 평가 연구 총정리 - LLM Judge부터 τ-Voice까지
상담 에이전트를 “무엇으로, 어떻게” 평가할지, 지난 3년간의 연구 흐름을 한 장의 지도로 정리해 봅니다.
[AICC] τ-Voice - Full-Duplex 음성 에이전트를 실제 상담 도메인에서 평가하기
말은 자연스럽게 하는데, 반품 처리도 제대로 할 수 있을까? τ²-bench를 음성으로 확장한 τ-Voice에 대해 알아봅니다.
[General ML Train set] batch 15. Variational Inference 2 - 예제와 LDA
간단한 가우시안 모델로 따라가 보는 Mean-Field VI, 그리고 LDA의 Variational Inference
[General ML Train set] batch 14. Variational Inference 1 - Variational Transform과 이론
복잡한 함수와 분포를 단순한 것으로 바꾸는 기술, Variational Inference