MoE é a sigla de Mixture of Experts, ou Mistura de Especialistas. É uma arquitetura que divide parte do modelo em grupos especializados e ativa apenas os grupos considerados mais úteis para cada entrada.
Como um modelo MoE funciona
A comparação mais direta é com uma empresa formada por profissionais de áreas diferentes. Uma solicitação financeira vai para quem entende de finanças. Uma dúvida jurídica segue para outro especialista. Cada pessoa participa quando seu conhecimento é necessário.
Em um modelo MoE, o processo é parecido:
- O modelo recebe a entrada.
- Um componente de roteamento identifica quais especialistas podem contribuir mais.
- Apenas uma parte dos especialistas processa aquela entrada.
- Os resultados são combinados para formar a resposta final.
Essa seleção acontece dentro do próprio modelo. A aplicação que utiliza o modelo normalmente não precisa escolher os especialistas manualmente.
Parâmetros totais e parâmetros ativos
Um modelo MoE pode ter muitos parâmetros no total, mas usar apenas parte deles em cada execução. Essa parte é chamada de parâmetros ativos.
Por exemplo, um modelo pode possuir 100 bilhões (100B) de parâmetros no total e ativar 20 bilhões (A20B) para uma entrada específica. Isso reduz o trabalho realizado em cada processamento, mas não elimina a necessidade de armazenar o modelo completo ou distribuí-lo entre máquinas.
Mesmo ativando apenas alguns especialistas por entrada, todos os parâmetros do modelo precisam estar carregados ou acessíveis na memória, ainda que distribuídos entre RAM, GPU ou diferentes máquinas.
Dois exemplos de modelos abertos são o Qwen3-30B-A3B e o Qwen3-235B-A22B. Nesses nomes, o primeiro número indica os parâmetros totais e o número após a letra A indica os parâmetros ativos: 30B-A3B representa 30 bilhões no total e 3 bilhões ativos, enquanto 235B-A22B representa 235 bilhões no total e 22 bilhões ativos.
Para que serve
A arquitetura MoE busca equilibrar capacidade e eficiência. Ela pode permitir que um modelo:
- Tenha especialistas voltados a tipos diferentes de conteúdo.
- Utilize menos parâmetros por entrada do que um modelo denso de tamanho semelhante.
- Atenda tarefas variadas sem acionar toda a estrutura a cada execução.
- Cresça em capacidade com um custo de processamento mais controlado.
MoE não significa que o modelo pensa como uma equipe humana. Os especialistas são partes matemáticas treinadas para reconhecer e processar padrões diferentes.
Quando vale a pena
Um modelo MoE faz sentido quando o projeto precisa lidar bem com vários tipos de tarefa sem aumentar demais o custo de cada resposta.
O ponto principal
MoE divide parte do modelo em especialistas e ativa apenas alguns deles para cada entrada. A arquitetura pode ampliar a capacidade com processamento mais eficiente, mas ainda exige memória, infraestrutura e avaliação de qualidade compatíveis com o projeto.