Modelos Open-Source — Catálogo Completo

Atualizado em abril de 2026. Foco em modelos viáveis para base/fine-tuning do Kode.

---

Llama (Meta)

*lama 4 — Paper:*arXiv:2601.11659 (jan/2026) *lama 4 Behemoth:*288B-A288B (16 experts) — modelo "professor" ainda em treinamento; usado para codistilação do Scout e Maverick. *inks:*meta.llama.com · huggingface.co/meta-llama

---

Qwen (Alibaba)

*wen 3 — Paper:*arXiv:2505.09388. Inovação chave: *hinking budget*— aloca compute de raciocínio adaptativamente por prompt. *wen3-VL — Paper:*arXiv:2511.21631. Análise de vídeo de até 2 horas. *wen372B:*primeiro modelo open a superar GPT4o no MMLU-Pro. *inks:*qwenlm.github.io · huggingface.co/Qwen

---

DeepSeek

*rquitetura:*V2V3V3.2 = Multi-Head Latent Attention (MLA) + DeepSeekMoE. *4 substitui MLA por CSA + HCA*(atenção híbrida) mantendo o DeepSeekMoE — KV cache cai para ~2% do baseline BF16 GQA8 em 1M de contexto. *inks:*deepseek.com · huggingface.co/deepseek-ai

DeepSeek-V4 — Detalhes Técnicos (abr/2026)

*aper:*DeepSeekV4: Towards Highly Efficient MillionToken Context Intelligence (24042026) *DF:*huggingface.codeepseek-aiDeepSeekV4Problobmain/DeepSeek_V4.pdf

*ódigo liberado (MIT):*

• *nferência V4*(modelo + kernels específicos): huggingface.co/deepseek-ai/DeepSeek-V4-Pro/tree/main/inference — referência canônica citada no §2.3 do paper. (NÃO há repo github.com/deepseek-ai/DeepSeek-V4 — o código fica no HF.)
• *epos GitHub correlatos*(github.com/deepseek-ai/): TileKernels (kernel lib em TileLang, atualizado 23042026 junto do V4) · DeepGEMM (FP8 GEMM kernels, atualizado 24042026) · FlashMLA (kernels de Multihead Latent Attention — usados em V2/V3, mantidos para compat) · DeepEP (expertparallel comm).
• *rojeto irmão (nãoV4):*`deepseekaiEngram` — Conditional Memory via Scalable Lookup (jan2026, Apache 2.0). Trabalho separado da DeepSeek; *ão integrado ao V4*(paper do V4 não cita Engram). Vídeos de divulgação têm conflado Engram com a CSA+HCA do V4 — são coisas distintas.

*novações arquiteturais:*

• *ompressed Sparse Attention (CSA):*Comprime cada m KV entries em uma única entrada via pooling com softmaxgate e positional bias aprendido; depois aplica *eepSeek Sparse Attention (DSA)*com *ightning indexer*que seleciona topk blocos comprimidos por query. Resultado: 1M tokens com ~27% dos FLOPs e ~10% do KV cache do V3.2.
• *eavily Compressed Attention (HCA):*Compressão mais agressiva (m' >> m), *ense*(sem sparse selection); intercalada com camadas CSA na hybrid architecture. V4-Flash chega a 10% dos FLOPs e 7% do KV em 1M.
• *ightning indexer em FP4:*As queries QK do indexer rodam em *P4*(MXFP4) — index scores quantizados de FP32 para BF16 dão 2× speedup no top-k selector com 99.7% de recall.
• *tenção complementar:*Sliding-window branch (n_win KVs uncompressed mais recentes) + *ttention sink*com logits learnable + *artial RoPE*(só nos últimos 64 dims das queriesKVsoutputs).
• *anifoldConstrained HyperConnections (mHC):*Restringe a matriz residual ao manifold de matrizes doublystochastic (Birkhoff polytope) via *inkhornKnopp 20 iters* garante spectral norm ≤ 1 (mapeamento non-expansive), eliminando instabilidade numérica do HC convencional em stacks profundos.
• *uon Optimizer:*Substitui AdamW para a maioria dos módulos (AdamW persiste em embedding, prediction head, biases estáticos, gating do mHC, RMSNorm). Usa *ybrid NewtonSchulz* 8 iters com coefs (3.4445, −4.7750, 2.0315) para convergência rápida + 2 iters com (2, −1.5, 0.5) para estabilizar singular values em 1. Sem QKClip (RMSNorm em queries/KV é suficiente).
• *oE alterado vs V3:*activation function Sigmoid → *qrt(Softplus)* sequencewise balance loss + auxiliaryloss-free; *ash routing*nas primeiras camadas (substitui dense FFN inicial); removida a constraint de número de routing target nodes.
• *TP (Multi-Token Prediction):*Mantido idêntico ao V3.
• *aciocínio cross-tool:*Mantém histórico de raciocínio completo entre tool calls (V3.2 descartava).
• *rês modos de raciocínio:*Non-Think / Think High / Think Max (via token <think>).

*V cache híbrido — engenharia de inferência (§3.6):*

• *eterogeneous KV cache:*dois componentes — classical block cache (CSA Indexer KV + CSA Main KV + HCA KV, block size = lcm(m, m')) + state cache per-request (SWA KV + tail tokens uncompressed ainda não prontos para compressão).
• *ndisk KV cache*para sharedprefix reuse: elimina re-prefill repetido em prompts longos compartilhados.
• *ixed-precision storage:*RoPE dims em BF16, demais dims em FP8 → ~50% de economia vs BF16 puro. Esse esquema, somado a CSA+HCA, leva o KV cache em 1M para ~2% do baseline BF16 GQA8.

*reinamento (§3):*

• *P4 QuantizationAware Training (QAT):*MXFP4 aplicada a (1) MoE expert weights e (2) caminho QK do indexer em CSA. FP4toFP8 dequantization é lossless (E4M3 absorve as scales dos subblocks 1×32 dentro de blocks 128×128 FP8). Pesos FP4 reais usados em inferência e RL rollout.
• *eterminismo bitwise train↔inference:*separate accumulation buffers por SM no attention backward; tokenorder preprocessing + buffer isolation no MoE backward; split-k mHC com redução em kernel separado.
• *ybrid ZeRO para Muon*(Muon precisa do gradient matrix completo — ZeRO clássico assume optimizers elementwise): knapsack para parâmetros densos, flatten dos experts MoE para distribuição uniforme; gradients sincronizados em BF16 com stochastic rounding (–50% comm); reducescatter substituído por alltoall + sum FP32 local.
• *HC overhead*apenas 6.7% do wall-time do pipeline 1F1B — graças a fused kernels + recomputação seletiva + ajuste do DualPipe.
• *ileLang DSL*para desenvolvimento de kernels (substrato de todos os custom kernels).

*ós-treino em 2 fases:*

1. SFT + GRPO por domínio especializado
2. Consolidação via distilação on-policy

*enchmarks V4ProMax:*

*reços API (vs concorrentes):*

• V4Flash: $0.14/M tokens (vs GPT5-Nano: $0.20)
• V4-Pro: \(1.74/M tokens (vs Claude Sonnet 4.6: \)3.00)

---

Mistral

*istral Small 4 (16032026):*Combina reasoning (Magistral), visão (Pixtral) e coding agentic (Devstral) num único modelo. 128 experts com 6B ativos por token. *oxtral TTS (23032026):*Primeira aposta de áudio da Mistral; open-weights; suporte: EN, FR, DE, ES, NL, PT, IT, HI, AR. *eanstral:*Primeiro agente open-source para verificação formal em Lean 4; 6B ativos; vem com FLTEval (suite de avaliação). *inks:*mistral.ai · huggingface.co/mistralai

---

Gemma (Google)

*emma 4 (02042026):*Construída sobre a mesma tecnologia do Gemini 3. Primeira vez que a família Gemma usa Apache 2.0 em todos os tamanhos. Suporte a texto, imagens, áudio e código; 140+ idiomas.

*emma 4 31B — Benchmarks:*

*inks:*ai.google.devgemma · huggingface.cogoogle · deepmind.googlemodelsgemma

---

Phi (Microsoft)

*inks:*huggingface.comicrosoft · microsoft.comresearch

---

Kimi K2.6 (Moonshot AI)

*imi K2.6 (20042026):*384 experts (8 selecionados + 1 shared), 61 camadas, 64 attention heads, MLA, visão com MoonViT (400M params). Sistema Agent Swarm escala até 300 sub-agentes com 4.000 passos coordenados.

*enchmarks K2.6:*

*ara o Kode:*Interessante para agentic coding em contexto amplo; licença permite uso comercial.

---

Nemotron 3 (NVIDIA)

*emotron 3 Super (03042026) — Relatório técnico:*research.nvidia.comlabsnemotronfilesNVIDIANemotron3SuperTechnical-Report.pdf

*atentMoE:*Nova arquitetura MoE que projeta expert weights num espaço latente compartilhado, reduzindo parâmetros totais enquanto mantém capacidade. Melhor accuracy por parâmetro e por FLOP que MoEs regulares.

*VIDIA Nemotron Coalition:*Black Forest Labs, Cursor, LangChain, Mistral AI, Perplexity, Reflection AI, Sarvam, Thinking Machines Lab — construindo juntos o Nemotron 4.

---

OLMo (Allen AI)

*LMo 3 — Paper:*arXiv:2512.13961. Inclui checkpoints intermediários, todos os dados, dependências. *LMo Hybrid (05032026):*Combina attention layers (Transformer) com linear RNN layers. Atinge mesma accuracy do OLMo 3 com 49% menos tokens. Treinado em NVIDIA H100 → B200. Primeiro modelo SOTA treinado em B200s em produção.

---

Command A (Cohere)

*aper:*arXiv:2504.00698 (Cohere, abr/2026). Algoritmos de alinhamento próprios: SRPO (SelfRewarding Preference Optimization) e CoPG (Contrastive Preference Gradient). Multiphase polish pipeline para entrega enterprise.

---

Outros Relevantes

---

Modelos de Código Especializados

---

Modelos de Código Especializados

---

Recomendação para o Kode