Le 23 juillet 2024, Meta a publié Llama 3.1 405B—le modèle IA open-source le plus grand et le plus capable jamais créé.

405 milliards de paramètres. Performance égalant GPT-4. Poids complètement ouverts, gratuits pour usage commercial (avec conditions).

L'open source avait enfin rattrapé les modèles fermés sur toutes les dimensions.

L'Échelle

405B paramètres : Échelle massive Contexte 128K : Traitement long-format Multilingue : Performance forte en non-anglais Vraiment ouvert : Poids complets, pas juste API

Plus petites versions 70B et 8B pour différents besoins.

La Performance

Llama 3.1 405B égalait :

• GPT-4 sur MMLU : Connaissance générale
• Claude 3 Opus sur codage : Tâches de programmation
• Gemini 1.5 Pro sur maths : Raisonnement quantitatif

Pour la première fois, un modèle ouvert concurrençait véritablement avec les meilleurs modèles fermés.

L'Entraînement

Meta a entraîné sur 15.6 trillions de tokens utilisant 16 000 GPUs H100 pendant des mois. Le coût de calcul était stupéfiant, mais Meta l'a rendu gratuit pour tout le monde.

Pourquoi Meta a Fait Ça

Neutralité cloud : Meta ne vend pas de services cloud, donc l'open-sourcing ne les blesse pas Développement écosystème : Un écosystème Llama florissant bénéficie à Meta Positionnement réglementaire : « Regardez comme nous sommes ouverts » Recrutement : Les meilleurs talents IA veulent travailler sur des modèles ouverts

Open source stratégique.

Où en Sont-Ils Maintenant ?

Llama 3.1 405B alimente d'innombrables applications et est devenu la fondation de la stack IA open-source. Les dérivés et fine-tunes se comptent par milliers.

Le 23 juillet 2024 était quand l'open source a définitivement prouvé qu'il pouvait égaler les modèles fermés—terminant le débat sur si l'ouverture signifiait compromettre la capacité.