Meta a dévoilé hier les deux premiers modèles de sa nouvelle famille Llama 3 : les Llama 3 7B et Llama 3 70B. Ces modèles, désormais disponibles en open source, ont été intégrés dans l’assistant Meta AI de la société, offrant des performances améliorées par rapport aux modèles précédents.
Les Llama 3 présentent des avancées significatives en termes de réduction des faux refus, d’alignement perfectionné, de diversité des réponses, de raisonnement et de génération de code. Meta a comparé leurs performances avec des benchmarks de référence tels que Gemma de Google et Mistral 7 B de Mistral AI.
Avec un ensemble de données de pré-entrainement totalisant plus de 15 téraoctets de données publiques, les Llama 3 intègrent également plus de code et prennent en charge plus de 30 langues. Des améliorations au niveau de l’architecture, notamment un tokenizer plus efficace et l’application de l’approche GQA, ont été mises en place pour optimiser le processus d’inférence des modèles.
Ces deux modèles seront bientôt disponibles sur plusieurs plateformes telles que AWS, Google Cloud et Microsoft Azure. Meta annonce également le développement de modèles multimodaux multicanaux à venir, avec une fenêtre contextuelle plus longue et des capacités globales plus robustes, notamment le très attendu Llama 3 400B.
Les utilisateurs intéressés peuvent télécharger les poids des Llama 3 et le générateur de jetons sur GitHub pour explorer davantage les avancées en matière d’intelligence artificielle proposées par Meta.