Llama 3.1 : Meta frappe un grand coup

Le nouveau modèle open source de Meta est présenté comme le plus puissant modèle d’IA de ce type à ce jour.

Meta a dévoilé fin juillet Llama 3.1, le modèle d'intelligence artificielle open source le plus grand et le plus performant à ce jour. Ce lancement marque une étape importante dans le paysage de l'IA, en raison non seulement de la taille et des capacités du modèle, mais aussi de son potentiel d'impact sur l'industrie et au-delà.

Un modèle d'IA open source signifie que son code source est mis à disposition du public, permettant à quiconque de l'examiner, de le modifier et de le distribuer. Cette transparence favorise l'innovation et la collaboration au sein de la communauté scientifique et technologique. Contrairement aux modèles propriétaires, qui sont gardés sous clé par des entreprises, les modèles open source peuvent être utilisés librement, ce qui accélère souvent leur développement et leur amélioration.

Llama 3.1, avec ses 405 milliards de paramètres, est de loin le modèle open source le plus avancé jamais publié. Un paramètre, dans le contexte des modèles de langage, est une variable que l'algorithme utilise pour générer des réponses aux requêtes des utilisateurs. Plus un modèle a de paramètres, plus il est capable de traiter des tâches complexes avec précision.

Ce nouveau modèle surpasse non seulement ses prédécesseurs chez Meta, mais également des concurrents de renom comme GPT-4o d'OpenAI et Claude 3.5 Sonnet d'Anthropic sur plusieurs benchmarks (un benchmark sert à comparer différents modèles de langage d'IA sur divers critères). Par exemple, sur l'évaluation MATH, qui teste les compétences en résolution de problèmes mathématiques, Llama 3.1 a obtenu un score de 73,8, comparé aux 76,6 de GPT-4o et aux 71,1 de Claude 3.5 Sonnet.

Le développement de Llama 3.1 a nécessité plus de 16 000 GPU Nvidia H100, des composants extrêmement coûteux et puissants, suggérant que Meta a investi des centaines de millions de dollars dans ce projet. Cet investissement massif reflète la confiance de Meta dans le potentiel des modèles open source à dominer l'avenir de l'IA, similaire à la façon dont Linux est devenu l'OS open source prépondérant pour les serveurs et les gadgets. Llama 3.1 se distingue par sa capacité à converser en huit langues différentes et à résoudre des problèmes de mathématiques complexes. Il est aussi capable de générer du code informatique de haute qualité et de gérer des requêtes étendues grâce à une fenêtre contextuelle plus large, améliorant ainsi les expériences des utilisateurs, notamment les développeurs de logiciels.

Un aspect innovant de Llama 3.1 est l'utilisation de données synthétiques pour améliorer les performances. Les données synthétiques, générées par d'autres modèles d'IA, permettent d'étendre et de diversifier les ensembles de données d'entraînement sans recourir uniquement à des sources humaines, ce qui pourrait potentiellement réduire les biais du modèle.

Pour la première fois, Meta a soumis Llama 3.1 à des tests de sécurité rigoureux, incluant des scénarios potentiels de cybersécurité et d'applications biochimiques, afin de prévenir les usages malveillants. En termes de déploiement, Meta collabore avec des géants de la technologie comme Microsoft, Amazon, Google, Nvidia et Databricks pour faciliter l'intégration de Llama 3.1 dans diverses applications commerciales et industrielles.

En plus de ses capacités actuelles, Meta travaille sur des versions multimodales de Llama 3.1 qui pourront intégrer des compétences en reconnaissance d'images, de vidéos et de paroles. Ces modèles multimodaux, prévus pour plus tard cette année, pourraient rivaliser avec les solutions de Google et d'Anthropic, élargissant encore davantage le champ des possibles pour les applications d'IA.

En publiant Llama 3.1 sous une licence permissive, Meta espère stimuler une adoption large et rapide, consolidant ainsi sa position sur le marché de l'IA. Selon Mark Zuckerberg, CEO de Meta, cette stratégie rappelle celle de l'Open Compute Project, qui a permis à Meta de standardiser et d'optimiser ses centres de données avec l'aide de la communauté. Llama 3.1 pourrait bien représenter un point d'inflexion dans l'industrie de l'IA, où l'open source pourrait devenir la norme. En facilitant l'accès à des outils de pointe, Meta vise non seulement à démocratiser l'IA, mais aussi à intégrer les améliorations provenant de la communauté open source dans ses futurs développements. Malgré les défis, notamment en matière de consommation d'énergie et de gestion des ressources, Meta continue d'investir lourdement dans la recherche et le développement de ses modèles d'IA.