La polyvalence des modèles de fondation les transforme en une nouvelle « infrastructure » numérique, au même titre que le cloud ou Internet. Au lieu de reconstruire un modèle d’IA spécifique à chaque projet, on peut se brancher directement sur des briques généralistes existantes. C’est un des secrets qui permet de développer des applications si sophistiquées et qui restent accessibles aux non-spécialistes.

Les systèmes d’apprentissage automatique ne se limitent plus à des outils conçus pour une seule tâche, comme la traduction ou la recommandation de produits. Une transformation majeure tient à l’émergence des foundation models, ou modèles de fondation : de très grands modèles entraînés sur des volumes massifs de données pour acquérir des connaissances générales, réutilisables dans de nombreux contextes.

Dans les organisations, ils agissent comme un accélérateur potentiel de transformation, mais leurs effets sur le terrain obligent, pour l’instant, à nuancer les promesses spectaculaires. Comment fonctionnent-ils ? Comment sont-ils régulés et quels sont les obstacles à une adoption qui porte ses fruits ?

Comment fonctionnent les modèles de fondation ?

Les modèles de fondation reposent sur un principe simple : apprendre des structures générales à partir de très grandes quantités de données hétérogènes – textes, images, codes, sons, vidéos, bases de données ouvertes et contenus sous licence, ou une combinaison de ces types de données.

L’objectif de l’entraînement initial est de permettre au modèle d’identifier des régularités statistiques dans les données et de construire des représentations générales du langage, des images ou d’autres formes d’information. Sur le plan technique, ces systèmes utilisent le plus souvent des architectures de réseaux de neurones profonds. Durant la phase d’entraînement, le modèle apprend à prédire une partie manquante de l’information, par exemple le mot suivant dans une phrase ou une portion d’image, en ajustant progressivement des milliards de paramètres. Ce processus d’apprentissage, appelé pré-entraînement, nécessite des ressources de calcul considérables et constitue la base du caractère « généraliste » de ces modèles.

Read more: Aux sources de l’IA : le prix Nobel de physique attribué aux pionniers des réseaux de neurones artificiels et de l’apprentissage........

© The Conversation