Ces explications, ainsi que les différentes figures qui les accompagnent, nous sont apportées par Erik Ngai Ham Chan. N'hésitez pas à utiliser l'espace des réponses pour réagir, poser vos questions ou dire si cela vous a aidé à mieux comprendre l'IA en général. Temps de lecture estimé : environ 30 minutes. Bonne lecture !

Définitions et exemples d'utilisation

Qu'est-ce que « l'IA » ? Le terme « IA » a été mal utilisé et abusé tant par les médias que par le grand public. Commençons par remettre les pendules à l'heure. Au sens le plus strict, l'intelligence artificielle désigne certaines tâches effectuées par des machines fabriquées par l'homme, qui reposent sur une certaine logique. Voici quelques exemples ou catégories larges dans le contexte des programmes informatiques :

Instructions conditionnelles (if-else)

Un ensemble d'instructions logiques à un ordinateur, conçu par des humains, pour effectuer des tâches basées sur certaines conditions. Par exemple, un programme informatique simple peut être : si le volume de la musique dépasse 70 dB, baisser le volume ; si le volume de la musique est inférieur à 20 dB, augmenter le volume ; sinon, ne pas ajuster le volume.

Apprentissage automatique

C'est ce que la plupart des gens appellent l'IA de nos jours, même si c'est une sous-catégorie de l'IA. De manière très générale, cela signifie des programmes informatiques conçus pour apprendre des motifs dans des données. Par exemple, disons que nous avons un large ensemble de données contenant le pays d'origine, l'âge, la taille et le poids des personnes. Nous écrivons un modèle informatique (équations numériques, arbres de décision, ou autre) pour analyser les données, de sorte que lorsque nous entrons le pays et l'âge d'une personne, nous pouvons obtenir une prédiction de la taille et du poids de la personne. C'est cela l'apprentissage automatique ; nous programmons un ordinateur pour qu'il apprenne des motifs dans certaines données.

Grandes catégories de l'apprentissage automatique

Aujourd'hui, l'apprentissage automatique prend de nombreuses formes et présente diverses complexités. Ce qui n'était autrefois pas considéré comme de l'apprentissage automatique est l'ajustement de courbe (curve fitting). La régression linéaire appartient à cette catégorie. Par exemple, étant donné un ensemble de données de mesure (taille, poids) de tout le monde, quelle est la ligne qui correspond le mieux ?

Figure 1 : Quelques données générées aléatoirement et la courbe de meilleur ajustement

Avec cette ligne (qui est en réalité une équation), si nous connaissons la taille d'une personne, nous pouvons estimer son poids avec un certain niveau de confiance.

Cependant, la plupart du temps, le terme « apprentissage automatique » se réfère aux groupements suivants :

Apprentissage automatique « Classique »

Je vais donner des exemples au lieu d'être exhaustif. Un type communément utilisé d'apprentissage automatique classique est l'arbre de décision (decision tree), qui donne naissance aux forêts d'arbres décisionnels (random forests).

Figure 2 : En haut : Un arbre de décision ; en bas : Une forêt d'arbres décisionnels composée de nombreux arbres de décision, avec le résultat final décidé par la majorité.

Un exemple d'utilisation de ce type d'apprentissage automatique est : « Cet email est-il un spam ? ». On peut programmer un ordinateur pour utiliser une grande base de données d'emails étiquetés comme authentiques ou spam (peut-être par des utilisateurs qui les étiquettent, ou des travailleurs chargés de cette tâche fastidieuse). Le programme informatique peut instruire l'ordinateur d'utiliser un grand nombre de structures d'arbres de décision (c'est-à-dire, le modèle de forêt aléatoire) pour son analyse. Les branches des arbres dans la forêt peuvent apprendre à demander « cet expéditeur est-il connu ? », « le texte contient-il des mots suspects ? », « quelle est la longueur de l'email ? », « quelle plage d'adresses IP ? », etc.

Apprentissage profond (un sous-ensemble de l'apprentissage automatique)

Bien qu'ils soient déjà très puissants, les modèles d'apprentissage automatique tels que les arbres de décision suivent des processus simples. Pour le dire très simplement, le modèle apprend en essayant de diviser les données le long des frontières les plus distinctives (c'est-à-dire les « décisions ») jusqu'à atteindre les catégories prédictives ou les précisions souhaitées.

Il existe cependant un type de modèles d'apprentissage automatique beaucoup plus compliqués qui impliquent de nombreux paramètres « apprenables » empilés dans des structures très complexes. Ces modèles appartiennent à une sous-catégorie appelée « apprentissage profond » (deep learning).

L'exemple le plus courant est le réseau de neurones artificiel (RNA). La plupart des outils d'IA populaires utilisés pour la reconnaissance faciale, les voitures autonomes ou les modèles « effrayants » tels que ceux générant des « deep-fakes » et des chatbots comme ChatGPT sont tous basés sur une forme de RNA.

Complexité mise à part, les modèles d'apprentissage profond, tout comme les modèles d'apprentissage automatique « classiques », ou même les méthodes simples d'ajustement de courbe, sont tous des modèles au même sens : chaque modèle est une construction mathématique de calcul qui est ajustée à certaines données, afin que cette construction (c'est-à-dire le modèle) puisse être utilisée pour faire des prédictions raisonnablement précises dans le domaine et la portée assez proches des données d'entraînement originales. (La partie concernant le domaine et la portée est importante. Pour donner un exemple extrême, il n'est pas judicieux d'utiliser le modèle formé sur la taille et le poids humains pour prédire la masse et la luminosité des étoiles.)

Comment tout cela fonctionne-t-il ?

Malgré la complexité des modèles d'apprentissage profond les plus compliqués, le concept de base est similaire à celui de l'ajustement de courbe. Je vais tenter de développer cela ici, en utilisant un simple exercice d'ajustement de courbe comme base.

Dans l'ajustement de courbe en deux dimensions, vous avez un ensemble de $M$ points de données $(x_i, y_i)$ ($i$ étant l'étiquette du point $1$ à $M$), et vous voulez que le modèle « apprenne » à prendre $x$ et à vous donner $y$. L'espoir est que, une fois appris, le modèle puisse vous donner une bonne prédiction de $y$ lorsque vous lui donnez un nouveau $x$ non vu à l'avenir.

Commençons simplement. Supposons que mes données d'entraînement ont trois points. Supposons également que j'ai décidé de rendre la vie facile en donnant à mon modèle un seul degré de liberté. Dans ce cas, le degré de liberté est la pente d'une ligne qui passe par l'origine $(x = 0, y = 0)$. C'est la seule valeur qui peut changer dans notre recherche d'une ligne de meilleur ajustement à travers les trois points de données d'entraînement.

Pour commencer le processus d'apprentissage, nous avons besoin d'une estimation initiale. Typiquement, il s'agit d'une valeur proche de zéro. Choisissons 0,01.

Figure 3 : Les trois points de données d'entraînement, et la ligne de notre première estimation, avec une pente de 0,01 (c'est-à-dire, presque une ligne plate).

Cela correspond très mal. Faisons une autre supposition. Peut-être 0,1 ?

Figure 4 : Les trois points de données d'entraînement, et les deux estimations jusqu'à présent.

Légèrement mieux. Maintenant que nous avons deux estimations, nous pouvons être un peu plus astucieux. Si nous calculons la distance combinée absolue entre les points et notre première ligne

$\epsilon_{0}=|\epsilon_{0,0}|+|\epsilon_{0,1}|+|\epsilon_{0,2}|$, et faisons de même pour notre seconde ligne

$\epsilon_{1}=|\epsilon_{1,0}|+|\epsilon_{1,1}|+|\epsilon_{1,2}|$, nous verrons que $\epsilon_{1} < \epsilon_{0}$, ou que l'« erreur » ou le « coût » (parfois « loss » en anglais) diminue. Cela nous indique que notre prochaine estimation devrait avoir une pente encore plus élevée. Si nous finissons par dépasser le but, nous verrions le coût augmenter. À ce stade, nous ferions la prochaine estimation dans la direction opposée. Finalement, avec des ajustements de plus en plus petits, nous arriverions à une ligne de meilleur ajustement.

Figure 5 : Les trois points de données d'entraînement, les deux premières estimations, et la ligne de meilleur ajustement (1 degré de liberté).

Mais ce n'est toujours pas très bon, n'est-ce pas ? Nous pouvons faire mieux en permettant à la ligne de ne pas toujours passer par l'origine $(0, 0)$. Ce type de ligne a une équation de la forme

$y = a \times x + b$. Maintenant, nous avons deux degrés de liberté, $a$ et $b$. Le processus se déroule de manière similaire, nous faisons une première estimation $a_{0}$ et $b_{0}$ et une deuxième estimation $a_{1}$ et $b_{1}$. Ensuite, nous vérifions si le coût a augmenté ou diminué, et nous faisons la prochaine estimation pour $a$ et $b$ en conséquence. Finalement, après $N$ estimations, nous arriverons à une ligne de meilleur ajustement.

Figure 6 : Les trois points de données d'entraînement, deux estimations initiales et la ligne de meilleur ajustement (2 degrés de liberté).

Remarque : Pour les personnes qui connaissent les mathématiques, je sais qu'il existe des moyens beaucoup plus efficaces de le faire (en une seule étape même), mais j'essaie de progresser vers la manière dont les réseaux neuronaux sont entraînés.

Maintenant, imaginons que notre problème ne soit pas seulement bidimensionnel. De plus, imaginons que notre problème soit influencé par non pas un ou deux paramètres, mais bien plus. Nous pourrions nous retrouver dans un espace tridimensionnel avec des forces physiques qui interagissent (en s'additionnant, se multipliant ou interférant les unes avec les autres), créant ainsi de la non-linéarité. Dans ce cas, le nombre de paramètres nécessaires peut augmenter très rapidement (comme exemple, voir ce modèle simplifié qui décrit la déformation viscoélastique des solides).

Dans de nombreux problèmes du monde réel, nous avons affaire à un nombre bien plus élevé de dimensions, et à un nombre encore plus grand de paramètres liés à chaque dimension. Ici, les dimensions sont mathématiques plutôt que purement temporelles-spatiales, ce qui signifie que chaque aspect indépendant du système que nous essayons de simuler est traité comme sa propre dimension mathématique. De la même manière que nous sommes passés d'un à deux degrés de liberté ci-dessus (même si nous sommes restés avec deux dimensions spatiales), ces problèmes du monde réel exigent des modèles avec des milliers et des milliers de paramètres. En fait, un modèle très ancien de reconnaissance d'image, AlexNet, datant de 2012 contient plus de 62 millions de paramètres. Comment enchaînons-nous autant de paramètres avec $+$, $-$, $\times$ et $\div$ ? Parlons maintenant des réseaux de neurones artificiels.

Réseaux de neurones

Tout comme les neurones biologiques envoient des signaux les uns aux autres via des synapses, les réseaux de neurones artificiels relient les paramètres individuels à travers des opérations mathématiques. (Il existe également des circuits neuronaux physiques, similaires à celui mentionné par @Richard_Trigaux dans un commentaire à une réponse de @Rachel_Runner à cette question). En utilisant ce cadre de pensée, l'équation $a \times x + b$ peut être envisagée comme deux neurones qui prennent $x$ comme entrée, se lient par une multiplication $\times$ au neurone $a$, puis par une addition $+$ au neurone $b$, et produisent finalement la valeur de sortie $y$. Dans ce cas, il y a deux neurones qui peuvent être entraînés (c'est-à-dire ajustés).

Figure 7 : Un réseau de neurones à deux paramètres.

Des réseaux de neurones comptant des millions, des milliards, voire des billions de paramètres peuvent être construits selon ce principe. (On estime que ChatGPT 4 possède environ 1,8 billion de paramètres.) Des opérations mathématiques complexes telles que la convolution et les opérations non linéaires pourraient être décomposées ou construites à partir de ces opérations simples (voir les fonctions d'activation pour comprendre comment la non-linéarité est intégrée dans les réseaux de neurones à travers une simple conversion « si x alors y »).

Figure 8 : Quelques couches de neurones avec quelques paramètres.

Même s'il faut de nombreux programmeurs très compétents pour écrire des programmes informatiques capables de réaliser des calculs avec un si grand nombre d'opérations mathématiques et de trouver les valeurs de meilleur ajustement à travers des millions et des millions de données compliquées, le principe et le concept sous-jacents restent les mêmes que dans le cas très simpliste que nous avons examiné ci-dessus. Il n'y a rien de mystique à propos des modèles d'apprentissage profond tels que ChatGPT ou Midjourney. Compliqué, oui. Mystique, non.

Une brève note sur l'explicabilité

Les préoccupations des experts concernant l'IA ne portent pas sur le fait de ne pas comprendre pourquoi cela fonctionne, mais sur la capacité à identifier ce qui conduit à des résultats spécifiques. Dans un modèle de régression simple, comme l'ajustement d'une équation $y = a \times x + b$, il est facile de découvrir comment un certain $x$ produit un certain $y$ en examinant directement l'équation. Des modèles comme les arbres de décision ou les forêts aléatoires peuvent généralement encore être examinés de manière claire. Par exemple, pour savoir comment une forêt aléatoire arrive à sa prédiction de sortie, on pourrait examiner la fréquence d'utilisation d'une variable (ou « caractéristique ») dans les arbres de décision, et à quelle étape elle intervient.

Dans un réseau de neurones comptant de millions à des billions de paramètres, cependant, cela devient un peu difficile. Néanmoins, il existe encore des méthodes, telles que bloquer des parties du réseau de neurones et examiner l'impact sur le résultat, ou prendre un échantillon de sortie d'une couche neurale intermédiaire pour vérifier des tendances particulières. Comment augmenter la clarté et l'explicabilité de l'IA est un domaine de recherche active (par exemple, voir cet article pour un aperçu des derniers articles de recherche en date de juin 2023 ; ou rechercher « IA explicable » sur Google Scholar)