Les réseaux neuronaux électroniques, l’un des concepts clés de la recherche en intelligence artificielle, s’inspirent des neurones biologiques depuis leur création, comme en témoigne leur nom. De nouvelles recherches viennent de révéler que l’architecture influente des transformateurs d’intelligence artificielle présente également des parallèles inattendus avec la neurobiologie humaine.
Dans une étude collaborative, les scientifiques proposent que les réseaux biologiques astrocytes-neurones puissent imiter les calculs de base des transformateurs. Ou vice versa. Les résultats de cette étude, menée conjointement par le MIT, le MIT-IBM Watson AI Lab et la Harvard Medical School, ont été publiés cette semaine dans la revue Proceedings of the National Academy of Sciences (actes de l’Académie nationale des sciences).
Les réseaux astrocytes-neurones sont des réseaux de cellules dans le cerveau qui se composent de deux types de cellules : les astrocytes et les neurones. Les astrocytes sont des cellules qui soutiennent et régulent les neurones, cellules cérébrales qui envoient et reçoivent des impulsions électriques. Leur activité consiste essentiellement à penser. Les astrocytes et les neurones communiquent entre eux par le biais de substances chimiques, de l’électricité et du toucher.
D’autre part, les transformateurs d’IA – introduits pour la première fois en 2017 – sont l’une des technologies de base des systèmes génératifs tels que ChatGPT. –En fait, c’est de là que vient le « T » de GPT. Contrairement aux réseaux neuronaux qui traitent les entrées de manière séquentielle, les transformateurs peuvent accéder directement à toutes les entrées par le biais d’un mécanisme appelé auto-attention. Cela leur permet d’apprendre des dépendances complexes dans des données telles que du texte.
Les chercheurs se sont concentrés sur les synapses tripartites, qui sont des jonctions où les astrocytes forment des connexions entre un neurone qui envoie des signaux (neurone présynaptique) et un neurone qui reçoit des signaux (neurone postsynaptique).
À l’aide d’une modélisation mathématique, ils ont démontré comment l’intégration des signaux par les astrocytes dans le temps pouvait fournir la mémoire spatiale et temporelle nécessaire à l’auto-attention. Leurs modèles montrent également qu’un transformateur biologique pourrait être construit en utilisant la signalisation calcique entre les astrocytes et les neurones. Cette étude explique comment construire un transformateur biologique.
« Les astrocytes, qui sont restés électriquement silencieux pendant plus d’un siècle d’enregistrements cérébraux, sont l’une des cellules les plus abondantes, mais les moins explorées du cerveau », a déclaré au MIT Konstantinos Michmizos, professeur agrégé d’informatique à l’université Rutgers. « Le potentiel de libération de la puissance de calcul de l’autre moitié de notre cerveau est énorme. «
Un aperçu de haut niveau du réseau neurone-astrocyte proposé.
L’hypothèse s’appuie sur des preuves émergentes selon lesquelles les astrocytes jouent un rôle actif dans le traitement de l’information, contrairement aux fonctions d’entretien qu’on leur attribuait jusqu’à présent. Elle décrit également une base biologique pour les transformateurs, qui peuvent surpasser les réseaux neuronaux traditionnels en facilitant des tâches telles que la génération d’un texte cohérent.
Les transformateurs biologiques proposés pourraient fournir de nouvelles informations sur la cognition humaine s’ils étaient validés expérimentalement. Toutefois, des écarts importants subsistent entre les humains et les modèles de transformateurs gourmands en données. Alors que les transformateurs nécessitent d’énormes ensembles de données d’entraînement, les cerveaux humains transforment l’expérience en langage de manière organique avec un budget énergétique modeste.
Bien que les liens entre les neurosciences et l’intelligence artificielle offrent des perspectives, la compréhension de la complexité même de notre esprit reste un immense défi. Les connexions biologiques ne représentent qu’une pièce du puzzle. Déverrouiller les complexités de l’intelligence humaine nécessite un effort soutenu de la part de toutes les disciplines. La manière dont la biologie neuronale accomplit cette quasi magie reste le plus grand mystère de la science.
