Elektronische neurale netwerken, een van de belangrijkste concepten in het onderzoek naar kunstmatige intelligentie, hebben sinds hun ontstaan inspiratie geput uit biologische neuronen, zoals blijkt uit hun naam. Nieuw onderzoek heeft nu onthuld dat de invloedrijke architectuur van AI-transformatoren ook onverwachte parallellen heeft met de menselijke neurobiologie.
In een gezamenlijke studie stellen wetenschappers voor dat biologische astrocyten-neuronennetwerken de kernberekeningen van transformatoren zouden kunnen nabootsen. Of andersom. De bevindingen – gezamenlijk gerapporteerd door MIT, het MIT-IBM Watson AI Lab en Harvard Medical School – zijn deze week gepubliceerd in het tijdschrift Proceedings of the National Academy of Sciences.
Astrocyten-neuronetwerken zijn netwerken van cellen in de hersenen die bestaan uit twee soorten cellen: astrocyten en neuronen. Astrocyten zijn cellen die neuronen, hersencellen die elektrische impulsen verzenden en ontvangen, ondersteunen en reguleren. Hun activiteit is in feite denken. Astrocyten en neuronen praten met elkaar door middel van chemicaliën, elektriciteit en aanraking.
Aan de andere kant zijn AI-transformatoren – voor het eerst geïntroduceerd in 2017 – een van de basistechnologieën achter generatieve systemen zoals ChatGPT. –In feite is dat waar de “T” in GPT voor staat. In tegenstelling tot neurale netwerken die inputs sequentieel verwerken, hebben transformers direct toegang tot alle inputs via een mechanisme dat zelfaandacht heet. Hierdoor kunnen ze complexe afhankelijkheden in gegevens zoals tekst leren.
De onderzoekers richtten zich op tripartiete synapsen, dat zijn knooppunten waar astrocyten verbindingen vormen tussen een neuron dat signalen uitzendt (presynaptisch neuron) en een neuron dat signalen ontvangt (postsynaptisch neuron).
Met behulp van wiskundige modellen toonden ze aan hoe de integratie van signalen door astrocyten in de tijd kan zorgen voor het vereiste ruimtelijke en temporele geheugen voor zelfaandacht. Hun modellen laten ook zien dat een biologische transformator kan worden gebouwd met behulp van calciumsignalering tussen astrocyten en neuronen. TL;DR, dit onderzoek legt uit hoe je een biologische transformator kunt bouwen.
“astrocyten zijn een van de meest overvloedige, maar minder onderzochte cellen in de hersenen,” vertelde Konstantinos Michmizos, universitair hoofddocent computerwetenschappen aan Rutgers University, aan MIT. “Het potentieel van het ontketenen van de rekenkracht van de andere helft van onze hersenen is enorm.”
Een overzicht op hoog niveau van het voorgestelde neuron-astrocytennetwerk.
De hypothese maakt gebruik van opkomend bewijs dat astrocyten een actieve rol spelen in informatieverwerking, in tegenstelling tot hun eerder veronderstelde huishoudelijke functies. Het schetst ook een biologische basis voor transformatoren, die traditionele neurale netwerken kunnen overtreffen in het faciliteren van taken zoals het genereren van coherente tekst.
De voorgestelde biologische transformatoren kunnen nieuwe inzichten verschaffen in menselijke cognitie als ze experimenteel gevalideerd worden. Er blijft echter een grote kloof bestaan tussen mensen en gegevensverslindende transformatormodellen. Terwijl transformatoren enorme trainingsdatasets nodig hebben, transformeren menselijke hersenen ervaringen organisch in taal met een bescheiden energiebudget.
Hoewel verbanden tussen neurowetenschappen en kunstmatige intelligentie inzicht bieden, blijft het begrijpen van de enorme complexiteit van ons brein een immense uitdaging. Biologische verbindingen vormen slechts één stukje van de puzzel – om de fijne kneepjes van de menselijke intelligentie te ontrafelen is een voortdurende inspanning van verschillende disciplines nodig. Hoe neurale biologie bijna magie bereikt, blijft het diepste mysterie van de wetenschap.
