Googles forskare testar nu Nested Learning, ett nytt sätt att träna AI som ska lösa ett av språkmodellernas största problem: de glömmer allt så fort texten blir för lång. Idén är att låta modellen lära sig i flera lager som uppdateras olika snabbt. Det ger både korttidsminne och långsamt byggd kunskap som ska stanna kvar.
För att bevisa att det funkar skapade Google modellen Hope. I tester klarade den långa texter, svåra resonemangsuppgifter och språkmodellering bättre än klassiska modeller. Den lyckades till och med hitta gömd information i stora textmassor, något många modeller brukar missa.
Om forskningen håller kan framtidens AI lära sig utan att du behöver upprepa det du lärde den för en månad sedan.