Τα μοντέλα μεγάλων γλωσσών όπως το ChatGPT έχουν ένα θεμελιώδες πρόβλημα: είναι στατικά. Εκπαιδεύονται σε ένα βουνό δεδομένων και μετά παγώνουν στο χρόνο, όπως ένα εγχειρίδιο που τυπώθηκε το 2023 και δεν γνωρίζει τίποτα για το 2024. Τώρα, οι ερευνητές στο Το απίθανο εργαστήριο AI του MIT έχω ανοιχτού κώδικα ένα νέο πλαίσιο που θα μπορούσε να το αλλάξει αυτό. Το έγγραφό τους, που παρουσιάστηκε στην πρόσφατη Συνέδριο NeurIPS 2025αποκαλύπτει ένα σύστημα που ονομάζεται Μοντέλα Αυτοπροσαρμογής Γλωσσών (SEAL).
Η βασική ιδέα είναι απλή, αλλά οι επιπτώσεις είναι τεράστιες: το AI μαθαίνει να το κάνει διδάξει τον εαυτό του. Αντί απλώς να διατηρεί παθητικά πληροφορίες, το SEAL επιτρέπει σε ένα μοντέλο να δημιουργεί τα δικά του δεδομένα εκπαίδευσης υψηλής ποιότητας και στη συνέχεια να χρησιμοποιεί αυτά τα δεδομένα για να ενημερώνει μόνιμα τα δικά του βάρη. Αυτό έχει σημασία γιατί είναι το πρώτο πραγματικό βήμα μακριά από τα στατικά bots «τα γνωρίζω όλα» και προς τα μοντέλα τεχνητής νοημοσύνης που μπορούν πραγματικά να εξελιχθούν, να προσαρμοστούν και να ενσωματώσουν νέες πληροφορίες με την πάροδο του χρόνου.
Γιατί τα μοντέλα AI είναι κακοί μαθητές
Αυτή τη στιγμή, εάν θέλετε ένα LLM να μάθει ένα νέο γεγονός, έχετε δύο κακές επιλογές. Μπορείτε να «γεμίσετε» τις πληροφορίες στο παράθυρο του περιβάλλοντος (το προτροπή), αλλά θα ξεχάσει αυτό το γεγονός τη στιγμή που θα γίνει επαναφορά της συνομιλίας. Ή, μπορείτε να εκτελέσετε μια τεράστια, δαπανηρή επανεκπαίδευση, η οποία είναι σαν να επανεκτυπώνετε μια ολόκληρη εγκυκλοπαίδεια μόνο για να προσθέσετε μια νέα καταχώρηση. Καμία από αυτές τις μεθόδους δεν είναι αληθινή μάθηση.
Η ομάδα του MIT, συμπεριλαμβανομένων των Adam Zweiger, Jyothish Pari και Pulkit Agrawal, εξέτασε πώς μαθαίνουν οι άνθρωποι. Όταν ένας μαθητής προετοιμάζεται για μια εξέταση, δεν ξαναδιαβάζει απλώς το σχολικό βιβλίο 50 φορές. Καλός μαθητής ξαναγράφει τις πληροφορίες, τη δημιουργία καρτών flash, τη σύνοψη κεφαλαίων και τη δημιουργία των δικών τους σημειώσεων. Αυτή η διαδικασία αναδιαμόρφωσης και αφομοίωσης πληροφοριών είναι αυτό που τις εδραιώνει στον εγκέφαλό τους.
Το SEAL έχει σχεδιαστεί για να είναι αυτός ο καλός μαθητής. Μαθαίνει να παίρνει το «ακατέργαστο εγχειρίδιο» των νέων πληροφοριών και να δημιουργεί τις δικές του «σημειώσεις μελέτης» — όπως αποκαλεί η εφημερίδα “αυτοεπεξεργασίες”— σε οποιαδήποτε μορφή είναι πιο αποτελεσματική για τη δική της μάθηση.
Λοιπόν, πώς μαθαίνει να «μελετάει»;
Μαθαίνει μέσω δοκιμής και λάθους, χρησιμοποιώντας μια διαδικασία που ονομάζεται ενισχυτική μάθηση. Σκεφτείτε το ως μια τεχνητή νοημοσύνη που πραγματοποιεί τις δικές της συνεδρίες μελέτης.
- Πάρτε το μάθημα: Στο AI δίνεται μια νέα πληροφορία (όπως ένα απόσπασμα κειμένου).
- Γράψε τις σημειώσεις: Δημιουργεί μια “αυτοεπεξεργασία” – τις δικές του συνθετικές σημειώσεις σχετικά με αυτές τις πληροφορίες. Αυτό θα μπορούσε να είναι μια λίστα βασικών επιπτώσεων, ένα σύνολο ζευγών ερωτήσεων και απαντήσεων ή απλώς μια απλή περίληψη.
- Κάντε το κουίζ: Το AI είναι εν συντομία βελτιστοποιημένο σε αυτό δικές του σημειώσεις και στη συνέχεια δόθηκε αμέσως ένα ποπ κουίζ σχετικά με τις νέες πληροφορίες.
- Πάρτε τον βαθμό: Εάν περάσει το κουίζ, λαμβάνει μια “ανταμοιβή”. Αυτή η θετική ανατροφοδότηση διδάσκει στο μοντέλο ότι οι σημειώσεις “αυτοεπεξεργασίας” που μόλις έγραψε ήταν υψηλής ποιότητας και αποτελεσματικές.
- Μελετήστε πιο έξυπνα: Αν αποτύχει, μαθαίνει ότι οι νότες του ήταν κακές και δοκιμάζει διαφορετική μορφή την επόμενη φορά. Πάνω από χιλιάδες από αυτούς τους βρόχους, η τεχνητή νοημοσύνη δεν μαθαίνει απλώς τα νέα δεδομένα. το μαθαίνει πώς να μαθαίνει νέα δεδομένα πιο αποτελεσματικά.
Και τα αποτελέσματα;
Οι ερευνητές δοκίμασαν το SEAL σε δύο βασικούς τομείς και τα αποτελέσματα είναι εντυπωσιακά.
Πρώτον, δοκίμασαν την ικανότητά του να ενσωματώνει νέα γνώση. Έδωσαν στο πρότυπο αποσπάσματα κειμένου και το ρωτούσαν σχετικά με το περιεχόμενο. Μετά την εκπαίδευση με το SEAL, η ακρίβεια του AI εκτινάχθηκε 47,0%. Εδώ είναι το λάκτισμα: αυτό το σκορ ξεπέρασε τα συνθετικά δεδομένα που παράγονται από το πολύ μεγαλύτερο και ισχυρότερο GPT-4.1που σημείωσε μόλις 46,3%. Το μικρότερο μοντέλο κυριολεκτικά έμαθε να είναι «πιο έξυπνο» από τον τεράστιο ανταγωνιστή του σε αυτό το συγκεκριμένο έργο.
Δεύτερον, δοκίμασαν την ικανότητά του να μάθει μια νέα δεξιότητα από μερικά μόνο παραδείγματα. Αυτό είναι ένα διαβόητο σκληρό αφηρημένο συλλογιστικό σημείο αναφοράς που ονομάζεται ARC. Η δουλειά του SEAL δεν ήταν απλώς να λύσει το παζλ, αλλά να το δημιουργήσει καλύτερη στρατηγική μάθησης για τον εαυτό του (π.χ. «χρησιμοποιήστε αυτές τις επαυξήσεις δεδομένων», «ορίστε αυτό το ποσοστό εκμάθησης»). Το αυτοπροσαρμοζόμενο AI βρήκε μια επιτυχημένη στρατηγική Το 72,5% των περιπτώσεων. Το βασικό μοντέλο, χωρίς αυτή την αυτο-μάθηση, μπερδεύτηκε, πετυχαίνοντας μόνο το 20% των περιπτώσεων.
Ποια είναι η αλιεία;
Όλα αυτά ακούγονται υπέροχα, αλλά ένας πραγματιστής θα είχε δίκιο να ρωτήσει για τα μειονεκτήματα. Οι ερευνητές είναι διαφανείς σχετικά με τους περιορισμούς.
- Καταστροφική λήθη: Το μοντέλο εξακολουθεί να υποφέρει από το κλασικό πρόβλημα AI της «καταστροφικής λήθης». Καθώς στριμώχνεται για νέες εξετάσεις, αρχίζει να ξεχνά τι έμαθε για τα ενδιάμεσα. Η εκμάθηση ενός νέου γεγονότος μπορεί ακόμα να αντικαταστήσει τα παλιά.
- Είναι οδυνηρά αργό: Αυτή η διαδικασία δεν είναι γρήγορη. Οι ερευνητές σημειώνουν ότι η υπολογιστική επιβάρυνση είναι «σημαντική». Χρειάζεται 30-45 δευτερόλεπτα μόνο για τον βαθμό α μονόκλινο αυτοεπεξεργασία κατά τη διάρκεια του κύκλου εκπαίδευσης.
- Χρειάζεται ένα κλειδί απάντησης: Το τρέχον σύστημα βασίζεται στην ύπαρξη ενός «κουίζ» με σωστές απαντήσεις για να παρέχει αυτό το πολύ σημαντικό σήμα ανταμοιβής.
Παρά αυτά τα εμπόδια, η ομάδα κοιτάζει μπροστά. Οι ειδικοί προβλέπουν ότι θα εξαντληθεί το κείμενο υψηλής ποιότητας που δημιουργείται από τον άνθρωπο για να εκπαιδεύσουμε την τεχνητή νοημοσύνη έως το 2028. Όταν χτυπήσουμε αυτό το «τείχος δεδομένων», η πρόοδος θα εξαρτηθεί από την ικανότητα ενός μοντέλου να δημιουργεί τα δικά του δεδομένα εκπαίδευσης υψηλής χρησιμότητας. Αυτή η έρευνα είναι ένας κρίσιμος οδικός χάρτης για το πώς μπορεί να λειτουργήσει αυτό, ανοίγοντας το δρόμο για μελλοντικούς «πράκτορες» AI που δεν απαντούν απλώς στις ερωτήσεις σας, αλλά μαθαίνουν ενεργά από τις αλληλεπιδράσεις τους με τον κόσμο και γίνονται εξυπνότεροι κάθε μέρα.
VIA: DataConomy.com
