Οι ερευνητές εκπαίδευσαν μια τεχνητή νοημοσύνη υγείας με δεδομένα Apple Watch για 3 εκατομμύρια ημέρες

Ένα νέο μελέτη από ερευνητές από το MIT και την Empirical Health χρησιμοποίησαν δεδομένα Apple Watch 3 εκατομμυρίων ανθρωποημέρων για να αναπτύξουν ένα μοντέλο βάσης που προβλέπει ιατρικές καταστάσεις με εντυπωσιακή ακρίβεια. Εδώ είναι οι λεπτομέρειες.

Λίγο παρασκήνιο

Ενώ ο Yann LeCun ήταν ακόμη ο επικεφαλής επιστήμονας τεχνητής νοημοσύνης της Meta, πρότεινε την Κοινή Ενσωμάτωση Προγνωστικής Αρχιτεκτονικής, ή JEPA, η οποία ουσιαστικά διδάσκει σε μια τεχνητή νοημοσύνη να συμπεράνει την έννοια των δεδομένων που λείπουν και όχι τα ίδια τα δεδομένα.

Με άλλα λόγια, όταν ασχολείται με κενά στα δεδομένα, το μοντέλο μαθαίνει να προβλέπει ποια μέρη λείπουν εκπροσωπώαντί να προσπαθείτε να μαντέψετε και να ανασυνθέσετε τις ακριβείς τιμές τους.

Για μια εικόνα, για παράδειγμα, όπου ορισμένα τμήματα είναι καλυμμένα και άλλα είναι ορατά, το JEPA θα ενσωματώσει τόσο τις ορατές όσο και τις καλυμμένες περιοχές σε έναν κοινόχρηστο χώρο (επομένως, Joint-Embedding) και θα έβαζε το μοντέλο να συμπεράνει την αναπαράσταση της περιοχής με κάλυψη από το ορατό περιβάλλον, αντί από το ακριβές περιεχόμενα που ήταν κρυμμένα.

Δείτε πώς το έθεσε ο Meta όταν η εταιρεία κυκλοφόρησε ένα μοντέλο που ονομάζεται I-JEPA το 2023:

Πέρυσι, ο επικεφαλής επιστήμονας τεχνητής νοημοσύνης της Meta, Yann LeCun, πρότεινε μια νέα αρχιτεκτονική με σκοπό να ξεπεράσει βασικούς περιορισμούς ακόμη και των πιο προηγμένων συστημάτων τεχνητής νοημοσύνης σήμερα. Το όραμά του είναι να δημιουργήσει μηχανές που μπορούν να μάθουν εσωτερικά μοντέλα για το πώς λειτουργεί ο κόσμος, ώστε να μπορούν να μαθαίνουν πολύ πιο γρήγορα, να σχεδιάζουν πώς να εκτελούν πολύπλοκες εργασίες και να προσαρμόζονται εύκολα σε άγνωστες καταστάσεις.

Από τη δημοσίευση της αρχικής μελέτης JEPA του LeCun, αυτή η αρχιτεκτονική έχει γίνει το θεμέλιο για ένα πεδίο που εξερευνά «παγκόσμια μοντέλα», κάτι που απέχει από το επίκεντρο της πρόβλεψης διακριτικών των LLM και των συστημάτων που βασίζονται σε GPT.

Στην πραγματικότητα, ο LeCun άφησε ακόμη και τη Meta πρόσφατα για να δημιουργήσει μια εταιρεία που επικεντρώνεται αποκλειστικά στα μοντέλα του κόσμου, τα οποία υποστηρίζει ότι είναι η πραγματική πορεία προς την AGI.

Λοιπόν, 3 εκατομμύρια ημέρες δεδομένων Apple Watch;

Ναι, πίσω στη μελέτη. Δημοσιεύτηκε πριν από λίγους μήνες, η εφημερίδα JETS: A Self-Supervised Joint Embedding Time Series Foundation Model for Behavioral Data in Healthcare έγινε πρόσφατα δεκτός σε ένα εργαστήριο στο NeurIPS.

Προσαρμόζει την προσέγγιση κοινής ενσωμάτωσης του JEPA σε ακανόνιστες πολυμεταβλητές χρονοσειρές, όπως μακροπρόθεσμα φορητά δεδομένα όπου ο καρδιακός ρυθμός, ο ύπνος, η δραστηριότητα και άλλες μετρήσεις εμφανίζονται ασυνεπώς ή με μεγάλα κενά με την πάροδο του χρόνου.

Από τη μελέτη:

Η μελέτη χρησιμοποιεί ένα διαχρονικό σύνολο δεδομένων που περιλαμβάνει δεδομένα φορητών συσκευών που συλλέχθηκαν από μια ομάδα 16.522 ατόμων, με σύνολο ~3 εκατομμύρια ανθρωποημέρες. Για κάθε άτομο, καταγράφηκαν 63 διαφορετικές μετρήσεις χρονοσειρών σε ημερήσια ή χαμηλότερη ανάλυση. Αυτές οι μετρήσεις κατηγοριοποιούνται σε πέντε φυσιολογικούς και συμπεριφορικούς τομείς: καρδιαγγειακή υγεία, αναπνευστική υγεία, ύπνος, σωματική δραστηριότητα και γενικά στατιστικά στοιχεία.

Είναι ενδιαφέρον ότι μόνο το 15% των συμμετεχόντων είχε επισημάνει το ιατρικό ιστορικό για αξιολόγηση, πράγμα που σημαίνει ότι το 85% των δεδομένων θα ήταν άχρηστα στις παραδοσιακές προσεγγίσεις υπό επίβλεψη μάθησης. Αντίθετα, το JETS έμαθε για πρώτη φορά από το πλήρες σύνολο δεδομένων μέσω αυτοεπιβλεπόμενης προεκπαίδευσης και τότε τελειοποιημένο στο υποσύνολο με την ένδειξη.

Για να δουλέψει το όλο θέμα, έφτιαξαν τριάδες δεδομένων από παρατηρήσεις που αντιστοιχούσαν σε ημέρα, τιμή και μετρικό τύπο.

Αυτό τους επέτρεψε να μετατρέψουν κάθε παρατήρηση σε ένα διακριτικό, το οποίο με τη σειρά του περνούσε από μια διαδικασία κάλυψης, κωδικοποιήθηκε και στη συνέχεια τροφοδοτήθηκε μέσω ενός προγνωστικού (για να προβλέψει την ενσωμάτωση των επιθεμάτων που λείπουν).

Μόλις έγινε αυτό, οι ερευνητές αντιμετώπισαν το JETS με άλλα βασικά μοντέλα (συμπεριλαμβανομένης μιας προηγούμενης έκδοσης του JETS, που βασίζεται στην αρχιτεκτονική του Transformer) και τα αξιολόγησαν χρησιμοποιώντας AUROC και AUPRC, δύο τυπικά μέτρα για το πόσο καλά ένα AI διακρίνει μεταξύ θετικών και αρνητικών περιπτώσεων.

Το JETS πέτυχε AUROC 86,8% για την υψηλή αρτηριακή πίεση, 70,5% για τον κολπικό πτερυγισμό, 81% για το σύνδρομο χρόνιας κόπωσης, 86,8% για το σύνδρομο του ασθενούς κόλπου, μεταξύ άλλων. Φυσικά, δεν έγινε πάντοτε νίκη, αλλά τα πλεονεκτήματα είναι αρκετά σαφή, όπως φαίνεται παρακάτω:

Αξίζει να τονιστεί ότι το AUROC και το AUPRC δεν είναι αυστηρά ακρίβεια ευρετήρια. Είναι μετρήσεις που δείχνουν πόσο καλά ένα μοντέλο ταξινομεί ή δίνει προτεραιότητα σε πιθανές περιπτώσεις, και όχι πόσο συχνά κάνει σωστές προβλέψεις.

Συνολικά, αυτή η μελέτη παρουσιάζει μια ενδιαφέρουσα προσέγγιση για τη μεγιστοποίηση της διορατικότητας και των δυνατοτήτων σωτηρίας των δεδομένων που θα μπορούσαν να διαγραφούν ως ελλιπή ή ακανόνιστα. Σε ορισμένες περιπτώσεις, οι μετρήσεις υγείας καταγράφηκαν μόνο στο 0,4% του χρόνου, ενώ άλλες εμφανίστηκαν στο 99% των ημερήσιων αναγνώσεων.

Η μελέτη ενισχύει επίσης την ιδέα ότι υπάρχουν πολλά υποσχόμενα νέα μοντέλα και τεχνικές εκπαίδευσης για την εξερεύνηση των δεδομένων που συλλέγονται ήδη από κανονικά wearables όπως το Apple Watch, ακόμη και όταν δεν φοριούνται στο 100% του χρόνου.

Μπορείτε να διαβάσετε την πλήρη μελέτη εδώ.

Προσφορές αξεσουάρ στο Amazon