Νωρίτερα αυτή την εβδομάδα, Bloomberg ανέφεραν ότι η Google και η Apple είναι κοντά στην επίτευξη συμφωνίας 1 δισεκατομμυρίου δολαρίων ετήσια για μια έκδοση του μοντέλου Gemini που θα τροφοδοτεί το ανανεωμένο Siri το επόμενο έτος.
Αλλά ίσως πιο ενδιαφέρον από την τιμή είναι ένας παράγοντας που θα επηρεάσει πραγματικά την εμπειρία όλων: η αρχιτεκτονική του. Ακολουθεί μια ματιά στο πώς πιθανότατα θα λειτουργήσει.
Είναι πολλά τα 1,2 τρισεκατομμύρια παράμετροι;
Σύμφωνα με Bloomberg‘μικρό έκθεσηη Google θα παράσχει στην Apple ένα μοντέλο παραμέτρων 1,2 τρισεκατομμυρίων, το οποίο θα λειτουργεί στους Private Cloud Compute διακομιστές της Apple, εμποδίζοντας ουσιαστικά την Google να έχει πρόσβαση σε οποιοδήποτε από αυτά. Από πλευράς απορρήτου, αυτό είναι υπέροχο.
Όσον αφορά το μέγεθος, ένα μοντέλο παραμέτρων 1,2 τρισεκατομμυρίων δεν είναι τίποτα για να φταρνιστείτε. Ωστόσο, μια άμεση σύγκριση με τα πιο πρόσφατα και μεγαλύτερα ανταγωνιστικά μοντέλα είναι αρκετά δύσκολη.
Αυτό συμβαίνει επειδή τα τελευταία χρόνια, κλειστά συνοριακά εργαστήρια τεχνητής νοημοσύνης όπως το OpenAI, το Anthropic και η Google έχουν σταματήσει να αποκαλύπτουν τις παραμέτρους των τελευταίων εμβληματικών μοντέλων τους. Αυτό οδήγησε σε εξαιρετικά ποικίλες εικασίες σχετικά με τον πραγματικό αριθμό παραμέτρων προσφορών όπως το GPT-5, το Gemini 2.5 Pro και το Claude Sonnet 4.5. Κάποιοι τα βάζουν κάτω από ένα τρισεκατομμύριο παραμέτρους, ενώ άλλοι προτείνουν να φτάσουν σε μερικά τρισεκατομμύρια. Στην πραγματικότητα, κανείς δεν ξέρει πραγματικά.
Από την άλλη πλευρά, ένα κοινό πράγμα που έχουν τα περισσότερα από αυτά τα τεράστια τελευταία μοντέλα είναι μια υποκείμενη αρχιτεκτονική γνωστή ως μείγμα ειδικών (MoE). Στην πραγματικότητα, η Apple χρησιμοποιεί ήδη ένα άρωμα MoE στο τρέχον μοντέλο της που βασίζεται στο cloud, το οποίο φημολογείται ότι έχει 150 δισεκατομμύρια παραμέτρους.
Το μοντέλο της Siri που τροφοδοτείται από Gemini θα χρησιμοποιεί πιθανώς ένα μείγμα ειδικών
Με λίγα λόγια, το MoE είναι μια τεχνική που δομεί ένα μοντέλο με πολλά εξειδικευμένα υποδίκτυα που ονομάζονται «ειδικοί». Για κάθε είσοδο, ενεργοποιούνται μόνο λίγοι σχετικοί εμπειρογνώμονες, γεγονός που οδηγεί σε ένα ταχύτερο και πιο αποδοτικό υπολογιστικά μοντέλο.
Με άλλα λόγια, αυτό επιτρέπει στα μοντέλα MoE να έχουν πολύ υψηλές μετρήσεις παραμέτρων, διατηρώντας παράλληλα το κόστος συμπερασμάτων πολύ χαμηλότερο από ό,τι αν έπρεπε να ενεργοποιηθεί το 100% των παραμέτρων τους για κάθε είσοδο.
Ακολουθεί ένα άλλο πράγμα σχετικά με τα μοντέλα που ακολουθούν την προσέγγιση MoE: έχουν συνήθως έναν μέγιστο αριθμό ενεργών ειδικών και έναν μέγιστο αριθμό ενεργών παραμέτρων για κάθε είσοδο, με αποτέλεσμα κάτι σαν αυτό:
Ένα μοντέλο με 1,2 τρισεκατομμύρια συνολικές παραμέτρους μπορεί να χρησιμοποιεί 32 ειδικούς, με ενεργούς μόνο 2-4 ειδικούς ανά διακριτικό. Αυτό σημαίνει ότι μόνο περίπου 75–150B παράμετροι κάνουν πραγματικά υπολογισμούς ανά πάσα στιγμή, δίνοντάς σας τη χωρητικότητα ενός τεράστιου μοντέλου, διατηρώντας παράλληλα το υπολογιστικό κόστος παρόμοιο με την εκτέλεση ενός πολύ μικρότερου μοντέλου.
Ακολουθεί ένα υπέροχο βίντεο από την IBM που εξηγεί με περισσότερες λεπτομέρειες πώς λειτουργεί το MoE:
Για να είμαστε σαφείς, δεν έχουν υπάρξει αναφορές σχετικά με την αρχιτεκτονική του μοντέλου που μπορεί να παρέχει η Google στην Apple, εάν υπογράψουν τη συμφωνία για την αναφερόμενη συνεργασία τους. Αλλά σε 1,2 τρισεκατομμύρια παραμέτρους, είναι πολύ Πιθανότατα θα απαιτήσει την αποτελεσματική λειτουργία της προσέγγισης του Υπουργείου Υγείας, δεδομένων των εναλλακτικών που είναι διαθέσιμες σήμερα.
Το αν αυτό το μέγεθος θα είναι αρκετό για να διατηρήσει το Siri με Gemini ανταγωνιστικό με τα μοντέλα που θα είναι διαθέσιμα μέχρι την κυκλοφορία του το επόμενο έτος, είναι μια διαφορετική ιστορία.
Προσφορές αξεσουάρ στο Amazon
FTC: Χρησιμοποιούμε συνδέσμους θυγατρικών που κερδίζουν αυτόματα εισόδημα. Περισσότερο.
Via: 9to5mac.com
