Τα World Labs της Fei-Fei Li επιταχύνουν τον παγκόσμιο αγώνα μοντέλων με το Marble, το πρώτο του εμπορικό προϊόν

Η World Labs, η startup που ιδρύθηκε από τον πρωτοπόρο της τεχνητής νοημοσύνης Fei-Fei Li, λανσάρει το πρώτο της εμπορικό μοντέλο παγκοσμίως. Μάρμαρο είναι πλέον διαθέσιμο μέσω freemium και πληρωμένων επιπέδων που επιτρέπουν στους χρήστες να μετατρέπουν τα μηνύματα κειμένου, τις φωτογραφίες, τα βίντεο, τις διατάξεις 3D ή τα πανοράματα σε επεξεργάσιμα, 3D περιβάλλοντα με δυνατότητα λήψης.

Το λανσάρισμα του παραγωγικού παγκόσμιου μοντέλου, κυκλοφόρησε για πρώτη φορά σε περιορισμένη beta Η προεπισκόπηση πριν από δύο μήνες, έρχεται λίγο περισσότερο από ένα χρόνο αφότου η World Labs βγήκε από το stealth με χρηματοδότηση 230 εκατομμυρίων δολαρίων και βάζει την startup μπροστά από τους ανταγωνιστές που κατασκευάζουν παγκόσμια μοντέλα. Τα παγκόσμια μοντέλα είναι συστήματα τεχνητής νοημοσύνης που δημιουργούν μια εσωτερική αναπαράσταση ενός περιβάλλοντος και μπορούν να χρησιμοποιηθούν για την πρόβλεψη μελλοντικών αποτελεσμάτων και τον σχεδιασμό ενεργειών.

Startups όπως το Decart και το Odyssey έχουν κυκλοφορήσει δωρεάν demo και το Genie της Google εξακολουθεί να βρίσκεται σε περιορισμένη προεπισκόπηση έρευνας. Το Marble διαφέρει από αυτά — ακόμη και από το μοντέλο σε πραγματικό χρόνο της World Labs, RTFM — επειδή δημιουργεί μόνιμα τρισδιάστατα περιβάλλοντα με δυνατότητα λήψης αντί να δημιουργεί κόσμους εν κινήσει καθώς εξερευνάτε. Αυτό, λέει η εταιρεία, έχει ως αποτέλεσμα λιγότερη μορφοποίηση ή ασυνέπεια και επιτρέπει στους χρήστες να εξάγουν κόσμους ως Gaussian splats, meshes ή βίντεο.

Το Marble είναι επίσης το πρώτο μοντέλο του είδους του που προσφέρει εγγενή εργαλεία επεξεργασίας AI και ένα υβριδικό πρόγραμμα επεξεργασίας 3D που επιτρέπει στους χρήστες να αποκλείουν τις χωρικές δομές πριν το AI συμπληρώσει τις οπτικές λεπτομέρειες.

“Πρόκειται για μια ολοκαίνουργια κατηγορία μοντέλων που δημιουργεί τρισδιάστατους κόσμους και αυτό είναι κάτι που θα γίνει καλύτερο με την πάροδο του χρόνου. Είναι κάτι που έχουμε ήδη βελτιώσει αρκετά”, δήλωσε στο TechCrunch ο Justin Johnson, συνιδρυτής της World Labs.

Τον περασμένο Δεκέμβριο, η World Labs έδειξε πώς τα πρώιμα μοντέλα της μπορούσαν να δημιουργήσουν διαδραστικές τρισδιάστατες σκηνές βασισμένες σε μία μόνο εικόνα. Αν και εντυπωσιακές, οι κάπως καρτουνίστικες σκηνές δεν ήταν πλήρως εξερευνήσιμες καθώς οι κινήσεις περιορίζονταν σε μια μικρή περιοχή και υπήρχαν περιστασιακά λάθη απόδοσης.

Στη δοκιμή της προεπισκόπησης beta, ανακάλυψα ότι το Marble δημιούργησε εντυπωσιακούς κόσμους μόνο από προτροπές εικόνων — από περιβάλλοντα που μοιάζουν με παιχνίδι έως φωτορεαλιστικές εκδόσεις του σαλονιού μου. Οι σκηνές μεταμορφώθηκαν στις άκρες, αν και προφανώς βελτιώθηκε στη σημερινή κυκλοφορία. Τούτου λεχθέντος, ένας κόσμος που είχα δημιουργήσει στην έκδοση beta χρησιμοποιώντας ένα μόνο μήνυμα προτροπής φαινόταν καλύτερος και ταίριαζε με την πρόθεσή μου περισσότερο από ό,τι το ίδιο μήνυμα προτροπής τώρα.

Δεν έχω δοκιμάσει ακόμη τις δυνατότητες επεξεργασίας, αν και ο Johnson λέει ότι κάνουν το Marble πρακτικό για παιχνίδια βραχυπρόθεσμου παιχνιδιού, VFX και έργα εικονικής πραγματικότητας (VR).

«Ένα από τα κύρια θέματα μας για το Marble είναι ο δημιουργικός έλεγχος», είπε ο Johnson. “Πρέπει να υπάρχει πάντα ένα γρήγορο μονοπάτι για να δημιουργήσετε κάτι, αλλά θα πρέπει να μπορείτε να βουτήξετε ακόμα πιο βαθιά και να έχετε πολύ έλεγχο στα πράγματα που δημιουργείτε. Δεν θέλετε το μηχάνημα να πάρει απλώς το τιμόνι και να τραβήξει όλη αυτή τη δημιουργικότητα από πάνω σας.”

Ο δημιουργικός έλεγχος της Marble ξεκινά με την ευελιξία εισόδου. Η beta δεχόταν μόνο μεμονωμένες εικόνες, αναγκάζοντας το μοντέλο να εφεύρει αόρατες λεπτομέρειες για προβολή 360 μοιρών. Με την πλήρη κυκλοφορία, οι χρήστες μπορούν πλέον να ανεβάζουν πολλές εικόνες ή σύντομα κλιπ για να δείξουν ένα χώρο από διαφορετικές γωνίες και να βάλουν το μοντέλο να δημιουργήσει αρκετά ρεαλιστικά ψηφιακά δίδυμα.

Στη συνέχεια, έχουμε το Chisel, ένα πειραματικό πρόγραμμα επεξεργασίας 3D που επιτρέπει στους χρήστες να αποκλείουν τις χονδροειδείς χωρικές διατάξεις (σκεπτόμενοι τοίχους, κουτιά ή επίπεδα) και στη συνέχεια να προσθέτουν μηνύματα κειμένου για να καθοδηγούν το οπτικό στυλ. Το Marble δημιουργεί τον κόσμο, αποσυνδέοντας τη δομή από το στυλ — παρόμοιο με το πώς η HTML παρέχει τη δομή ενός ιστότοπου και το CSS προσθέτει χρώμα. Σε αντίθεση με την επεξεργασία που βασίζεται σε κείμενο, το Chisel σάς επιτρέπει να χειρίζεστε απευθείας αντικείμενα.

«Μπορώ απλώς να πάω εκεί και να πιάσω το 3D μπλοκ που αντιπροσωπεύει τον καναπέ και να το μετακινήσω κάπου αλλού», είπε ο Τζόνσον.

Μια άλλη νέα δυνατότητα που σας δίνει περισσότερο έλεγχο επεξεργασίας είναι η δυνατότητα επέκτασης ενός κόσμου.

«Μόλις δημιουργήσετε έναν κόσμο, μπορείτε να τον επεκτείνετε μέχρι μία φορά», είπε ο Τζόνσον. «Όταν μετακομίζετε σε ένα κομμάτι του κόσμου που αρχίζει να διασπάται, μπορείτε βασικά να πείτε στο μοντέλο να επεκταθεί εκεί ή να δημιουργήσει περισσότερο κόσμο κοντά στο σημείο που βρίσκεστε αυτήν τη στιγμή και στη συνέχεια να προσθέσει περισσότερες λεπτομέρειες σε αυτήν την περιοχή».

Οι χρήστες που θέλουν να δημιουργήσουν εξαιρετικά μεγάλους χώρους μπορούν να συνδυάσουν πολλούς κόσμους με τη “λειτουργία συνθέτη”. Ο Τζόνσον το απέδειξε αυτό για μένα με δύο κόσμους που είχε ήδη φτιάξει – ένα δωμάτιο από τυρί με καρέκλες σταφυλιού και ένα άλλο μιας φουτουριστικής αίθουσας συσκέψεων στο διάστημα.

Η πορεία προς τη χωρική νοημοσύνη

Το Marble είναι διαθέσιμο μέσω τεσσάρων επιπέδων συνδρομής: Δωρεάν (τέσσερις γενιές από κείμενο, εικόνα ή πανόραμα), Standard (20 $/μήνα, 12 γενιές συν εισαγωγή πολλών εικόνων/βίντεο και προηγμένη επεξεργασία), Pro (35 $/μήνα, 25 γενιές με επέκταση σκηνής και εμπορικά δικαιώματα) και Μέγιστο (95 $/μήνα, όλες οι δυνατότητες και γενιές).

Ο Johnson πιστεύει ότι οι αρχικές περιπτώσεις χρήσης του Marble θα είναι gaming, οπτικά εφέ για ταινίες και εικονική πραγματικότητα.

Οι προγραμματιστές παιχνιδιών έχουν ανάμεικτα συναισθήματα για την τεχνολογία. Ένα πρόσφατο Έρευνα συνεδρίου προγραμματιστών παιχνιδιών βρήκε ότι το ένα τρίτο των ερωτηθέντων πίστευε ότι η γενετική τεχνητή νοημοσύνη έχει αρνητικό αντίκτυπο στη βιομηχανία παιχνιδιών – 12% περισσότερο από ό,τι η έρευνα έδειξε πέρυσι. Η κλοπή πνευματικής ιδιοκτησίας, η κατανάλωση ενέργειας και η μείωση της ποιότητας από περιεχόμενο που δημιουργείται από τεχνητή νοημοσύνη ήταν μεταξύ των κορυφαίων ανησυχιών που παρουσιάστηκαν. Και πέρυσι, α Ενσύρματο Η έρευνα διαπίστωσε ότι στούντιο παιχνιδιών όπως η Activision Blizzard χρησιμοποιούν τεχνητή νοημοσύνη για να κόψουν τις γωνίες και να καταπολεμήσουν τη φθορά.

Στο gaming, ο Johnson βλέπει προγραμματιστές να χρησιμοποιούν το Marble για να δημιουργήσουν περιβάλλοντα φόντου και χώρους περιβάλλοντος και στη συνέχεια να εισάγουν αυτά τα στοιχεία σε μηχανές παιχνιδιών όπως το Unity ή το Unreal Engine για να προσθέσουν διαδραστικά στοιχεία, λογική και κώδικα.

“Δεν έχει σχεδιαστεί για να αντικαταστήσει ολόκληρο τον υπάρχοντα αγωγό για gaming, αλλά για να σας δώσει απλώς περιουσιακά στοιχεία που μπορείτε να αφήσετε σε αυτόν τον αγωγό”, είπε.

Για την εργασία VFX, η Marble παρακάμπτει την ασυνέπεια και τον κακό έλεγχο της κάμερας που μαστίζουν τις γεννήτριες βίντεο AI, σύμφωνα με τον Johnson. Τα τρισδιάστατα στοιχεία του επιτρέπουν στους καλλιτέχνες να σκηνοθετούν σκηνές και να ελέγχουν τις κινήσεις της κάμερας με απόλυτη ακρίβεια καρέ, είπε.

Ενώ ο Τζόνσον είπε ότι η World Labs δεν εστιάζει σε εφαρμογές εικονικής πραγματικότητας (VR) αυτή τη στιγμή, σημείωσε ότι ο κλάδος «διψάει για περιεχόμενο» και ερεθισμένος σχετικά με την εκτόξευση. Το Marble είναι ήδη συμβατό με τα ακουστικά Vision Pro και Quest 3 VR και κάθε κόσμος που δημιουργείται μπορεί να προβληθεί σε VR σήμερα.

Το μάρμαρο μπορεί επίσης να έχει πιθανές θήκες χρήσης για ρομποτική. Ο Johnson σημείωσε ότι σε αντίθεση με τη δημιουργία εικόνων και βίντεο, η ρομποτική δεν έχει το πλεονέκτημα μιας μεγάλης αποθήκης δεδομένων εκπαίδευσης. Αλλά με γεννήτριες όπως η Marble, γίνεται ευκολότερη η προσομοίωση εκπαιδευτικών περιβαλλόντων.

Σύμφωνα με α πρόσφατο μανιφέστο από τη Fei-Fei Li, Διευθύνουσα Σύμβουλο και συνιδρυτή της World Labs, η Marble αντιπροσωπεύει το πρώτο βήμα προς τη δημιουργία «ένα πραγματικά χωρικά ευφυές παγκόσμιο μοντέλο».

Ο Λι πιστεύει ότι «η επόμενη γενιά παγκόσμιων μοντέλων θα επιτρέψει στις μηχανές να επιτύχουν χωρική νοημοσύνη σε ένα εντελώς νέο επίπεδο». Εάν τα μεγάλα γλωσσικά μοντέλα μπορούν να διδάξουν τις μηχανές να διαβάζουν και να γράφουν, ο Λι ελπίζει ότι συστήματα όπως το Marble μπορούν να τους διδάξουν να βλέπουν και να κατασκευάζουν. Λέει ότι η ικανότητα κατανόησης του τρόπου με τον οποίο τα πράγματα υπάρχουν και αλληλεπιδρούν σε τρισδιάστατους χώρους μπορεί τελικά να βοηθήσει τις μηχανές να κάνουν ανακαλύψεις πέρα ​​από τα παιχνίδια και τη ρομποτική, ακόμη και στην επιστήμη και την ιατρική.

«Τα όνειρά μας για πραγματικά ευφυείς μηχανές δεν θα είναι ολοκληρωμένα χωρίς χωρική νοημοσύνη», έγραψε ο Λι.

Έχετε μια ευαίσθητη συμβουλή ή εμπιστευτικά έγγραφα; Αναφέρουμε τις εσωτερικές λειτουργίες του κλάδου της AI — από τις εταιρείες που διαμορφώνουν το μέλλον της έως τους ανθρώπους που επηρεάζονται από τις αποφάσεις τους. Απευθυνθείτε στη Rebecca Bellan στο [email protected] ή Russell Brandom στη διεύθυνση [email protected]. Για ασφαλή επικοινωνία, μπορείτε να επικοινωνήσετε μαζί τους μέσω του Signal στο @rebeccabellan.491 και russellbrandom.49.