Η Runway κυκλοφορεί το πρώτο της παγκόσμιο μοντέλο, προσθέτει εγγενή ήχο στο πιο πρόσφατο μοντέλο βίντεο

Ο αγώνας για την κυκλοφορία παγκόσμιων μοντέλων βρίσκεται σε εξέλιξη καθώς η εταιρεία παραγωγής εικόνων και βίντεο με τεχνητή νοημοσύνη Runway ενώνει έναν αυξανόμενο αριθμό startups και εταιρειών μεγάλης τεχνολογίας, λανσάροντας την πρώτη της. Με το όνομα GWM-1, το μοντέλο λειτουργεί μέσω πρόβλεψης καρέ-καρέ, δημιουργώντας μια προσομοίωση με κατανόηση της φυσικής και πώς ο κόσμος πραγματικά συμπεριφέρεται με την πάροδο του χρόνου, είπε η εταιρεία.

Ένα παγκόσμιο μοντέλο είναι ένα σύστημα τεχνητής νοημοσύνης που μαθαίνει μια εσωτερική προσομοίωση του πώς λειτουργεί ο κόσμος, ώστε να μπορεί να συλλογιστεί, να σχεδιάσει και να ενεργήσει χωρίς να χρειάζεται να εκπαιδευτεί σε κάθε δυνατό σενάριο στην πραγματική ζωή.

Το Runway, το οποίο κυκλοφόρησε στις αρχές του μήνα Μοντέλο βίντεο Gen 4.5 που ξεπέρασε τόσο την Google όσο και το OpenAI στο leaderboard του Video Arena, είπε ότι το παγκόσμιο μοντέλο GWM-1 είναι πιο «γενικό» από το Genie-3 της Google και άλλους ανταγωνιστές. Η εταιρεία το παρουσιάζει ως μοντέλο που μπορεί να δημιουργήσει προσομοιώσεις για την εκπαίδευση πρακτόρων σε διαφορετικούς τομείς όπως η ρομποτική και οι βιοεπιστήμες.

“Για να δημιουργήσουμε ένα παγκόσμιο μοντέλο, χρειαζόταν πρώτα να δημιουργήσουμε ένα πραγματικά υπέροχο μοντέλο βίντεο. Πιστεύουμε ότι ο σωστός δρόμος για τη δημιουργία ενός παγκόσμιου μοντέλου είναι η διδασκαλία μοντέλων για την άμεση πρόβλεψη pixel είναι ο καλύτερος τρόπος για να επιτευχθεί προσομοίωση γενικού σκοπού. Σε επαρκή κλίμακα και με τα σωστά δεδομένα, μπορείτε να δημιουργήσετε ένα μοντέλο που έχει επαρκή κατανόηση του πώς λειτουργεί ο κόσμος”, δήλωσε ο CTO της εταιρείας, Anastasis, κατά τη διάρκεια του γερμανικού livestream.

Η Runway κυκλοφόρησε συγκεκριμένα slants ή εκδόσεις του νέου παγκόσμιου μοντέλου που ονομάζεται GWM-Worlds, GWM-Robotics και GWM-Avatars.

Το GWM-Worlds είναι μια εφαρμογή για το μοντέλο που σας επιτρέπει να δημιουργήσετε ένα διαδραστικό έργο. Οι χρήστες μπορούν να ορίσουν μια σκηνή μέσω μιας προτροπής ή μιας αναφοράς εικόνας και καθώς εξερευνάτε το χώρο, το μοντέλο δημιουργεί τον κόσμο με κατανόηση της γεωμετρίας, της φυσικής και του φωτισμού. Η εταιρεία ανέφερε ότι η προσομοίωση τρέχει σε 24 fps και ανάλυση 720p. Ο Runway είπε ότι ενώ το Worlds θα μπορούσε να είναι χρήσιμο για παιχνίδια, είναι επίσης σε καλή θέση για να διδάξει στους πράκτορες πώς να πλοηγούνται και να συμπεριφέρονται στον φυσικό κόσμο.

Με την GWM-Robotics, η εταιρεία στοχεύει στη χρήση συνθετικών δεδομένων εμπλουτισμένων με νέες παραμέτρους, όπως η αλλαγή των καιρικών συνθηκών ή τα εμπόδια. Η Runway λέει ότι αυτή η μέθοδος θα μπορούσε επίσης να αποκαλύψει πότε και πώς τα ρομπότ ενδέχεται να παραβιάζουν πολιτικές και οδηγίες σε διαφορετικά σενάρια.

Το Runway κατασκευάζει επίσης ρεαλιστικά avatars στο πλαίσιο του GWM-Avatars για να προσομοιώσει την ανθρώπινη συμπεριφορά. Εταιρείες όπως η D-ID, η Synthesia, η Soul Machines, ακόμη και η Google έχουν εργαστεί για τη δημιουργία ανθρώπινων avatars που φαίνονται αληθινά και λειτουργούν σε τομείς όπως η επικοινωνία και η εκπαίδευση.

Η εταιρεία σημείωσε ότι τεχνικά τα Worlds, Robotics και Avatars είναι ξεχωριστά μοντέλα, αλλά τελικά σχεδιάζει να τα συγχωνεύσει όλα αυτά σε ένα μοντέλο.

Εκτός από την κυκλοφορία ενός νέου παγκόσμιου μοντέλου, η εταιρεία ενημερώνει επίσης τα θεμέλιά της Το μοντέλο Gen 4.5 κυκλοφόρησε νωρίτερα μέσα στον μήνα. Η νέα ενημέρωση φέρνει δυνατότητες εγγενούς ήχου και μεγάλης μορφής, πολλαπλών λήψεων στο μοντέλο. Η εταιρεία είπε ότι με αυτό το μοντέλο, οι χρήστες μπορούν να δημιουργήσουν βίντεο ενός λεπτού με συνέπεια χαρακτήρων, εγγενείς διαλόγους, ήχο φόντου και σύνθετες λήψεις από διάφορες γωνίες. Η εταιρεία είπε ότι μπορείτε επίσης να επεξεργαστείτε υπάρχοντα ήχο και να προσθέσετε διαλόγους. Επιπλέον, μπορείτε να επεξεργαστείτε βίντεο πολλαπλών λήψεων οποιασδήποτε διάρκειας.

Η ενημέρωση Gen 4.5 ωθεί το Runway πιο κοντά στη σουίτα βίντεο all-in-one του ανταγωνιστή Kling, η οποία κυκλοφόρησε επίσης νωρίτερα αυτόν τον μήναιδιαίτερα γύρω από τον εγγενή ήχο και την αφήγηση με πολλές λήψεις. Σηματοδοτεί επίσης ότι τα μοντέλα παραγωγής βίντεο μετακινούνται από πρωτότυπα σε εργαλεία έτοιμα για παραγωγή. Το ενημερωμένο μοντέλο Gen 4.5 της Runway είναι διαθέσιμο σε όλους τους χρήστες του προγράμματος επί πληρωμή.

Η εταιρεία είπε ότι θα διαθέσει το GWM-Robotics μέσω ενός SDK. Πρόσθεσε ότι βρίσκεται σε ενεργή συνομιλία με αρκετές εταιρείες και επιχειρήσεις ρομποτικής για τη χρήση των GWM-Robotics και GWM-Avatars.