Με τη βοήθεια της τεχνητής νοημοσύνης, η Disney μπορεί να αλλάξει την ηλικία ενός ηθοποιού με ευκολία

1 έτος πριν
FRAN

Οι ερευνητές της Disney δημιούργησαν ένα νέο νευρωνικό δίκτυο με τη βοήθεια της τεχνητής νοημοσύνης που μπορεί να αλλάξει την οπτική ηλικία των ηθοποιών στην τηλεόραση ή στον κινηματογράφο. Η τεχνολογία θα επιτρέψει στους τηλεοπτικούς ή κινηματογραφικούς παραγωγούς να κάνουν τους ηθοποιούς να φαίνονται μεγαλύτεροι ή μικρότεροι χρησιμοποιώντας μια αυτοματοποιημένη διαδικασία που θα είναι λιγότερο δαπανηρή και χρονοβόρα από τις προηγούμενες μεθόδους.

Παραδοσιακά, όταν οι ειδικοί σε μια παραγωγή πρέπει να κάνουν έναν ηθοποιό να φαίνεται μεγαλύτερος ή νεότερος (μια τεχνική που η Disney αποκαλεί "re-aging"), συνήθως χρησιμοποιούν είτε μια διαδικασία τρισδιάστατης σάρωσης και τρισδιάστατης μοντελοποίησης είτε ένα 2D ψηφιακό ρετουσάρισμα καρέ-καρέ του προσώπου του ηθοποιού χρησιμοποιώντας εργαλεία παρόμοια με το Photoshop. Αυτή η διαδικασία μπορεί να διαρκέσει εβδομάδες ή και περισσότερο, ανάλογα με τη διάρκεια του όλου project.

Αντιθέτως, η νέα τεχνική τεχνητής νοημοσύνης της Disney που ονομάζεται Face Re-aging Network (FRAN), αυτοματοποιεί τη διαδικασία. Η Disney την αποκαλεί "την πρώτη πρακτική, πλήρως αυτόματη και έτοιμη για παραγωγή μέθοδο για την επανα-γήρανση προσώπων σε βίντεο".

Για την κατασκευή του FRAN, οι ερευνητές της Disney δημιούργησαν τυχαία χιλιάδες παραδείγματα συνθετικά γερασμένων προσώπων ηλικίας 18 έως 85 ετών χρησιμοποιώντας το StyleGAN2. Με αυτά τα δεδομένα εκπαίδευσης διαθέσιμα, το FRAN έμαθε τις γενικές αρχές σχετικά με το πώς αλλάζει η εμφάνιση ενός ατόμου ανάλογα με την ηλικία. Τώρα που η εκπαίδευση έχει ολοκληρωθεί, μπορεί να εφαρμόσει αυτές τις αρχές γήρανσης σε έναν πραγματικό ηθοποιό που βρίσκεται σε κίνηση, καρέ-καρέ.

«Το δίκτυό μας εκπαιδεύεται (με την κατάλληλη επίβλεψη) σε έναν μεγάλο αριθμό ζευγών εικόνων προσώπου που δείχνουν το ίδιο συνθετικό και φωτορεαλιστικό πρόσωπο, με επισήμανση των αντίστοιχων ηλικιών κάθε πηγής», γράφουν οι ερευνητές σε σχετική ακαδημαϊκή εργασία. Δημιουργώντας συνθετικά τα δεδομένα εκπαίδευσης, παρέκαμψαν το «φαινομενικά αδύνατο έργο» της συλλογής εικόνων που απεικονίζουν «μια ποικιλία ταυτοτήτων, ηλικιών και εθνοτήτων σε διαφορετικές οπτικές γωνίες», ένας τρόπος στον οποίο στηρίζεται και η τεχνολογία του DeepFake.

Το αποτέλεσμα είναι αυτό που η Disney αποκαλεί μια "έτοιμη για την παραγωγή" λύση, κάτι που σημαίνει ότι δημιουργεί αποτελέσματα υψηλής ποιότητας που μπορούν να χρησιμοποιηθούν σε μια πραγματική ταινία ή τηλεοπτική εκπομπή. Είναι ενδεχομένως η πρώτη λύση τεχνητής νοημοσύνης του είδους της που μπορεί να μεταβάλλει δυναμικά την ηλικία ενός ηθοποιού σε βίντεο παρά τις μεταβλητές εκφράσεις, τις συνθήκες φωτισμού και τις οπτικές γωνίες. Οι ερευνητές ανέπτυξαν επίσης μια φιλική προς το χρήστη διεπαφή για το FRAN που θα επιτρέψει στους καλλιτέχνες να χρησιμοποιούν εύκολα το εργαλείο σε περιβάλλον παραγωγής.

Η Disney παρουσίασε την έρευνα σε μια εργασία με τίτλο "Production-Ready Face Re-Aging for Visual Effects" και την υπέβαλε για να συμπεριληφθεί στο συνέδριο ACM SIGGRAPH Asia 2022 αυτό το μήνα. Οι συγγραφείς του εγγράφου -που έχει και ελληνικό χρώμα- είναι οι Gaspard Zoss, Prashanth Chandran, Markus Gross, Paulo Gotardo, Derek Bradley και ο Ευτύχιος Σηφάκης ενώ όλοι συνεργάζονται με τα Disney Research Studios στη Ζυρίχη της Ελβετίας.

Λαμβάνοντας υπόψη το ιστορικό της Disney με την προσθήκη ηθοποιών που έχουν δημιουργηθεί από υπολογιστή σε ταινίες και τηλεοπτικές εκπομπές του Star Wars, συμπεριλαμβανομένων ορισμένων που έχουν απογηρανθεί με τη χρήση CGI, δεν θα μας εξέπληττε να δούμε τεχνολογία παρόμοια με το FRAN να χρησιμοποιείται ευρέως σε μελλοντικές παραγωγές της Disney, αν και δεν έχουν ανακοινωθεί σχετικά σχέδια. Γνωρίζουμε πάντως ότι παρόμοιες σκηνές θα διαθέτει η ταινία Indiana Jones 5, χωρίς να γνωρίζουμε αν η Disney έχει χρησιμοποιήσει τη συγκεκριμένη τεχνολογία στην περίπτωση αυτή.