Η Sony AI κυκλοφόρησε το Fair Human-Centric Image Benchmark (FHIBE), το πρώτο δημοσίως διαθέσιμο, παγκοσμίως ποικίλο, βασισμένο στη συναίνεση σύνολο δεδομένων ανθρώπινων εικόνων, σχεδιασμένο για την αξιολόγηση της μεροληψίας σε εργασίες όρασης υπολογιστή. Αυτό το εργαλείο αξιολογεί τον τρόπο με τον οποίο τα μοντέλα τεχνητής νοημοσύνης αντιμετωπίζουν τους ανθρώπους σε διάφορα δημογραφικά στοιχεία, αντιμετωπίζοντας ηθικές προκλήσεις στον κλάδο της τεχνητής νοημοσύνης μέσω της συγκατάθεσης συλλογής εικόνων από διαφορετικούς συμμετέχοντες.
Το σύνολο δεδομένων, που προφέρεται σαν “Phoebe”, περιλαμβάνει εικόνες σχεδόν 2.000 αμειβόμενων συμμετεχόντων από περισσότερες από 80 χώρες. Κάθε άτομο παρείχε τη ρητή συγκατάθεσή του για την κοινή χρήση των ομοιοτήτων του, διακρίνοντας το FHIBE από τις κοινές πρακτικές που περιλαμβάνουν απόξεση μεγάλου όγκου δεδομένων ιστού χωρίς άδεια. Οι συμμετέχοντες διατηρούν το δικαίωμα να αφαιρούν τις εικόνες τους ανά πάσα στιγμή, διασφαλίζοντας τον συνεχή έλεγχο των προσωπικών τους δεδομένων. Αυτή η προσέγγιση υπογραμμίζει τη δέσμευση της Sony AI για τα ηθικά πρότυπα στην απόκτηση δεδομένων.
Κάθε φωτογραφία στο σύνολο δεδομένων διαθέτει λεπτομερείς σχολιασμούς. Αυτά καλύπτουν δημογραφικά και φυσικά χαρακτηριστικά, όπως η ηλικία, οι αντωνυμίες του φύλου, η καταγωγή και ο τόνος του δέρματος. Σημειώνονται επίσης περιβαλλοντικοί παράγοντες, συμπεριλαμβανομένων των συνθηκών φωτισμού και του φόντου. Οι ρυθμίσεις της κάμερας, όπως η εστιακή απόσταση και η έκθεση, παρέχουν πρόσθετο πλαίσιο για αξιολογήσεις μοντέλων. Μια τέτοια ολοκληρωμένη επισήμανση επιτρέπει την ακριβή ανάλυση του τρόπου με τον οποίο οι εξωτερικές μεταβλητές επηρεάζουν την απόδοση της τεχνητής νοημοσύνης.
Η δοκιμή με το FHIBE επιβεβαίωσε προηγουμένως τεκμηριωμένες προκαταλήψεις σε υπάρχοντα μοντέλα AI. Το σημείο αναφοράς προχωρά περαιτέρω, προσφέροντας αναλυτικές διαγνώσεις των παραγόντων που συμβάλλουν. Για παράδειγμα, τα μοντέλα εμφάνισαν χαμηλότερη ακρίβεια για άτομα που χρησιμοποιούν αντωνυμίες «αυτή/η». Η FHIBE προσδιόρισε τη μεγαλύτερη μεταβλητότητα των χτενισμάτων ως βασικό στοιχείο, που προηγουμένως αγνοούνταν πίσω από αυτήν την ασυμφωνία, επιτρέποντας στους ερευνητές να εντοπίσουν συγκεκριμένες περιοχές για βελτίωση στην εκπαίδευση μοντέλων.
Σε αξιολογήσεις ουδέτερων ερωτήσεων σχετικά με το επάγγελμα ενός υποκειμένου, τα μοντέλα τεχνητής νοημοσύνης ενίσχυσαν τα στερεότυπα. Το σημείο αναφοράς αποκάλυψε αποκλίσεις έναντι συγκεκριμένων ομάδων αντωνυμιών και προγόνων, με αποτελέσματα που χαρακτηρίζουν άτομα ως εργάτες του σεξ, έμπορους ναρκωτικών ή κλέφτες. Αυτό το μοτίβο υπογραμμίζει τον τρόπο με τον οποίο οι αμερόληπτες προτροπές μπορούν ακόμα να αποφέρουν μεροληπτικά αποτελέσματα βάσει δημογραφικών χαρακτηριστικών.
Όταν ειδοποιήθηκαν για πιθανά εγκλήματα που διαπράχθηκαν από άτομα, τα μοντέλα προκάλεσαν τοξικές απαντήσεις σε υψηλότερα ποσοστά για ορισμένες ομάδες. Αυτά περιελάμβαναν άτομα αφρικανικής ή ασιατικής καταγωγής, άτομα με πιο σκούρες αποχρώσεις δέρματος και άτομα που ταυτοποιούνται ως «αυτός/αυτός/δικός του». Τέτοια ευρήματα εκθέτουν τρωτά σημεία στα συστήματα τεχνητής νοημοσύνης που θα μπορούσαν να διαιωνίσουν τη ζημιά μέσω μεροληπτικών αποτελεσμάτων.
Η Sony AI δηλώνει ότι η FHIBE αποδεικνύει ότι η συλλογή δεδομένων είναι εφικτή με ηθική, ποικιλόμορφη και δίκαιη. Το εργαλείο είναι πλέον διαθέσιμο στο κοινό για τους ερευνητές και τους προγραμματιστές για χρήση σε δοκιμές μεροληψίας. Η Sony σχεδιάζει να ενημερώσει το σύνολο δεδομένων με την πάροδο του χρόνου για να ενσωματώσει νέες εικόνες και σχολιασμούς. Μια ερευνητική εργασία που περιγράφει λεπτομερώς αυτά τα ευρήματα εμφανίστηκε στο Φύση την Τετάρτη.
VIA: DataConomy.com
