Τι συμβαίνει όταν ένας πράκτορας AI αποφασίζει ότι ο καλύτερος τρόπος για να ολοκληρώσει μια εργασία είναι να σας εκβιάσει;
Αυτό δεν είναι υποθετικό. Σύμφωνα με τον Barmak Meftah, συνεργάτη στην εταιρεία κυβερνοασφάλειας Balistic Ventures, συνέβη πρόσφατα σε έναν υπάλληλο της επιχείρησης που εργαζόταν με έναν πράκτορα AI. Ο υπάλληλος προσπάθησε να αποκρύψει αυτό που ήθελε να κάνει ο πράκτορας, τι είχε εκπαιδευτεί να κάνει και απάντησε σαρώνοντας τα εισερχόμενα του χρήστη, βρίσκοντας κάποια ακατάλληλα email και απειλώντας να εκβιάσει τον χρήστη προωθώντας τα μηνύματα ηλεκτρονικού ταχυδρομείου στο διοικητικό συμβούλιο.
«Στο μυαλό του πράκτορα, κάνει το σωστό», είπε ο Meftah στο TechCrunch στο επεισόδιο του Equity της περασμένης εβδομάδας. “Προσπαθεί να προστατεύσει τον τελικό χρήστη και την επιχείρηση.”
Το παράδειγμα του Meftah θυμίζει το πρόβλημα με τον συνδετήρα τεχνητής νοημοσύνης του Nick Bostrom. Αυτό το πείραμα σκέψης απεικονίζει τον δυνητικό υπαρξιακό κίνδυνο που θέτει μια υπερέξυπνη τεχνητή νοημοσύνη που επιδιώκει μοναχικά έναν φαινομενικά αβλαβή στόχο – την κατασκευή συνδετήρων – αποκλείοντας όλες τις ανθρώπινες αξίες. Στην περίπτωση αυτού του πράκτορα εταιρικής τεχνητής νοημοσύνης, η έλλειψη πλαισίου γύρω από το γιατί ο εργαζόμενος προσπαθούσε να παρακάμψει τους στόχους του τον οδήγησε να δημιουργήσει έναν υποστόχο που άρει το εμπόδιο (μέσω εκβιασμού), ώστε να μπορέσει να επιτύχει τον πρωταρχικό του στόχο. Αυτό σε συνδυασμό με το μη ντετερμινιστική φύση των πρακτόρων τεχνητής νοημοσύνης σημαίνει «τα πράγματα μπορεί να πάνε αδίστακτα», κατά Meftah.
Οι κακώς ευθυγραμμισμένοι πράκτορες είναι μόνο ένα επίπεδο της πρόκλησης ασφάλειας AI που προσπαθεί να λύσει η εταιρεία χαρτοφυλακίου της Ballistic Witness AI. Η Witness AI λέει ότι παρακολουθεί τη χρήση της τεχνητής νοημοσύνης σε όλες τις επιχειρήσεις και μπορεί να ανιχνεύσει πότε οι εργαζόμενοι χρησιμοποιούν μη εγκεκριμένα εργαλεία, να αποκλείουν επιθέσεις και να διασφαλίζουν τη συμμόρφωση.
Η Witness AI αυτή την εβδομάδα συγκέντρωσε 58 εκατομμύρια δολάρια από την αύξηση πάνω από 500% του ARR και την κλιμάκωση του αριθμού των εργαζομένων κατά 5 φορές τον τελευταίο χρόνο, καθώς οι επιχειρήσεις προσπαθούν να κατανοήσουν τη σκιώδη χρήση AI και να κλιμακώσουν την τεχνητή νοημοσύνη με ασφάλεια. Ως μέρος της συγκέντρωσης κεφαλαίων του Witness AI, η εταιρεία ανακοίνωσε νέες ασφάλειες ασφάλειας τεχνητής νοημοσύνης.
«Οι άνθρωποι χτίζουν αυτούς τους πράκτορες τεχνητής νοημοσύνης που αναλαμβάνουν τις εξουσιοδοτήσεις και τις δυνατότητες των ανθρώπων που τους διαχειρίζονται και θέλετε να βεβαιωθείτε ότι αυτοί οι πράκτορες δεν είναι απατεώνες, δεν διαγράφουν αρχεία, δεν κάνουν κάτι λάθος», είπε στο ETechnch, ο Rick Caccia, συνιδρυτής και Διευθύνων Σύμβουλος της Witness AI.
Εκδήλωση Techcrunch
Σαν Φρανσίσκο
|
13-15 Οκτωβρίου 2026
Η Meftah βλέπει τη χρήση πρακτόρων να αυξάνεται «εκθετικά» σε ολόκληρη την επιχείρηση. Για να συμπληρώσει αυτή την άνοδο – και το επίπεδο ταχύτητας μηχανής των επιθέσεων με τεχνητή νοημοσύνη – αναλυτής Η Λίζα Γουόρεν προβλέπει ότι το λογισμικό ασφαλείας AI θα γίνει μια αγορά 800 δισεκατομμυρίων δολαρίων έως 1,2 τρισεκατομμύρια δολάρια μέχρι το 2031.
«Πιστεύω ότι η παρατηρησιμότητα και τα πλαίσια χρόνου εκτέλεσης για την ασφάλεια και τον κίνδυνο θα είναι απολύτως απαραίτητα», είπε ο Meftah.
Ως προς το πώς τέτοιες νεοφυείς επιχειρήσεις σχεδιάζουν να ανταγωνιστούν μεγάλους παίκτες όπως AWS, Google, Salesforce και άλλοι που έχουν ενσωματώσει εργαλεία διακυβέρνησης τεχνητής νοημοσύνης στις πλατφόρμες τους, είπε ο Meftah, «η ασφάλεια της τεχνητής νοημοσύνης και η ασφάλεια των πρακτόρων είναι τόσο τεράστια», υπάρχει χώρος για πολλές προσεγγίσεις.
Πολλές επιχειρήσεις «θέλουν μια αυτόνομη πλατφόρμα, από άκρο σε άκρο, για να παρέχει ουσιαστικά αυτή την παρατηρησιμότητα και τη διακυβέρνηση γύρω από την τεχνητή νοημοσύνη και τους πράκτορες», είπε.
Ο Caccia σημείωσε ότι το Witness AI ζει στο επίπεδο υποδομής, παρακολουθώντας τις αλληλεπιδράσεις μεταξύ των χρηστών και των μοντέλων AI, αντί να ενσωματώνει χαρακτηριστικά ασφαλείας στα ίδια τα μοντέλα. Και αυτό ήταν σκόπιμα.
«Επιλέξαμε σκόπιμα ένα μέρος του προβλήματος όπου το OpenAI δεν μπορούσε εύκολα να σας υποθέσει», είπε. “Λοιπόν σημαίνει ότι καταλήγουμε να ανταγωνιζόμαστε περισσότερο με τις παλαιού τύπου εταιρείες ασφαλείας παρά με τα μοντέλα. Οπότε το ερώτημα είναι πώς θα νικήσετε τους;”
Από την πλευρά του, ο Caccia δεν θέλει η Witness AI να είναι μία από τις νεοφυείς επιχειρήσεις που θα αποκτήσουν απλώς. Θέλει η εταιρεία του να είναι αυτή που αναπτύσσεται και γίνεται κορυφαίος ανεξάρτητος πάροχος.
«Το CrowdStrike το έκανε στο τελικό σημείο [protection]. Ο Splunk το έκανε στο SIEM. Η Okta το έκανε με ταυτότητα», είπε. «Κάποιος περνάει και στέκεται δίπλα στα μεγάλα παιδιά…και φτιάξαμε το Witness για να το κάνει αυτό από την πρώτη μέρα.
Via: techcrunch.com
