Η Microsoft αντέκρουσε τους ισχυρισμούς ότι τα πολλαπλά ζητήματα που σχετίζονται με την έγχυση και το sandbox που εγείρονται από έναν μηχανικό ασφαλείας στον βοηθό Copilot AI συνιστούν ευπάθειες ασφαλείας.
Η ανάπτυξη υπογραμμίζει ένα αυξανόμενο χάσμα μεταξύ του τρόπου με τον οποίο οι πωλητές και οι ερευνητές ορίζουν τον κίνδυνο σε συστήματα παραγωγής τεχνητής νοημοσύνης.
Ευπάθειες τεχνητής νοημοσύνης ή γνωστοί περιορισμοί;
“Τον περασμένο μήνα, ανακάλυψα 4 τρωτά σημεία στο Microsoft Copilot. Έκτοτε έκλεισαν τις υποθέσεις μου δηλώνοντας ότι δεν πληρούν τις προϋποθέσεις για δυνατότητα συντήρησης.” αναρτήθηκε μηχανικός κυβερνοασφάλειας John Russell στο LinkedIn.
Συγκεκριμένα, τα ζητήματα που αποκαλύφθηκαν από τον Russell και αργότερα απορρίφθηκαν από τη Microsoft ως μη πληροφόρηση ως ευπάθειες ασφαλείας περιλαμβάνουν:
Από αυτά, η παράκαμψη περιορισμού μεταφόρτωσης αρχείων είναι ιδιαίτερα ενδιαφέρουσα. Το Copilot μπορεί γενικά να μην επιτρέπει τη μεταφόρτωση “επικίνδυνων” μορφών αρχείων. Ωστόσο, οι χρήστες μπορούν απλώς να τις κωδικοποιήσουν σε συμβολοσειρές κειμένου base64 και να επιλύσουν τον περιορισμό.
“Μόλις υποβληθεί ως αρχείο απλού κειμένου, το περιεχόμενο περνάει από αρχικούς ελέγχους τύπου αρχείου, μπορεί να αποκωδικοποιηθεί εντός της περιόδου λειτουργίας και το ανακατασκευασμένο αρχείο αναλύεται στη συνέχεια — παρακάμπτοντας αποτελεσματικά τους ελέγχους πολιτικής μεταφόρτωσης”, εξηγεί ο Russell.
Γρήγορα ακολούθησε μια συζήτηση για τη θέση του μηχανικού με την κοινότητα ασφαλείας να προσφέρει διαφορετικές απόψεις.
Ο Raj Marathe, ένας έμπειρος επαγγελματίας στον τομέα της κυβερνοασφάλειας, έγνεψε στην εγκυρότητα των ευρημάτων, αναφέροντας ένα παρόμοιο θέμα που είπε είχε παρατηρήσει άλλοτε:
“Ήμουν μάρτυρας μιας επίδειξης πέρυσι όπου η άμεση ένεση ήταν κρυμμένη σε ένα έγγραφο του Word και μεταφορτώθηκε στο Copilot. Όταν το Copilot διάβασε το έγγραφο, τρελάθηκε και κλείδωσε τον χρήστη. Δεν ήταν ορατό ή άσπρο, αλλά ήταν έξυπνα μεταμφιεσμένο μέσα στο έγγραφο. Δεν έχω ακούσει ακόμη αν αυτό το άτομο ενημερώθηκε από τη Microsoft σχετικά με το εύρημα.”
Ωστόσο, άλλοι αναρωτήθηκαν αν σύστημα Η έγκαιρη αποκάλυψη θα πρέπει να θεωρείται ευπάθεια.
“Το πρόβλημα με αυτά είναι ότι είναι σχετικά γνωστά. Τουλάχιστον τα μονοπάτια είναι.” υποστήριξε ερευνητής ασφαλείας Cameron Criswell.
“Θα ήταν γενικά δύσκολο να εξαλειφθεί χωρίς να εξαλειφθεί η χρησιμότητα. Όλα αυτά δείχνουν ότι οι LLMs εξακολουθούν να μην μπορούν [separate] δεδομένα από την οδηγία.”
Ο Criswell υποστηρίζει ότι μια τέτοια συμπεριφορά αντικατοπτρίζει έναν ευρύτερο περιορισμό μεγάλων μοντέλων γλώσσας, τα οποία δυσκολεύονται να διακρίνουν αξιόπιστα μεταξύ δεδομένων και οδηγιών που παρέχονται από τον χρήστη. Στην πράξη, αυτό σημαίνει ότι εάν μπορούν να εισαχθούν λανθάνουσες οδηγίες, μπορεί να συμβάλουν σε ζητήματα όπως η δηλητηρίαση δεδομένων ή η ακούσια αποκάλυψη πληροφοριών.
Ο Russell, ωστόσο, αντεπιχείρησε ότι ανταγωνιστικοί βοηθοί τεχνητής νοημοσύνης όπως ο Anthropic Claude δεν είχαν κανένα πρόβλημα «να αρνηθούν όλες αυτές τις μεθόδους που βρήκα να λειτουργούν στο Copilot», αποδίδοντας το πρόβλημα στην έλλειψη επαρκούς επικύρωσης εισόδου.
ΕΝΑ σύστημα Το prompt αναφέρεται στις κρυφές οδηγίες που καθοδηγούν τη συμπεριφορά ενός μηχανισμού AI και, εάν δεν έχει σχεδιαστεί σωστά, μπορεί να περιλαμβάνει εσωτερικούς κανόνες ή λογική που θα μπορούσαν να βοηθήσουν έναν εισβολέα.
Το έργο OWASP GenAI παίρνει μια πιο διαφοροποιημένη άποψηταξινομώντας την άμεση διαρροή συστήματος ως δυνητικό κίνδυνο μόνο όταν οι προτροπές περιέχουν ευαίσθητα δεδομένα ή χρησιμοποιούνται ως έλεγχοι ασφαλείας, αντί να αντιμετωπίζεται η ίδια η άμεση αποκάλυψη ως αυτόνομη ευπάθεια:
Εν ολίγοις: η αποκάλυψη της προτροπής του συστήματος από μόνη της δεν παρουσιάζει τον πραγματικό κίνδυνο — ο κίνδυνος ασφάλειας εναπόκειται στα υποκείμενα στοιχεία, είτε πρόκειται για αποκάλυψη ευαίσθητων πληροφοριών, παράκαμψη προστατευτικών κιγκλιδωμάτων συστήματος, ακατάλληλο διαχωρισμό προνομίων κ.λπ.
Ακόμα κι αν δεν αποκαλυφθεί η ακριβής διατύπωση, οι εισβολείς που αλληλεπιδρούν με το σύστημα είναι σχεδόν βέβαιο ότι θα μπορούν να προσδιορίσουν πολλά από τα προστατευτικά κιγκλιδώματα και τους περιορισμούς μορφοποίησης που υπάρχουν στη γλώσσα προτροπής του συστήματος κατά τη χρήση της εφαρμογής, την αποστολή δηλώσεων στο μοντέλο και την παρατήρηση των αποτελεσμάτων.”
Η στάση της Microsoft για τα τρωτά σημεία της τεχνητής νοημοσύνης
Η Microsoft αξιολογεί όλες τις αναφορές που σχετίζονται με ελαττώματα τεχνητής νοημοσύνης σε σχέση με τις διαθέσιμες στο κοινό γραμμή σφαλμάτων.
Ένας εκπρόσωπος της Microsoft είπε στο BleepingComputer ότι οι αναφορές εξετάστηκαν αλλά δεν πληρούσαν τα κριτήρια της εταιρείας για ευπάθεια εξυπηρέτησης:
“Εκτιμούμε το έργο της κοινότητας ασφαλείας στη διερεύνηση και την αναφορά πιθανών ζητημάτων… Αυτός ο ανιχνευτής έχει αναφέρει αρκετές περιπτώσεις που αξιολογήθηκαν ως εκτός πεδίου εφαρμογής σύμφωνα με τα δημοσιευμένα μας κριτήρια.
Υπάρχουν διάφοροι λόγοι για τους οποίους μια υπόθεση μπορεί να είναι εκτός πεδίου εφαρμογής, συμπεριλαμβανομένων περιπτώσεων όπου δεν ξεπερνιέται ένα όριο ασφαλείας, ο αντίκτυπος περιορίζεται στο περιβάλλον εκτέλεσης του αιτούντος χρήστη ή παρέχονται άλλες πληροφορίες χαμηλών προνομίων που δεν θεωρείται ευπάθεια.”
Τελικά, η διαμάχη καταλήγει σε ορισμούς και προοπτικές.
Ενώ ο Russell θεωρεί ότι οι συμπεριφορές άμεσης έγχυσης και sandbox εκθέτουν σημαντικό κίνδυνο, η Microsoft τις αντιμετωπίζει ως αναμενόμενους περιορισμούς, εκτός εάν ξεπερνούν ένα σαφές όριο ασφαλείας, όπως η ενεργοποίηση μη εξουσιοδοτημένης πρόσβασης ή εξαγωγής δεδομένων.
Αυτό το κενό στον τρόπο με τον οποίο ορίζεται ο κίνδυνος τεχνητής νοημοσύνης είναι πιθανό να παραμείνει ένα επαναλαμβανόμενο σημείο τριβής καθώς αυτά τα εργαλεία αναπτύσσονται ευρύτερα σε εταιρικά περιβάλλοντα.
Καθώς το MCP (Model Context Protocol) γίνεται το πρότυπο για τη σύνδεση LLM με εργαλεία και δεδομένα, οι ομάδες ασφαλείας προχωρούν γρήγορα για να διατηρήσουν αυτές τις νέες υπηρεσίες ασφαλείς.
Αυτό το δωρεάν φύλλο εξαπάτησης περιγράφει 7 βέλτιστες πρακτικές που μπορείτε να αρχίσετε να χρησιμοποιείτε σήμερα.
VIA: bleepingcomputer.com
