Αν τροφοδοτήσεις με το πλέον σπουδαίο νομικό έγγραφο των Ηνωμένων Πολιτειών της Αμερικής -το Σύνταγμα των Η.Π.Α.- ένα εργαλείο που σχεδιάστηκε ειδικά για να ανιχνεύει κείμενο που έχει δημιουργηθεί από Τεχνητή Νοημοσύνη όπως για παράδειγμα το ChatGPT, είναι σχεδόν βέβαιο ότι θα σου πει ότι γράφτηκε από Τεχνητή Νοημοσύνη (AI).
Εκτός λοιπόν και αν ο James Madison λοιπόν ήταν ταξιδιώτης του χρόνου, αποκλείεται να έχει συμβεί κάτι τέτοιο. Γιατί όμως τα εργαλεία ανίχνευσης γραφής Τεχνητής Νοημοσύνης σφάλουν παρέχοντας ψευδώς θετικά;
Ανάμεσα σε ειδήσεις για καθηγητές που έχουν επιδείξει υπερβολικό ζήλο «κόβοντας» μια ολόκληρη τάξη λόγω υποψίας χρήσης εργαλείων γραφής τεχνητής νοημοσύνης και παιδιών που κατηγορήθηκαν ψευδώς ότι χρησιμοποίησαν το ChatGPT για τις εργασίες τους, η παραγωγική ή δημιουργική Τεχνητή Νοημοσύνη έχει αναστατώσει τον τομέα της παιδείας και της εκπαίδευσης. Κάποιοι πιστεύουν ότι αντιπροσωπεύει μια υπαρξιακή κρίση. Οι δάσκαλοι και καθηγητές που βασίζονται σε εκπαιδευτικές μεθόδους που σχεδιάστηκαν και αναπτύχθηκαν τον περασμένο αιώνα προσπαθούν να βρουν τρόπους να διατηρήσουν το στάτους κβο, την υπάρχουσα δηλαδή κατάσταση των πραγμάτων και την παράδοση του να βασίζονται σε εργασίες και εκθέσεις ως εργαλεία για την αξιολόγηση και της μέτρηση της γνώσης των μαθητών σε ένα συγκεκριμένο μάθημα ή θέμα.
Όσο δελεαστικό και βολικό ωστόσο και αν είναι να χρησιμοποιείς εργαλεία Τεχνητής Νοημοσύνης για τον εντοπισμό κειμένων που έχουν δημιουργηθεί από Τεχνητή Νοημοσύνη, τα μέχρι στιγμής στοιχεία αποδεικνύουν ότι δεν μπορούμε να βασιστούμε πάνω τους καθώς δεν είναι αξιόπιστα. Λόγω των πολλών ψευδών θετικών αποτελεσμάτων, τα εργαλεία ανίχνευσης γραφής Τεχνητής Νοημοσύνης όπως τα GPTZero, ZeroGPT και Text Classifier της OpenAI δεν είναι αξιόπιστα στην ανίχνευση κειμένου που έχει δημιουργηθεί από μεγάλα γλωσσικά μοντέλα (LLM) όπως το ChatGPT.
Αν τροφοδοτήσεις το GPTZero με ένα τμήμα του Συντάγματος των Η.Π.Α., το εργαλείο λέει ότι το κείμενο είναι «πιθανόν να έχει γραφτεί εξ ολοκλήρου από Τεχνητή Νοημοσύνη». Παρόμοιες απαντήσεις δίνουν και άλλοι ανιχνευτές κειμένου Τεχνητής Νοημοσύνης, κάτι που βεβαίως αποτελεί μεγάλη αστοχία. Το ίδιο συμβαίνει και με ορισμένα αποσπάσματα κειμένου από την Βίβλο. Και σε αυτή τη περίπτωση οι ανιχνευτές απαντούν ότι πρόκειται για αποσπάσματα που είναι πιθανό να έχουν γραφτεί από Τεχνητή Νοημοσύνη. Γιατί λοιπόν οι ανιχνευτές γραφής ή κειμένου Τεχνητής Νοημοσύνης μας επιστρέφουν ψευδώς θετικές απαντήσεις; Η απάντηση είναι στον τρόπο που έχουν… εκπαιδευτεί. Μπορεί οι διάφοροι ανιχνευτές γραφής ή κειμένου Τεχνητής Νοημοσύνης να χρησιμοποιούν ελαφρώς διαφορετικές μεθόδους ανίχνευσης ωστόσο σε όλες τις περιπτώσεις υπάρχει ένα κοινό στοιχείο: Υπάρχει ένα μοντέλο Τεχνητής Νοημοσύνης που έχει εκπαιδευτεί σε ένα μεγάλο σώμα κειμένου (αποτελούμενο από εκατομμύρια παραδείγματα γραφής) και σε ένα σύνολο κανόνων που καθορίζουν αν η γραφή είναι πιθανότερο να έχει δημιουργηθεί από έναν άνθρωπο ή την Τεχνητή Νοημοσύνη. Για παράδειγμα, στην καρδιά του GPTZero βρίσκεται ένα νευρωνικό δίκτυο που έχει εκπαιδευτεί σε ένα μεγάλο, ποικιλόμορφο σώμα κειμένου που έχει γραφτεί από τον άνθρωπο και έχει παραχθεί από Τεχνητή Νοημοσύνη, με έμφαση στην αγγλική πεζογραφία. Το σύστημα αξιολογεί και ταξινομεί στη συνέχεια το κείμενο που του δόθηκε με βάσει κάποιους δείκτες, όπως τo «perplexity» (δείκτης τυχαιότητας) και τo «burstiness» (δείκτης διακύμανσης της τυχαιότητας).
Στη μηχανική εκμάθηση, η «περιπλοκότητα» ή «τυχαιότητα» είναι ένας δείκτης μέτρησης που δείχνει κατά πόσο ένα τμήμα κειμένου αποκλίνει από αυτό που έχει μάθει ένα μοντέλο Τεχνητής Νοημοσύνης (AI) κατά τη διάρκεια της εκπαίδευσης του. Οι άνθρωποι τείνουν να γράφουν με μεγαλύτερη περιπλοκότητα ή τυχαιότητα. Για παράδειγμα, συχνά ανάμεσα σε μεγαλύτερες προτάσεις παρεμβάλλουν μικρότερες, λιγότερο σύνθετες προτάσεις. Με λίγα λόγια, οι άνθρωποι είναι περισσότερο «χαοτικοί συγγραφείς» -ή τουλάχιστον αυτό αποδεικνύεται στη θεωρία- αλλά έχουν την ικανότητα και να γράφουν και με χαμηλό δείκτη τυχαιότητας, ειδικά όταν μιμούνται κάποιο επίσημο στυλ γραφής, το οποίο χρησιμοποιείται στη νομική ή σε άλλα ακαδημαϊκά επαγγέλματα. Επίσης, πολλές από τις εκφράσεις που χρησιμοποιούν είναι εκπληκτικά κοινότυπες. Οπότε, η σκέψη πίσω από τη μέτρηση της τυχαιότητας είναι ότι όταν γράφουν κείμενο, τα μοντέλα Τεχνητής Νοημοσύνης όπως το ChatGPT θα προσεγγίσουν ένα ζήτημα βασιζόμενα σε αυτό που ξέρουν καλύτερα και το οποίο βεβαίως προέρχεται από τα δεδομένα εκπαίδευσης τους. Όσο πιο κοντά βρίσκεται το κείμενο που αξιολογούν στα δεδομένα εκπαίδευσης τους, τόσο χαμηλότερος είναι και ο δείκτης περιπλοκότητας ή τυχαιότητας ή προβλεψιμότητας για άλλους.
Ας υποθέσουμε ότι θέλουμε να μαντέψουμε την επόμενη λέξη στη φράση «Έχω όρεξη για ένα φλυτζάνι _____». Οι περισσότεροι άνθρωποι θα συμπλήρωναν το κενό με τις λέξεις «καφέ» ή «τσάι». Ένα γλωσσικό μοντέλο θα έκανε το ίδιο, επειδή αυτές οι φράσεις είναι κοινότυπες. Ο δείκτης περιπλοκότητας ή τυχαιότητας λοιπόν στη συγκεκριμένη περίπτωση θα ήταν εξαιρετικά χαμηλός επειδή η εκτίμηση είναι σχεδόν σίγουρη. Αν ωστόσο στη θέση της λέξης «καφέ» ή «τσάι» βάλουμε τη λέξη «ελάφια» (δηλαδή «Έχω όρεξη για ένα φλυτζάνι ελάφια») τόσο οι άνθρωποι όσο και ένα καλά εκπαιδευμένο γλωσσικό μοντέλο θα εκπλαγούν αρκετά (ή θα μπερδευτούν) καθώς ο δείκτης «perplexity» θα ήταν μεγάλος.
Αν λοιπόν η γλώσσα σε ένα κομμάτι κειμένου δεν προκαλεί έκπληξη με βάση την εκπαίδευση του γλωσσικού μοντέλου, ο δείκτης «perplexity» θα είναι χαμηλός και επομένως ο ανιχνευτής κειμένου AI είναι πιθανότερο να ταξινομήσει το συγκεκριμένο κείμενο ως AI-generated. Και εδώ είναι που συμβαίνει το παράδοξο με το Σύνταγμα των Ηνωμένων Πολιτειών της Αμερικής. Η γλώσσα του Συντάγματος είναι τόσο «βαθιά ριζωμένη» στα γλωσσικά μοντέλα που την ταξινομούν λανθασμένα ως δημιουργούμενη από AI, εξού και το ψευδώς θετικό. Το κείμενο του Συντάγματος των Η.Π.Α. έχει τροφοδοτηθεί επανειλημμένα στα δεδομένα εκπαίδευσης όλων των μεγάλων γλωσσικών μοντέλων με αποτέλεσμα πολλά από αυτά τα μεγάλα γλωσσικά μοντέλα να δημιουργούν παρόμοιο κείμενο με αυτό του Συντάγματος ή άλλων εκπαιδευτικών κειμένων και για αυτό παρατηρείται αυτό το συναρπαστικό φαινόμενο. Ένα ακόμη ζήτημα με τους ανιχνευτές κειμένου Τεχνητής Νοημοσύνης είναι ότι οι άνθρωποι μπορούν να δημιουργήσουν αυθεντικό περιεχόμενο με χαμηλό δείκτη τυχαιότητας όπως όταν χρησιμοποιούν για παράδειγμα στο κείμενο τους διαρκώς κοινές φράσεις όπως την «Έχω όρεξη για ένα φλυτζάνι καφέ», κάτι που υπονομεύει βαθιά την αξιοπιστία των ανιχνευτών κειμένου Τεχνητής Νοημοσύνης.
Σε αυτό το σημείο εισέρχεται ο δείκτης «burstiness», μία άλλη ιδιότητα του κειμένου που λαμβάνουν υπόψη ορισμένοι ανιχνευτές κειμένου Τεχνητής Νοημοσύνης όπως ο GPTZero. Ο συγκεκριμένος δείκτης ουσιαστικά αξιολογεί τη μεταβλητότητα του μήκους και της δομής των προτάσεων σε ένα κείμενο. Οι ανθρώπινοι συγγραφείς παρουσιάζουν συχνά ένα περισσότερο δυναμικό στυλ γραφής, με αποτέλεσμα το κείμενο να αποτελείται από προτάσεις με διάφορα μήκη και να έχει ακανόνιστη σχετικά δομή. Για παράδειγμα, ένας άνθρωπος μπορεί να γράψει μία παράγραφο με μία μεγάλη, σύνθετη πρόταση ακολουθούμενη από μια σύντομη και απλούστερη πρόταση ή μπορεί να χρησιμοποιήσει μία «έκρηξη» (burst) επιθέτων σε μια πρόταση και κανένα επίθετο στην επόμενη πρόταση. Αυτή η μεταβλητότητα είναι φυσικό αποτέλεσμα της ανθρώπινης δημιουργικότητας και του αυθορμητισμού. Το κείμενο που δημιουργείται από την Τεχνητή Νοημοσύνη ωστόσο τείνει να είναι πιο συνεπές και ομοιόμορφο, τουλάχιστον σε αυτά τα πρώτα στάδια της ύπαρξης της. Τα γλωσσικά μοντέλα, που βρίσκονται ακόμη στα αρχικά στάδια της ωριμότητας τους δημιουργούν προτάσεις με τυπικά ή κανονικά μήκη και δομές. Αυτή η έλλειψη μεταβλητότητας μπορεί να οδηγήσει σε χαμηλή βαθμολογία «burstiness», υποδεικνύοντας ότι το κείμενο μπορεί να έχει δημιουργηθεί από Τεχνητή Νοημοσύνη.
Το «burstiness» πάντως δεν αποτελεί αλάνθαστη μέτρηση. Ο άνθρωπος μπορεί να γράψει και με εξαιρετικά δομημένο, συνεπές στυλ με αποτέλεσμα το κείμενο του να παρουσιάζει χαμηλή βαθμολογία «burstiness». Ένα μοντέλο τεχνητής νοημοσύνης επίσης θα μπορούσε να εκπαιδευτεί κατά τέτοιο τρόπο ώστε να μιμείται την ανθρώπινη μεταβλητότητα στο μήκος και τη δομή των προτάσεων, με αποτέλεσμα το κείμενο να παρουσιάζει αυξημένη βαθμολογία «burstiness». Πράγματι, όσο βελτιώνονται τα γλωσσικά μοντέλα AI τόσο η γραφή τους μοιάζει περισσότερο με την ανθρώπινη. Αν και η τεχνολογία εξελίσσεται διαρκώς και οι ανιχνευτές κειμένου AI γίνονται όλο και ικανότερη, η πραγματικότητα είναι ότι δεν υπάρχει κάποιο εργαλείο που να μπορεί πάντα να ξεχωρίζει με ακρίβεια το κείμενο που έχει γραφτεί από Τεχνητή Νοημοσύνη. Δυστυχώς, τα περιθώρια σφάλματος είναι μεγάλα. Μήπως οι εξετάσεις στα πανεπιστήμια και τα εκπαιδευτικά ιδρύματα να γίνουν προφορικές; Λέμε τώρα…
