Αδιέξοδο η Ανίχνευση Τεχνητής Νοημοσύνης στην Εκπαίδευση (Leon Furze, 2024)

https://leonfurze.com/2024/04/09/ai-detection-in-education-is-a-dead-end   

Μετάφραση από το ChatGPT 

Όταν ζεις σε έναν κύκλο έρευνας / κοινωνικών μέσων, όπως εγώ, είναι εύκολο να θεωρείς κάποια πράγματα δεδομένα. Για παράδειγμα, πάντα υπερεκτιμώ τον αριθμό ανθρώπων που χρησιμοποιούν γενετική τεχνητή νοημοσύνη τακτικά στην καθημερινή τους δουλειά.

Η πραγματικότητα, από τον Απρίλιο του 2024, είναι ότι η πλειονότητα των ανθρώπων μέσα και έξω από την εκπαίδευση δεν έχει τον χρόνο, το ενδιαφέρον ή την επιθυμία να χρησιμοποιήσει γενετική ΤΝ πέρα από δωρεάν εργαλεία όπως η μη επί πληρωμή έκδοση του ChatGPT.

Κάτι άλλο που θεωρώ δεδομένο είναι το γεγονός ότι τα εργαλεία ανίχνευσης ΤΝ δεν λειτουργούν. Από την κυκλοφορία του ChatGPT τον Νοέμβριο του 2022, τα πανεπιστήμια έχουν αντιμετωπίσει μια σειρά προϊόντων για την ανίχνευση γενετικής τεχνητής νοημοσύνης. Σε μεγάλο βαθμό, αυτά τα εργαλεία έχουν προκύψει από τον φόβο ότι τεχνολογίες βασισμένες σε μεγάλα γλωσσικά μοντέλα θα χρησιμοποιηθούν από μαθητές για να αντιγράψουν ή να παραπλανήσουν σε εργασίες αξιολόγησης.

Είναι μια κατανοητή και εντελώς έγκυρη ανησυχία, ειδικά δεδομένων των στατιστικών για το πόσοι μαθητές εμπλέκονται σε ακαδημαϊκή ανεντιμότητα — και το γεγονός ότι πολλές από αυτές τις μελέτες βασίζονται σε αυτοαναφορές σημαίνει ότι τα ποσοστά πιθανώς είναι πολύ υψηλότερα. Αλλά οι εταιρείες που αναπτύσσουν εργαλεία ανίχνευσης γενετικής ΤΝ συχνά εκμεταλλεύονται τους εκπαιδευτικούς φορείς με τρόπο που είναι αρπακτικός και καθοδηγείται κυρίως από εμπορικό και όχι ακαδημαϊκό ενδιαφέρον.

Υπάρχουν ήδη δεκάδες εργαλεία ανίχνευσης ΤΝ στην αγορά. Για να αποφύγω να δώσω δωρεάν διαφήμιση σε οποιοδήποτε από αυτά, δεν θα τα αναφέρω ονομαστικά εδώ. Αρκεί να πω ότι από τότε που άρχισα να εργάζομαι με γενετική τεχνητή νοημοσύνη πριν από δύο χρόνια, δεν έχω δει ακόμα κανένα εργαλείο ανίχνευσης που να είναι αξιόπιστο ή ακριβές.

Έξω από τον κύκλο μου, όπου έχω εύκολη πρόσβαση σε πρόσφατη έρευνα και την ικανότητα να δοκιμάζω αυτά τα εργαλεία μόνος μου, πολλοί εκπαιδευτικοί φορείς εξακολουθούν να είναι στο σκοτάδι σχετικά με αυτά τα εργαλεία και μπορούν να παραπλανηθούν σε μια ψευδή αίσθηση ασφάλειας από τις εταιρείες που τα πωλούν. (Leon Furze)

---

Πώς Λειτουργούν τα Εργαλεία Ανίχνευσης ΤΝ

Αντίθετα με τα παραδοσιακά εργαλεία ελέγχου λογοκλοπής, που συγκρίνουν κείμενα με μια μεγάλη βάση δεδομένων υπάρχοντος κειμένου, τα εργαλεία ανίχνευσης ΤΝ χρησιμοποιούν αντιστοίχιση προτύπων για να εντοπίσουν κείμενα που έχουν δημιουργηθεί από ΤΝ.

Τα γλωσσικά μοντέλα λειτουργούν επεξεργαζόμενα τεράστια ποσά δεδομένων κειμένου και μαθαίνοντας πιθανοτικές κανόνες για το πώς λειτουργεί η γλώσσα, και μετά χρησιμοποιούν αυτούς τους κανόνες για να δημιουργούν νέο κείμενο.

Ωστόσο, τα μοτίβα που παράγονται από αυτά τα μοντέλα μερικές φορές έχουν χαρακτηριστικά που είναι πιο προβλέψιμα από τα ανθρώπινα — όπως έλλειψη ποικιλίας στη δομή των προτάσεων, υπερβολική χρήση συγκεκριμένων λέξεων ή προβλέψιμο μήκος προτάσεων και παραγράφων.

Τα εργαλεία ανίχνευσης βασίζονται σε αυτούς τους τύπους μοτίβων και, σε ορισμένες περιπτώσεις, χρησιμοποιούν και παραδοσιακές μεθόδους ανίχνευσης λογοκλοπής για να εντοπίσουν κείμενα που μπορεί να έχουν αναπαραχθεί σχεδόν αυτούσια από τις βάσεις εκπαίδευσης του μοντέλου. (Leon Furze)

---

Γιατί Δεν Λειτουργούν

Αν και τα εργαλεία ανίχνευσης μπορούν να εντοπίσουν μερικά παραγόμενα κείμενα, υπάρχουν πολλά σημεία στα οποία αποτυγχάνουν, καθιστώντας τα ακατάλληλα ως μέτρο ακαδημαϊκής ακεραιότητας:

• Τα μεγάλα γλωσσικά μοντέλα εξελίσσονται πολύ γρήγορα — πιο ισχυρά μοντέλα παράγουν πολύ πιο ποικίλο και λιγότερο προβλέψιμο κείμενο, μειώνοντας την αποτελεσματικότητα των εργαλείων μέχρι αυτά να ενημερωθούν ξανά.

• Είναι σχετικά εύκολο να “ξεγελάσει” κανείς τα εργαλεία με προηγμένες τεχνικές εισαγωγής (π.χ. τροποποίηση προτροπών για μεγαλύτερη ποικιλία), ώστε το κείμενο να μοιάζει περισσότερο ανθρώπινο. (Leon Furze)

---

Ζήτημα Ισότητας

Ο συγγραφέας παρουσιάζει ένα υποθετικό σενάριο με τέσσερις μαθητές που κάνουν την ίδια εργασία:

• Ο ένας έχει περιορισμένη πρόσβαση σε τεχνολογία και χρησιμοποιεί δωρεάν εργαλεία,

• Ένας άλλος είναι φοιτητής με δεύτερη γλώσσα και χρησιμοποιεί ChatGPT για μετάφραση,

• Ένας τρίτος από οικογένεια με λίγες πόρους χρησιμοποιεί βοηθητικά εργαλεία για να καταλάβει την εργασία,

• Η τέταρτη, από πλούσια οικογένεια, χρησιμοποιεί ένα ισχυρό συνδρομητικό μοντέλο για να δημιουργήσει ολόκληρη την απάντηση.

Τα εργαλεία ανίχνευσης μπορεί να χαρακτηρίσουν περισσότερο ως ΤΝ-generated τις εργασίες των δύο πρώτων και λιγότερο τις εργασίες της τέταρτης — παρά το γεγονός ότι αυτή ενδεχομένως χρησιμοποίησε τη ΤΝ με πιο “παραπλανητικό” τρόπο. Αυτό δείχνει πώς τα εργαλεία μπορούν να τιμωρούν άδικα ορισμένους μαθητές και να κάνουν τις ανισότητες χειρότερες. (Leon Furze)

---

Πρόβλημα Εργασίας για Εκπαιδευτικούς

Η χρήση αυτών των εργαλείων, σε αντίθεση με τα παραδοσιακά συστήματα ελέγχου λογοκλοπής, δεν δίνει σαφή αποτελέσματα· απαιτούνται πολλές ώρες αξιολόγησης και αναλύσεων, πράγμα που προσθέτει επιπλέον φόρτο εργασίας σε εκπαιδευτικούς που ήδη βρίσκονται στο όριο εξάντλησης. (Leon Furze)

---

Νέα Έρευνα

Πρόσφατη έρευνα που εξέτασε πάνω από 800 δείγματα γραφής διαπίστωσε ότι η μέση ακρίβεια των εργαλείων ήταν περίπου 39,5%, και έπεσε στο 22,1% όταν εφαρμόστηκαν τεχνικές για να παρακαμφθούν. Επιπλέον, υπήρξαν υψηλά ποσοστά ψευδών κατηγοριών ανθρώπινου γραπτού ως ΤΝ. (Leon Furze)

Αυτό υπογραμμίζει τον κίνδυνο τόσο για άδικες κατηγορίες μαθητών όσο και για περιπτώσεις όπου η παραβίαση πάει απαρατήρητη. (Leon Furze)

---