Για να δούμε, λοιπόν, τι συμβαίνει με την περίφημη κατάταξη PISA του ΟΟΣΑ, η οποία κυκλοφορεί σε αμέτρητες αναρτήσεις τις τελευταίες ημέρες. Θα αναφέρω μερικά σχόλια ως peer-reviewer αν ήταν paper σε περιοδικό ή συνέδριο:
1) Το πειραματικό πρωτόκολλο, ο τρόπος δηλαδή που επιλέγονται οι διαδικασίες παραγωγής-συλλογής των δεδομένων, καθώς και το περιεχόμενο (τι και πως το μετράμε), παραπέμπουν 100% σε ποιοτικά, όχι ποσοτικά στοιχεία. Δεν υπάρχει τρόπος να βάλεις νούμερο στο "ποσοστό προσοχής" ή στη "διάρκεια συγκέντρωσης". Πρέπει να μετράς συγκεκριμένα πράγματα, με τον ίδιο τρόπο, στο ίδιο περιβάλλον. Η συλλογή απαντήσεων σε ερωτηματολόγια δεν εμπίπτει σε αυτή τη διαδικασία.
2) Τόσο το περιβάλλον, όσο και το περιεχόμενο δεν είναι συμβατό παντού. Άλλο πράγμα κάνουν τα σχολεία στην κεντρική Ευρώπη, άλλο στην κεντρική Αφρική. Επίσης, έχουν άλλα μέσα. Στα μεν μπορεί να λείπει ένας διαδραστικός πίνακας, στα δεν μπορεί να λείπει η σκεπή γιατί κάνουν μάθημα σε κοτέτσι (στην κυριολεξία). Άρα, η ομογενοποίηση των στατιστικών (aggregation) που γίνεται εδώ είναι επιστημονικά λάθος.
3) Έστω ότι τα παραπάνω είναι όλα σωστά. Τα αποτελέσματα δείχνουν ότι ο μέσος όρος από 35+ κράτη κατακριμνίζεται. Δηλαδή, σε όλες τις χώρες τα εκπαιδευτικά συστήματα γίνονται χειρότερα, ή οι μαθητές πιο "χαζοί" (γνωσιακά ανίκανοι), ή και τα δύο. Αυτό φυσικά δεν μπορεί να ισχύει.
Ούτε βέβαια ο ΟΟΣΑ μπορεί να είναι ο μοναδικός φορέας στον πλανήτη Γη που ξέρει το σωστό και μπορεί να διαπιστώσει το πρόβλημα του ανθρώπινου είδους. Η ραγδαία πτώση του baseline δείχνει λάθος μεθοδολογία, όχι μαζική και ταυτόχρονη απο-εκπαίδευση όλων των 15χρονων του πλανήτη.
4) Σε μερικά από τα αποτελέσματα γίνεται συσχέτιση με το %ΑΕΠ των χωρών που δίνεται στην Παιδεία. Και διαπιστώνεται ότι δεν επηρεάζει καθοριστικά το εκπαιδευτικό αποτέλεσμα. Δηλαδή, σύμφωνα με αυτά που εξετάζονται στην PISA, είτε κάνεις μάθημα σε 15χρονα σε κλιματιζόμενες
αίθουσες με διαδραστικούς πίνακες και Η/Υ, είτε σε υπαίθριο κοτέτσι χωρίς στέγη και μέσα στη λάσπη, το γνωσιακό αποτέλεσμα στους μαθητές θα πρέπει να είναι το ίδιο. Γιατί; Γιατί έτσι.
5) Έστω, και πάλι, ότι όλα τα παραπάνω είναι σωστά. Η μεθοδολογία, οι μετρήσεις, τα στατιστικά. Για την ερμηνεία, όμως, χρειάζεται συγκεκριμένη συλλογιστική και αιτιατότητα. Δηλαδή, όταν λέμε ότι "σχετίζεται με τη χρήση smartphones" ή "με τη χρήση ΑΙ", θα πρέπει να βγάζει νόημα. Χρήση ΑΙ στο
πόσο κάνει 1+1 δεν υπάρχει. Επίσης δεν υπάρχει χρήση smartphones στο κοτέτσι χωρίς σκεπή. Γενικά, η ερμηνεία λάθος αποτελεσμάτων είναι λάθος εξ' ορισμού, όποια "λογική" εξήγηση κι αν δίνεται.
* Συμπέρασμα peer-review: "Reject"
Αιτιολόγηση: Αμφισβητούμενη μεθοδολογία και περιεχόμενο δεδομένων, μη ορθή στατιστική ανάλυση, ανεπαρκής υποστήριξη των συμπερασμάτων από τα δεδομένα. Ευχαριστούμε για τη συμμετοχή, γράψτε το πάλι και να μας ξανάρθετε με σωστό paper.
Υ.Γ.1: Υπάρχει αυτό που λέγεται "cognitive bias" και "scenario fulfillment". Ο ΟΟΣΑ εδώ και πολλά χρόνια πασχίζει να περάσει τη γραμμή ότι τα σχολεία, δηλαδή τα δημόσια (συντριπτική πλειοψηφία), κάνουν πολύ χάλια δουλειά. Το υποσυνείδητο μήνυμα είναι: διαλύστε τα, αφήστε την "ιδιωτική πρωτοβουλία" και την "αγορά" να ρυθμίσει το πως θα στηθούν, τι θα διδάσκουν και τι απόφοιτους θα βγάζουν. Δηλαδή, ξεχάστε τις γενικές γνώσεις, μάθετε στα 15χρονα υδραυλικά και κατασκευές, ώστε στα 18 να δουλεύουν ήδη αντί να σπουδάζουν. Τα λένε έτσι ξεκάθαρα και άλλοι μέσα στα κεντρικά όργανα στην ΕΕ, όχι μόνο ο ΟΟΣΑ. Αλλά και εκτός. "Όποιος σπουδάζει πάνω από ένα master το πολύ, απλά δεν θέλει να δουλέψει, είναι τεμπέλης", είχε πει εδώ στην Ελλάδα πολιτικός, πριν συνεχίσει τη συνέντευξη μιλώντας για "το πρόβλημα του brain drain".
Υ.Γ.2: Το αν υπάρχει ή όχι πρόβλημα στα σχολεία και στην απόδοση των μαθητών, ξεχωριστά για κάθε κράτος και συνθήκες, είναι ένα άκρως σημαντικό ζήτημα που πρέπει να δούμε και να το διορθώσουμε. Φυσικά όχι μέσω ενός αμιγώς οικονομο-τεχνικού φορέα (ΟΟΣΑ), αφού εδώ μιλάμε για
Παιδεία και Παιδαγωγική (ανήλικους μαθητές). Σίγουρα όχι μέσω μιας κατάταξης-κουβά που μοιάζει περισσότερο με διαγωνισμό τραγουδιού Eurovision.
Υ.Γ.3: Ο ΟΑΣΑ βαφτίζει το παρακάτω διάγραμμα ως "positive relationship". Δεν υπάρχει τέτοιο πράγμα στη Στατιστική. Είτε κάνεις μετασχηματισμό δεδομένων για τυχόν μη γραμμική συσχέτιση, είτε λες ότι υπάρχει correlation διαφορετικό κατά τμήματα - που δεν έχει σχέση με την κλίση της γραμμής αλλά με το πόσο κοντά συγκεντρώνονται τα σημεία αναφοράς κοντά σε αυτό.
Σχόλια
Δημοσίευση σχολίου