Πριν από μερικές ημέρες ανακοινώθηκε από το Υπουργείο Υγείας μία ακόμα "ΑΙ εφαρμογή", αυτή τη φορά υποτίθεται για τον έλεγχο των επιχειρήσεων που πιθανόν πραγματοποιούν ιατρικές πράξεις χωρίς την απαραίτητη υποδομή και άδεια λειτουργίας. Υποτίθεται ότι το σύστημα θα μπορεί να εντοπίζει αυτόματα πιθανές περιπτώσεις παρανομίας σαρώνοντας πηγές δεδομένων και αποφασίζοντας μέσω ΑΙ. Ταυτόχρονα, οι πολίτες θα μπορούν να ελέγχουν σε πραγματικό χρόνο αν μια τέτοια επιχείρηση έχει ή όχι τις απαιτούμενες άδειες για συγκεκριμένες ιατρικές πράξεις.
Υπήρξαν πολλά σχόλια, αλλά δεν έγινε λεπτομερής ανάλυση όσων παρουσιάστηκαν στη σχετική ανοικτή ενημέρωση, με πίνακες και στοιχεία. Ζητήθηκε από την Ένωση Πληροφορικών Ελλάδας (ΕΠΕ) να σχολιάσει σε σχετικά ρεπορτάζ την εφαρμογή και τα νούμερα αυτά, σε σχέση με την εφικτότητα, το βαθμό υποστήριξης από ΑΙ (αν και κατά πόσο υφίσταται), καθώς και το κατά πόσο είναι ρεαλιστικός ένας τέτοιος έλεγχος από τους πολίτες.
Στο URL [3] υπάρχει η αναλυτική παρουσίαση του Medwatch [5], στο οποίο δίνεται ιδιαίτερη προσοχή στα νούμερα, όπως περιγράφεται παρακάτω.
Μεθοδολογική ανάλυση
Υπάρχουν τρία πράγματα που πρέπει να σχολιαστούν: (α) μεθοδολογία,
(β) πειραματικό πρωτόκολλο, (γ) αποτελέσματα.
Αυτά, αν δεχτούμε ότι τα δύο βασικά, η διαπίστωση του προβλήματος
και η σκοπιμότητα μιας (όποιας) λύσης είναι λογικά και αποδεκτά
επί της αρχής.
(α) Μεθοδολογία: Αυτό που περιγράφεται είναι ένα
τυπικό σύστημα "σάρωσης" (scrapping) με κάποιους προκαθορισμένους
κανόνες ανάλυσης. Σε τεχνικούς όρους, είναι ένα σύστημα rule-based
που βασίζεται σχεδόν αποκλειστικά σε keyword-based filtering. Ίσως
κάποια από τα χαρακτηριστικά να εντοπίζονται μέσω πιο σύνθετης
γλωσσικής ανάλυσης (LLM), όμως σύμφωνα με τον πίνακα στο slide 7
[5] σχεδόν όλα αφορούν αναζήτηση σε αντίστοιχες βάσεις δεδομένων
με αντίστοιχα ερωτήματα (SQL queries). Επίσης, από τα πρωταρχικά
δεδομένα εισόδου που αναφέρονται στο slide 4 [5], μόνο το πρώτο
και ίσως το δεύτερο παρέχει επιβεβαιωμένες πληροφορίες σε επίπεδο
αξιοποιήσιμο από ένα τέτοιο σύστημα data mining - Τα υπόλοιπα
προσθέτουν εξαιρετικά μεγάλο ποσοστό "θορύβου", όπως φαίνεται και
από τα αποτελέσματα (παρακάτω). Στην παρουσίαση αναφέρεται μεν ότι
στην πιλοτική δοκιμή δεν υπάρχει πλήρης διασύνδεση με άλλες
κεντρικές και αξιόπιστες πηγές δεδομένων, όμως αυτό αυτομάτως
πλήττει την αξιοπιστία και τη χρησιμότητα της ίδιας της
παρουσίασης.
(β) Πειραματικό πρωτόκολλο: Όπως αναφέρθηκε, η συλλογή
δεδομένων έγινε μέσω scrapping από όλες τις διαθέσιμες πηγές. Στη
σημείο αυτό δεν διευκρινίζεται πως έγινε η επιλογή, δηλαδή πως
διασφαλίζεται ότι το δείγμα είναι σωστό (π.χ. επίκαιρο),
αντιπροσωπευτικό (π.χ. γεωγραφικά), ισοβαρές ή όχι ως προς τις
πηγές (π.χ. πλειοψηφία από social media?), και γενικά αν είναι
στατιστικά σημαντικό και αντιπροσωπευτικό του προβλήματος. Για
παράδειγμα, από τις δύο πρώτες πηγές στο slide 4 [5] προκύπτει ότι
υπάρχει σύνολο πολύ μεγαλύτερο από το δείγμα που χρησιμοποιήθηκε
σύμφωνα με το slide 10 [5]. Αν η δειγματοληψία έγινε με τους
σωστούς κανόνες αυτό είναι αποδεκτό, όμως εδώ δεν παρέχονται αυτές
οι πληροφορίες.
(γ) Αποτελέσματα: Υπάρχουν κατά βάση στα δύο slides 10
και 11 [5]. Από το πρώτο παρατηρούμε ότι στην κατηγορία "γκρι" =
"Δεν έχει σαρωθεί ή δεν βρέθηκε ψηφιακή παρουσία" (βλ. slide 8
[5]) ανήκουν το 86,5% ως και 93,5% των δειγμάτων ανά κατηγορία
δομής, με 90,6% στο σύνολο (7757/8564). Αυτό σημαίνει ότι το
συγκεκριμένο σύστημα λειτουργεί με "ευαισθησία" περίπου 6,5-13,5%
και 9,4% στο σύνολο. Αντίστοιχα, στα υποσύνολα που όντως
ελέγχθηκαν o ο εντοπισμός "ευρημάτων" (κόκκινο-κίτρινο) κυμαίνεται
σε πάνω από 81% ((231+424)/(231+424+152)). Στο slide 11 [5] το
νούμερο αυτό φαίνεται αρκετά μικρότερο στο 51,5% (5069/9838), αλλά
δεν δίνεται περαιτέρω εξήγηση. Τα δύο αυτά χαρακτηριστικά
απόδοσης, δηλαδή πάνω από 90% αδυναμία εντοπισμού-ελέγχου και στο
10% που απομένει ένα 51-81% είναι εντοπισμός ως πιθανό εύρημα,
καταδεικνύουν ένα σύστημα που αυτή τη στιγμή δεν
αποδεικνύει τη χρησιμότητά του επί της αρχής (feasibility study).
Για παράδειγμα, σε συστήματα αυτόματης διάγνωσης μέσω Η/Υ και τα
δύο αυτά νούμερα πρέπει να είναι πολύ κάτω του 50%, τυπικά γύρω
στο 20-25% θεωρούνται αποδεκτά ανάλογα με το πόσο επεμβατική είναι
η εξέταση. Παρόμοια ισχύουν και σε εξετάσεις εκτός Η/Υ, όπως στα
screening rapid tests για επιμολύνσεις στο γενικό πληθυσμό, όπου
μπορούμε να αποδεχτούμε μεγάλο το δεύτερο νούμερο (false positive)
επειδή είναι εύκολη μια δεύτερη επανάληψη, αλλά είναι χρήσιμο μόνο
όταν το πρώτο είναι επίσης πολύ μεγάλο (μαζικοί έλεγχοι, στο
σύνολο του πληθυσμού, όχι μόνο σε ένα 10%).
Συμπεράσματα - Τι μας λένε τα παραπάνω αποτελέσματα
- Επί της αρχής, ένα τέτοιο εργαλείο ίσως να είναι χρήσιμο. Αυτό όμως απαιτεί συγκεκριμένες διαδικασίες ώστε να είναι νόμιμο (πρόσβαση σε πηγές δεδομένων), ειδικά όταν εμπλέκεται ο απλός πολίτης χωρίς ειδική άδεια να κάνει τέτοια αναζήτηση.
- Δεν πρόκειται για σύστημα ΑΙ, παρά μόνο ίσως σε ένα πολύ μικρό ποσοστό στο αρχικό στάδιο (scrapping). Η διασταύρωση βασίζεται ξεκάθαρα σε keywords και γίνεται με τυποποιημένες αναζητήσεις σε βάσεις δεδομένων.
- Ο πυρήνας του συστήματος βασίζεται σε στατικό rule-based μοντέλο "φιλτραρίσματος" για τον εντοπισμό πιθανών κόκκινων-κίτρινων περιπτώσεων. Δεν χρησιμοποιεί βασικούς αλγορίθμους Μηχανικής Μάθησης, όπως clustering, outlier detection, statistical filtering, κτλ.
- Από τα αποτελέσματα της πιλοτικής δοκιμής δεν επιβεβαιώνεται η αποτελεσματικότητα της μεθόδου και της πρακτικής χρησιμότητας (feasibility study). Αναφέρεται ότι αυτό επηρεάζεται από τη μη διασύνδεση με περισσότερες επίσημες πηγές, όμως αυτό δεν λέει στην ουσία κάτι για το αν ως προσέγγιση λειτουργεί ή όχι, σύμφωνα με τα αποτελέσματα που παρουσιάζονται εδώ.
- Αυτό που μπορεί να μείνει ως το πιο πρακτικό στοιχείο της ανακοίνωσης-παρουσίασης είναι η ροή του μοντέλου (pipeline) στο slide 5 [5] και οι συγκεκριμένες περιγραφές "χρωματικού" χαρακτηρισμού δομών και περιπτώσεων, αλλά μόνο ως γενική ιδέα - όχι απαραίτητα με τη μορφή έτοιμων συμπερασματικών κανόνων if-then (εξαιρετικά περιοριστικό ως προσέγγιση).
Αναφορές:
- https:// www.news247.gr/ygeia/georgiadis-pliris-elegxos-sta-social- media-gia-olous-tou-giatrous/
- https:// www.news247.gr/ygeia/ergaleio-ai-gia-elegxo-sta-iatreia- anakoinonei-o-georgiadis-pos-tha-leitourgei/
- https:// www.news247.gr/ygeia/medwatch-posous-giatrous-tsakose-stin- proti-efarmogi-pos-leitourgei/
- https:// www.news247.gr/politiki/medwatch-pira-apo-tin-antipolitefsi- kanenas-algorithmos-den-ipokathista-ton-elegxo/
- Παρουσίαση: "Medwatch - Ενημέρωση προς τον Υπουργό Υγείας" (pdf) -- βλ. πηγή [3].
Σχόλια
Δημοσίευση σχολίου