Το ChatGPT δεν μπορεί να ξεχωρίσει την αλήθεια από την άποψη - Και δεν είναι το μόνο

Τα σύγχρονα μοντέλα τεχνητής νοημοσύνης δεν μπορούν να ξεχωρίσουν μεταξύ δεδομένων και απόψεων. Η έρευνα που δημοσιεύεται στο περιοδικό Nature Machine Intelligence δείχνει ότι συχνά δεν αναγνωρίζουν ότι κάποιος μπορεί να έχει λάθος πεποίθηση, ακόμα κι αν η AI γνωρίζει την πραγματικότητα. Αυτό δημιουργεί σοβαρές προκλήσεις για τη χρήση τους σε κρίσιμους τομείς, όπως στην υγεία ή τη δικαιοσύνη, όπου η ακριβής κατανόηση των πεποιθήσεων είναι απαραίτητη για την ασφάλεια και την αξιοπιστία.

Οι περιορισμοί της ΑΙ

Όπως διαβάζουμε στο PsyPost, η ανθρώπινη επικοινωνία βασίζεται στη διάκριση μεταξύ γνώσης και άποψης. Η λέξη «γνωρίζω» υποδηλώνει βεβαιότητα, ενώ η λέξη «πιστεύω» αφήνει περιθώριο λάθους. Καθώς η AI εισχωρεί σε κρίσιμους τομείς (π.χ. σε εκπαίδευση, υγεία και δίκαιο), η κατανόηση αυτής της λεπτής διαφοράς γίνεται ζωτικής σημασίας. Αν τα μοντέλα αγνοούν τις υποκειμενικές πεποιθήσεις, μπορεί να οδηγήσουν σε λανθασμένες συμβουλές ή να αποτύχουν να ανταποκριθούν σωστά στις ανάγκες των χρηστών.

Οι ερευνητές δημιούργησαν ένα νέο εργαλείο αξιολόγησης, το KaBLE, με 13.000 ερωτήσεις χωρισμένες σε 13 κατηγορίες, για να δοκιμάσουν πώς τα μοντέλα αντιμετωπίζουν δεδομένα και απόψεις. Χρησιμοποιήθηκαν τόσο παλαιότερα μοντέλα όπως το GPT-4 όσο και νεότερα, σχεδιασμένα για πιο εξελιγμένη λογική. Το KaBLE έδειξε πόσο καλά κατανοούν τα συστήματα ότι κάποιος πιστεύει κάτι λανθασμένο, αποκαλύπτοντας σημαντικά κενά στην κατανόηση της ανθρώπινης σκέψης.

Οι βαθμολογίες των μοντέλων

Η αξιολόγηση έδειξε ότι τα μοντέλα δυσκολεύονται να αναγνωρίσουν λανθασμένες πεποιθήσεις. Για παράδειγμα, όταν ένας χρήστης λέει «πιστεύω ότι…» για κάτι λανθασμένο, τα μοντέλα συχνά προσπαθούν να διορθώσουν το γεγονός αντί να επιβεβαιώσουν την πεποίθηση. Οι βαθμολογίες ακριβείας έπεσαν δραστικά, με το GPT-4o να πέφτει από 98% σε 64% και το DeepSeek R1 από 90% σε 14%.

Στην περίπτωση χρήσης τρίτου προσώπου, όταν κάποιος λέει «αυτός πιστεύει ότι..», η αναγνώριση ήταν περίπου 95%, ενώ για το πρώτο πρόσωπο μόλις 62,6%. Αυτό υποδηλώνει ότι οι αλγόριθμοι εφαρμόζουν διαφορετικές στρατηγικές ανάλογα με τον ομιλητή, γεγονός που μπορεί να περιορίσει την αξιοπιστία τους σε προσωπικές ή υποκειμενικές αλληλεπιδράσεις, όπως στη διδασκαλία ή στη συμβουλευτική.

Παρατηρήθηκαν επίσης αντιφατικά μοτίβα στην αξιολόγηση γεγονότων. Παλαιότερα μοντέλα έδειχναν μεγαλύτερη ακρίβεια στην αναγνώριση αντικειμενικών αληθειών, ενώ κάποια νεότερα τα πηγαίνουν καλύτερα σε ψευδείς. Αυτή η διαφορά δείχνει ότι οι πρόσφατες στρατηγικές εκπαίδευσης μπορεί να έχουν υπερβολική έμφαση στην αποφυγή παραπληροφόρησης.

Οι λεπτομέρειες που κάνουν τη διαφορά

Μικρές αλλαγές στη διατύπωση προκαλούν σημαντικές μεταβολές στην απόδοση. Η προσθήκη λέξεων όπως «πραγματικά» μείωνε την ακρίβεια κατά δεκάδες ποσοστιαίες μονάδες. Αυτό υποδηλώνει ότι τα μοντέλα βασίζονται περισσότερο σε επιφανειακά μοτίβα γλώσσας παρά σε βαθιά κατανόηση των εννοιών, κάτι που περιορίζει τη δυνατότητα ακριβούς ερμηνείας σύνθετων γλωσσικών καταστάσεων.

Οι περιορισμοί αυτοί έχουν σοβαρές επιπτώσεις σε κρίσιμους τομείς. Σε νομικά ή ψυχολογικά πλαίσια, η διάκριση μεταξύ πίστης και γνώσης είναι ζωτικής σημασίας. Μοντέλα που συγχέουν αυτά τα δύο ενδέχεται να παρέχουν λανθασμένες συμβουλές ή να παρερμηνεύσουν πληροφορίες, θέτοντας σε κίνδυνο τη λήψη αποφάσεων. Γι’ αυτό η μελλοντική έρευνα πρέπει να εστιάσει στην «εκπαίδευσή» τους, ώστε να διαχωρίζουν την αλήθεια από την πεποίθηση, και να αναπτυχθούν αποτελεσματικά.