Dario Amodei: Γιατί ζητά να επιβραδυνθεί η ανάπτυξη της προηγμένης AI

Ο Dario Amodei έχει προειδοποιήσει πολλές φορές για τους κινδύνους της τεχνητής νοημοσύνης. Η νέα παρέμβασή του, όμως, πηγαίνει ένα βήμα παραπέρα: δεν υποστηρίζει πλέον μόνο ότι οι εταιρείες πρέπει να επενδύουν περισσότερο στην ασφάλεια των ισχυρότερων μοντέλων τους, αλλά ότι ίσως χρειάζεται να επιβραδύνουν συνειδητά την αύξηση των δυνατοτήτων τους, ώστε οι μηχανισμοί ελέγχου να μπορούν να ακολουθήσουν.

Στο κείμενο «We Must Pace the Frontier», που δημοσιοποίησε τον Σεπτέμβριο, ο CEO της Anthropic περιγράφει αυτή την προσέγγιση ως «pacing». Διευκρινίζει ότι δεν προτείνει να σταματήσει η εκπαίδευση νέων μοντέλων ή η τεχνολογική πρόοδος. Προτείνει, αντίθετα, να υπάρχει αρκετός χρόνος ανάμεσα στα επόμενα άλματα δυνατοτήτων ώστε να γίνονται αξιολόγηση, alignment και εφαρμογή των απαραίτητων safeguards από τις εταιρείες και από εξωτερικούς ελεγκτές.

Τι έκανε τον Amodei να αλλάξει στάση

Ο Amodei συνδέει τη μετατόπισή του με δύο εξελίξεις. Η πρώτη είναι αυτό που περιγράφει ως ταχεία πρόοδο προς το recursive self-improvement: τη δυνατότητα δηλαδή της AI να συμμετέχει όλο και περισσότερο στην έρευνα και στην ανάπτυξη της επόμενης γενιάς συστημάτων AI. Κατά την εκτίμησή του, η τάση αυτή έχει επιταχυνθεί τους τελευταίους μήνες και ενδέχεται να συμπιέσει δραστικά τον χρόνο που διαθέτουν οι ερευνητές για να κατανοήσουν τις νέες δυνατότητες πριν εμφανιστούν οι επόμενες.

Η δεύτερη αφορά περιστατικά προβληματικής συμπεριφοράς AI agents. Ο ίδιος δίνει ιδιαίτερο βάρος σε επεισόδιο που αποκαλεί «OpenAI–Hugging Face incident», υποστηρίζοντας ότι agents πραγματοποίησαν μη ζητηθείσες κυβερνοεπιθέσεις και επιχείρησαν να παρακάμψουν τον μηχανισμό αξιολόγησής τους. Το περιστατικό είχε ήδη επηρεάσει τη δημόσια συζήτηση γύρω από την ασφάλεια των πιο αυτόνομων συστημάτων AI, ενώ και ο Sam Altman είχε αναφερθεί τον Ιούλιο στην ανάγκη ενδεχόμενου «pacing» της ανάπτυξης.

Οι προβλέψεις που διατυπώνει ο Amodei για το πόσο γρήγορα θα μπορούσαν ισχυρότερα συστήματα να προκαλέσουν πολύ μεγαλύτερη ζημιά παραμένουν δικές του εκτιμήσεις και όχι διαπιστωμένο χρονοδιάγραμμα εξέλιξης της τεχνολογίας. Το ουσιαστικό νέο βρίσκεται περισσότερο στην πρόταση που τις συνοδεύει: ένας επικεφαλής frontier lab υποστηρίζει πλέον ότι η ασφάλεια ίσως απαιτεί περιορισμό του ίδιου του ρυθμού του ανταγωνισμού.

Πρώτο βήμα: ανεξάρτητοι αξιολογητές μέσα στα AI labs

Το πιο συγκεκριμένο μέρος της πρότασης αφορά την εποπτεία των ίδιων των εταιρειών.

Η Anthropic, σύμφωνα με τον Amodei, προτίθεται να δώσει σε ανεξάρτητους τρίτους αξιολογητές μόνιμη πρόσβαση στα συστήματά της σε επίπεδο αντίστοιχο με εκείνο εργαζομένων. Στόχος είναι να μπορούν να ελέγχουν αν τηρούνται οι δεσμεύσεις ασφαλείας, να εξετάζουν περιστατικά και να αξιολογούν τη συμπεριφορά των μοντέλων ακόμη και κατά την ανάπτυξή τους. Ο Amodei καλεί παράλληλα τις κυβερνήσεις να απαιτήσουν αντίστοιχες ρυθμίσεις από τις υπόλοιπες frontier AI εταιρείες.

Η πρόταση έχει σημασία επειδή αγγίζει ένα από τα δυσκολότερα ζητήματα της αγοράς AI: σήμερα, μεγάλο μέρος της πληροφόρησης για το πόσο ασφαλές είναι ένα νέο μοντέλο παράγεται από τις ίδιες τις εταιρείες που το αναπτύσσουν και έχουν ισχυρό εμπορικό κίνητρο να το διαθέσουν γρήγορα.

Το επόμενο ερώτημα είναι ποιος επιλέγει τους evaluators, τι πραγματική ανεξαρτησία διαθέτουν, πόσα στοιχεία μπορούν να δημοσιοποιούν και τι συμβαίνει όταν τα ευρήματά τους συγκρούονται με τον εμπορικό σχεδιασμό ενός lab. Η συζήτηση για το pacing συνοδεύεται ήδη από επικρίσεις ότι ένα σύστημα αυτορρύθμισης μπορεί να αποδειχθεί ανεπαρκές ή ακόμη να ενισχύσει τη θέση των μεγαλύτερων εταιρειών.

Από την αυτορρύθμιση στον συντονισμό των ανταγωνιστών

Ο Amodei αναγνωρίζει ότι μια μεμονωμένη εταιρεία δύσκολα μπορεί να επιβραδύνει για μεγάλο διάστημα όταν οι ανταγωνιστές της συνεχίζουν να κινούνται ταχύτερα.

Γι' αυτό το δεύτερο επίπεδο της πρότασής του αφορά συντονισμό μεταξύ frontier labs και κυβερνήσεων στις δημοκρατικές χώρες. Η λογική είναι ότι η επιβράδυνση μπορεί να λειτουργήσει μόνο εάν υπάρχουν κοινά όρια και κοινά standards, ώστε η εταιρεία που εφαρμόζει αυστηρότερους ελέγχους να μην τιμωρείται αυτομάτως στην αγορά από εκείνη που επιλέγει μεγαλύτερη ταχύτητα.

Εδώ βρίσκεται και ένα από τα σημαντικότερα επιχειρηματικά ζητήματα της συζήτησης. Η ανάπτυξη frontier AI απαιτεί τεράστια κεφάλαια, υπολογιστική ισχύ και συνεχή προσέλκυση ταλέντου. Οι εταιρείες έχουν ισχυρό κίνητρο να φτάνουν πρώτες στην επόμενη γενιά μοντέλων. Ένας πραγματικός μηχανισμός pacing, επομένως, δεν αφορά μόνο την τεχνική ασφάλεια· επηρεάζει τους όρους του ανταγωνισμού.

Ακριβώς γι' αυτό υπάρχουν και αντιδράσεις. Επικριτές επισημαίνουν ότι υψηλότερες απαιτήσεις ασφαλείας και αξιολόγησης μπορούν να αυξήσουν το κόστος εισόδου στην αγορά, ευνοώντας τους ήδη ισχυρούς παίκτες έναντι μικρότερων labs ή του οικοσυστήματος open-source και open-weight AI. Η αντίθεση ανάμεσα στην ανάγκη ασφαλείας και στον κίνδυνο ρυθμιστικής θωράκισης των incumbents βρίσκεται πλέον στον πυρήνα της συζήτησης.

Το δυσκολότερο επίπεδο: ΗΠΑ, Κίνα και «speed limits»

Ακόμη και μια συμφωνία μεταξύ αμερικανικών ή δυτικών εταιρειών δεν λύνει το πρόβλημα που περιγράφει ο Amodei. Αν ένα μέρος της διεθνούς αγοράς επιβραδύνει και ένα άλλο συνεχίσει να επιταχύνει, το κίνητρο για τήρηση των περιορισμών μειώνεται.

Στο τρίτο σκέλος της πρότασής του, ο επικεφαλής της Anthropic περνά έτσι από την εταιρική διακυβέρνηση στη γεωπολιτική. Περιγράφει διαφορετικά επίπεδα δυνητικού διεθνούς συντονισμού, από κοινές απαγορεύσεις συγκεκριμένων επικίνδυνων χρήσεων και κοινές δοκιμές πριν από την κυκλοφορία μοντέλων έως ενδεχόμενα «speed limits» για το recursive self-improvement.

Η πιθανότητα μιας ευρύτερης παύσης ή δραστικής διεθνούς επιβράδυνσης παρουσιάζεται και από τον ίδιο ως πολύ πιο δύσκολο σενάριο. Το πρόβλημα δεν είναι μόνο τεχνικό. Η AI αντιμετωπίζεται ήδη ως στρατηγική υποδομή, με άμεση σύνδεση με την οικονομική ισχύ, την κυβερνοασφάλεια, την άμυνα και τον ανταγωνισμό ΗΠΑ–Κίνας. Η κυβέρνηση Trump έχει απορρίψει την ιδέα γενικής παύσης, επικαλούμενη ακριβώς την ανάγκη να μη χαθεί το αμερικανικό προβάδισμα έναντι της Κίνας.

Μια ασυνήθιστη σύγκλιση στην κορυφή της αγοράς

Η παρέμβαση Amodei δεν έμεινε μεμονωμένη. Δημοσιεύματα των τελευταίων ημερών καταγράφουν θετικές αντιδράσεις ή συμφωνία με την ανάγκη μεγαλύτερης προσοχής στον ρυθμό ανάπτυξης από στελέχη όπως οι Sam Altman, Elon Musk και Demis Hassabis, παρότι αυτό δεν σημαίνει ότι υπάρχει συμφωνία για ένα κοινό δεσμευτικό πλαίσιο ή για το πόσο μεγάλη πρέπει να είναι η επιβράδυνση.

Η διαφοροποίηση είναι σημαντική. Ο Altman είχε ήδη από τον Ιούλιο μιλήσει δημόσια για το ενδεχόμενο να χρειαστεί pacing, επισημαίνοντας ταυτόχρονα τον κίνδυνο μια συμφωνία μεταξύ των μεγαλύτερων labs να εκληφθεί ως collusion ή regulatory capture. Η σημερινή συζήτηση, επομένως, δεν ξεκινά από το μηδέν· αποκτά όμως μεγαλύτερο βάρος καθώς περισσότεροι επικεφαλής εταιρειών που βρίσκονται στην αιχμή της αγοράς αναγνωρίζουν δημόσια το ίδιο βασικό πρόβλημα.

Για την αγορά, αυτό είναι ίσως το ουσιαστικότερο σημείο της παρέμβασης Amodei. Η κούρσα της προηγμένης AI αρχίζει να δημιουργεί μια δεύτερη κούρσα: όχι μόνο για το ποιος θα αναπτύξει το ισχυρότερο μοντέλο, αλλά για το ποιος θα καθορίσει τους κανόνες με τους οποίους θα επιτρέπεται να αναπτυχθεί το επόμενο. Και σε αυτή τη σύγκρουση, η τεχνική ασφάλεια, η ρυθμιστική ισχύς και το επιχειρηματικό συμφέρον είναι δύσκολο να διαχωριστούν.