Το πειραματικό μοντέλο τεχνητής νοημοσύνης της OPENAI πέτυχε επίδοση χρυσού μεταλλίου στη Διεθνή Μαθηματική Ολυμπιάδα (IMO), όπως ανακοίνωσε τον προηγούμενο μήνα ο ερευνητής της εταιρείας, Alexander Wei. Το επίτευγμα αυτό αντιστοιχεί σε επίπεδο που πετυχαίνει λιγότερο από το 9% των ανθρώπινων διαγωνιζομένων κάθε χρόνο, σηματοδοτώντας μια σημαντική πρόοδο στις μαθηματικές ικανότητες της τεχνητής νοημοσύνης.
Η ανακοίνωση προκάλεσε αντιδράσεις καθώς η OPENAI φέρεται να παραβίασε το αίτημα των διοργανωτών της IMO προς τις εταιρείες τεχνητής νοημοσύνης να περιμένουν μέχρι τις 28 Ιουλίου για να μοιραστούν τα αποτελέσματά τους. Σύμφωνα με αναφορές, το πειραματικό μοντέλο αντιμετώπισε τα έξι προβλήματα απόδειξης του διαγωνισμού υπό τους ίδιους περιορισμούς με τους ανθρώπινους διαγωνιζόμενους: 4,5 ώρες ανά συνεδρία, χωρίς πρόσβαση στο διαδίκτυο ή τη χρήση αριθμομηχανών.
Ωστόσο, η νομιμότητα του ισχυρισμού της OPENAI αμφισβητείται από πολλές πηγές με εσωτερική γνώση της διαδικασίας, καθώς η εταιρεία αξιολόγησε μόνη της τα αποτελέσματά της, στην IMO. Η OPENAI σχεδιάζει να δημοσιεύσει τις αποδείξεις και τα κριτήρια βαθμολόγησης για δημόσια αξιολόγηση, ενώ υποστηρίζει ότι το επίτευγμά της διαφέρει από προηγούμενες προσπάθειες τεχνητής νοημοσύνης σε μαθηματικά προβλήματα Ολυμπιάδας, οι οποίες βασίζονταν σε εξειδικευμένα συστήματα απόδειξης θεωρημάτων που συχνά υπερέβαιναν τα χρονικά όρια των ανθρώπων.
Η ερευνητική ομάδα, με επικεφαλής τον Alex Wei και υποστήριξη από τους Sheryl Hsu και Noam Brown, δεν είχε αρχικά σχεδιάσει να συμμετάσχει στον διαγωνισμό, αλλά αποφάσισε να αξιολογήσει την εργασία της μετά από υποσχόμενα αποτελέσματα στις δοκιμές. Η OPENAI υποστηρίζει ότι το μοντέλο της επεξεργάστηκε τα προβλήματα ως απλό κείμενο και δημιούργησε αποδείξεις σε φυσική γλώσσα, λειτουργώντας όπως ένα τυπικό γλωσσικό μοντέλο παρά ως ένα εξειδικευμένο μαθηματικό σύστημα.
"Τα μαθηματικά αποτελούν ένα πεδίο δοκιμής για τη συλλογιστική - δομημένη, αυστηρή και δύσκολο να πλαστογραφηθεί", ανέφερε η εταιρεία. "Αυτό δείχνει ότι οι κλιμακούμενες μέθοδοι γενικής χρήσης μπορούν πλέον να ξεπεράσουν χειροκίνητα συντονισμένα συστήματα σε εργασίες που εδώ και καιρό θεωρούνταν ανέφικτες".
Η ανακοίνωση έρχεται μετά τον ισχυρισμό της GOOGLE τον Ιούλιο του 2024 ότι τα μοντέλα της AlphaProof και AlphaGeometry 2 κέρδισαν ισοδύναμο αργυρού μεταλλίου στην IMO. Ωστόσο, τα συστήματα της GOOGLE τότε απαιτούσαν έως και τρεις ημέρες ανά πρόβλημα αντί του ανθρώπινου ορίου των 4,5 ωρών και χρειάζονταν ανθρώπινη βοήθεια για τη μετάφραση των προβλημάτων σε τυπική μαθηματική γλώσσα.
Η πρόωρη ανακοίνωση της OPENAI ώθησε τη GOOGLE DEEPMIND, η οποία είχε προετοιμάσει τα δικά της αποτελέσματα IMO για την συμφωνημένη ημερομηνία, να προχωρήσει νωρίτερα τη δική της ανακοίνωση, σημειώνοντας αντίστοιχη χρυσή επίδοση φέτος. Η HARMONIC, μια άλλη εταιρεία τεχνητής νοημοσύνης που συμμετείχε στον διαγωνισμό, αποκάλυψε σε ανάρτηση στο X στις 20 Ιουλίου ότι "το Διοικητικό Συμβούλιο της IMO μας ζήτησε, μαζί με τις άλλες κορυφαίες εταιρείες τεχνητής νοημοσύνης που συμμετείχαν, να περιμένουμε μέχρι τις 28 Ιουλίου για να δημοσιεύσουμε τα αποτελέσματά μας".
Απαντώντας στις αντιδράσεις, ο ερευνητής της OPENAI Noam Brown ανέφερε στο X, "Δεν ήμασταν σε επαφή με την IMO. Μίλησα με έναν διοργανωτή πριν από την ανάρτηση για να τον ενημερώσω. Ζήτησε να περιμένουμε μέχρι το τέλος της τελετής λήξης για να σεβαστούμε τα παιδιά, και το κάναμε". Ωστόσο, ένας συντονιστής της IMO ανέφερε ότι η OPENAI στην πραγματικότητα ανακοίνωσε πριν από την τελετή λήξης, αντικρούοντας τον ισχυρισμό του Brown και χαρακτηρίζοντας τις ενέργειες της OPENAI ως "αγενείς και ακατάλληλες".
Η Διεθνής Μαθηματική Ολυμπιάδα, που διεξάγεται από το 1959, αποτελεί μία από τις πιο απαιτητικές δοκιμασίες μαθηματικής συλλογιστικής. Περισσότερες από 100 χώρες στέλνουν έξι συμμετέχοντες η καθεμία, με τους διαγωνιζόμενους να αντιμετωπίζουν έξι προβλήματα απόδειξης σε δύο συνεδρίες των 4,5 ωρών. Τα προβλήματα συνήθως απαιτούν βαθιά μαθηματική διορατικότητα και δημιουργικότητα παρά ωμή υπολογιστική ισχύ.
Η χρονική στιγμή των αποτελεσμάτων της OPENAI εξέπληξε αρκετούς ειδικούς του χώρου, οι οποίοι έδιναν περίπου 18% πιθανότητα σε οποιοδήποτε σύστημα τεχνητής νοημοσύνης να κερδίσει χρυσό μετάλλιο IMO έως το 2025.
