Με την κυκλοφορία των πρώτων μεγάλων γλωσσικών μοντέλων (LLM), το έργο EuroLLM στοχεύει να προσφέρει ένα ανταγωνιστικό πολυγλωσσικό LLM και για τις 24 επίσημες ευρωπαϊκές γλώσσες. Τα πρώτα μοντέλα της EuroLLM, που ξεκίνησαν τον Σεπτέμβριο του 2024 και κυκλοφόρησαν με την άδεια ανοιχτού κώδικα Apache 2.0, αποτελούν παράδειγμα του τρόπου με τον οποίο η τεχνητή νοημοσύνη (AI) μπορεί να προσαρμοστεί στη γλωσσική πολυμορφία της Ευρώπης, ενθαρρύνοντας παράλληλα ένα καινοτόμο ευρωπαϊκό οικοσύστημα τεχνητής νοημοσύνης.
Ανάπτυξη ενός ανταγωνιστικού ευρωπαϊκού LLM
Τα πρώτα μοντέλα της EuroLLM, το EuroLLM-1.7B και το συνοδευτικό μοντέλο EuroLLM-1.7B-Instruct, έχουν ως στόχο να παρέχουν στους Ευρωπαίους χρήστες ένα ανταγωνιστικό LLM που μπορεί να λαμβάνει προτροπές και να παράγει κείμενο σε όλες τις επίσημες ευρωπαϊκές γλώσσες. Τα καθιερωμένα LLMs επικεντρώνονται συνήθως στα αγγλικά και σε μερικές ευρέως ομιλούμενες γλώσσες. Αντίθετα, το EuroLLM επιχειρεί να δώσει μια απάντηση σε αυτό εστιάζοντας σε ένα ευρύ φάσμα ομιλούμενων γλωσσών.
Για την ανάπτυξη πολύγλωσσων δυνατοτήτων, η EuroLLM εκπαίδευσε το μοντέλο EuroLLM-1.7B σε ένα εκτεταμένο σύνολο δεδομένων 4 τρισεκατομμυρίων tokens, αντιπροσωπευτικό των διαφορετικών πηγών δεδομένων και όλων των υπό εξέταση γλωσσών. Για την εκπαίδευση τελειοποίησης, το μοντέλο EuroLLM-1.7B-Instruct αναπτύχθηκε περαιτέρω χρησιμοποιώντας το Euroblocks, ένα πολύγλωσσο σύνολο δεδομένων που αναπτύχθηκε από την EuroLLM για εργασίες που ακολουθούν οδηγίες.
Ο δημιουργός του μοντέλου παρουσιάστηκε σε ένα έγγραφο που δημοσιεύθηκε στο Arxiv ότι τα μοντέλα EuroLLM επέδειξαν συγκρίσιμες, και σε ορισμένες περιπτώσεις ανώτερες, επιδόσεις με άλλα μοντέλα, συμπεριλαμβανομένων σημαντικών δεικτών αναφοράς LLM, όπως η Hellaswag και η Arc Challenge. Το Euro-LLMs-1.7B-Instruct ξεπερνούσε σημαντικά το Gemma-2B, το «ανοικτό μοντέλο» της Google που κατασκευάστηκε από την ίδια έρευνα με τα μοντέλα Gemini.
Ένα έργο ανοιχτού κώδικα ευρωπαϊκής καινοτομίας
Αναπτύσσοντας LLM διαθέσιμα σε όλες τις επίσημες ευρωπαϊκές γλώσσες, καθώς και σε άλλες μεγάλες γλώσσες, όπως τα ρωσικά, τα αραβικά και τα κινέζικα, το EuroLLM παρέχει στους ευρωπαίους και παγκόσμιους χρήστες πρόσβαση σε ανταγωνιστική τεχνολογία τεχνητής νοημοσύνης στις προτιμώμενες γλώσσες τους.
Το EuroLLM είναι ένα έργο που συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση και αποτελείται από μια κοινοπραξία εννέα εταίρων του έργου, συμπεριλαμβανομένων κορυφαίων ευρωπαϊκών πανεπιστημίων και καθιερωμένων τεχνικών εργαστηρίων έρευνας και μεταφραστικών εταιρειών τεχνητής νοημοσύνης, από την Ευρώπη αλλά και από όλο τον κόσμο. Το έργο συνδέεται επίσης με την κοινή επιχείρηση για την ευρωπαϊκή υπολογιστική υψηλών επιδόσεων (ΚΕ EuropHPCOB). Ως εκ τούτου, αποτελεί μέρος ενός ευρύτερου στρατηγικού στόχου για τη δημιουργία ενός ανταγωνιστικού και καινοτόμου ευρωπαϊκού οικοσυστήματος τεχνητής νοημοσύνης. Με τα δύο μοντέλα που κυκλοφόρησαν με άδεια ανοιχτού κώδικα, συμπεριλαμβανομένων των ανοικτών βαρών, το έργο έχει τη δυνατότητα να ενθαρρύνει την ευρωπαϊκή καινοτομία ανοιχτού κώδικα στην τεχνητή νοημοσύνη.
Παρουσιάζοντας τον εαυτό του ως ένα έργο ανοιχτού κώδικα και «ανοικτού βάρους», το EuroLLMs δημοσίευσε τα μοντέλα του στο HuggingFace μετά την κυκλοφορία του. Η απόφαση για τα μοντέλα ανοικτού κώδικα προσφέρει επίσης τη βάση για περαιτέρω καινοτόμο ανάπτυξη και καταδεικνύει τον τρόπο με τον οποίο ο μηχανισμός υπερυπολογιστικής της ΕΕ μπορεί να χρησιμοποιηθεί για την ανάπτυξη καινοτομίας ανοιχτού κώδικα.
Πηγή άρθρου: https://joinup.ec.europa.eu/collection/open-source-observatory-osor