Η μακριά ουρά δεν έχει εκπρόσωπο
Όταν η OpenAI δημοσίευσε το 2020 τα στοιχεία εκπαίδευσης του GPT-3, η Wikipedia αντιστοιχούσε σε περίπου 3 δισεκατομμύρια από τα 499 δισεκατομμύρια tokens του συνόλου, δηλαδή σε κάτι λιγότερο από 0,6%. Στην εκπαίδευση όμως της δόθηκε βάρος 3%, δηλαδή πενταπλάσιο από το μέγεθός της, επειδή οι μηχανικοί τη θεωρούσαν πηγή υψηλότερης ποιότητας. Η αξία της … Read more





