🧠 Πώς “σκέφτονται” τα LLMs όπως το ChatGPT;
Αναρωτήθηκες ποτέ πώς ένα μοντέλο όπως το ChatGPT παράγει τις απαντήσεις του;
Θα προσπαθήσω να το εξηγήσω απλά, όπως το καταλαβαίνω με βαση κάποιες πηγές που θα μοιραστώ στο τέλος του post.
Τα LLMs (Large Language Models) δεν σκέφτονται όπως ο άνθρωπος. Δεν κάνουν αναζήτηση στο διαδίκτυο και δεν “τραβάνε” έτοιμες απαντήσεις από κάποια live βάση δεδομένων.
Το web browsing που υπάρχει σε ορισμένες εκδόσεις του GPT είναι εξωτερική λειτουργία (tool), όχι default δυνατότητα του ίδιου του μοντέλου.
Δημιουργεί λοιπόν απαντήσεις (το LLM) βασισμένές σε μοτίβα που έμαθε κατά την εκπαίδευσή του σε τεράστιες ποσότητες δεδομένων. Τεράστειες, πως λέμε “Δεν μπορειτε να συλλάβετε το μέγεθος του σύμπαντος”. Τέτοια φάση, μεταφορικά, σε terrabytes.
Ο τρόπος λειτουργίας με απλά λόγια:
1️⃣ Δίνεις ένα ερώτημα (prompt).
2️⃣ Το σύστημα το σπάει σε μικρά κομμάτια (tokens).
3️⃣ Με βάση στατιστική πιθανότητα, προβλέπει ποιο token (λέξη ή μέρος λέξης) έχει τη μεγαλύτερη λογική να έρθει μετά. Και το κάνει αυτό λέξη-λέξη, μέχρι να ολοκληρωθεί η απάντηση.
Στο παρασκήνιο, χρησιμοποιεί:
– Training data, ιστορικότητα,
– Γλωσσικά μοτίβα
– Το πλαίσιο του prompt
– Ανθρώπινη ανατροφοδότηση (RLHF – Reinforcement Learning from Human Feedback)
Α) Αν η ερώτηση μοιάζει με κάτι που έχει ήδη “δει”, η απάντηση θα είναι πιο στοχευμένη.
Β) Αν είναι κάτι τελείως νέο, προσπαθεί να “συνθέσει” μια απάντηση βασισμένη σε σχετικά patterns γι’αυτό και οι απαντήσεις δεν είναι πάντα σωστές ή accurate.
⚠️ Σημαντικό: Τα LLMs δεν κατανοούν.
Δεν έχουν αντίληψη, συναίσθημα ή επίγνωση.
Είναι μηχανές πρόβλεψης και σύνθεσης γλώσσας. Πολύ εξελιγμένες, αλλά μηχανές.
Χρησιμοποιούν στατιστική πρόβλεψη.
Όταν τους δίνεις ένα κείμενο (π.χ. μια ερώτηση), προσπαθούν να προβλέψουν ποια είναι η πιο πιθανή επόμενη λέξη, βασισμένα σε ό,τι έχουν “μάθει” από τα δεδομένα εκπαίδευσής τους. Γι’αυτο και όσο περνάει ο καιρός, εκπαιδεύονται και γίνοται όλο και “καλύτερα” να το πω απλά.
Την επόμενη φορά που το ChatGPT σου δίνει απάντηση, keep in mind, δεν “γνωρίζει” κάτι. Εφτιαξε εκείνη την στιγμή την απάντηση συνδεοντας κομμάτια ενός puzzle. Γι’αυτο και το prompt training/engineering logic είναι πολύ βασικό για άρτια χρήση του εργαλείου αλλά και προσαρμογής του στις ανάγκες του end-user.
Sources
https://time.com/6238781/chatbot-chatgpt-ai-interview
https://www.wired.com/story/how-chatgpt-works-large-language-model
https://www.assemblyai.com/blog/decoding-strategies-how-llms-choose-the-next-word