Εβδομάδα 5: Μηχανική μάθηση και εξόρυξη δεδομένων

Σημειώσεις μελέτης βασισμένες στη Διάλεξη 5 του μαθήματος. Οι διαφάνειες, με τα παραδείγματα οπτικοποίησης και τα διαγράμματα, βρίσκονται στο Moodle.

Ως τώρα, για να λύσει ένα πρόβλημα ο υπολογιστής, του δίναμε εμείς τους κανόνες: τις καταστάσεις, τους τελεστές, την ευριστική συνάρτηση. Αυτή την εβδομάδα αλλάζει η οπτική: ο υπολογιστής μαθαίνει από δεδομένα. Βλέπουμε τη μηχανική μάθηση και πώς τη χρησιμοποιούν οι επιχειρήσεις μέσα από την εξόρυξη δεδομένων και την επιχειρηματική ευφυΐα.

Μηχανική μάθηση

Πού ανήκει

Η Τεχνητή Νοημοσύνη είναι ο ευρύτερος χώρος. Μέσα της βρίσκεται η μηχανική μάθηση (machine learning): αλγόριθμοι που μαθαίνουν από δεδομένα αντί να ακολουθούν κανόνες γραμμένους με το χέρι. Μέσα στη μηχανική μάθηση βρίσκεται η βαθιά μάθηση (deep learning), που χρησιμοποιεί νευρωνικά δίκτυα με πολλά επίπεδα. Η εξόρυξη δεδομένων (data mining) βρίσκεται στη συνάντηση της στατιστικής, των βάσεων δεδομένων, της αναγνώρισης προτύπων και της μηχανικής μάθησης.

Τι σημαίνει «μαθαίνω»

Ένα σύστημα μαθαίνει όταν, με την εμπειρία, κάνει την ίδια δουλειά καλύτερα την επόμενη φορά. Ένας συχνός ορισμός (Mitchell, 1997) το λέει με τρία στοιχεία: ένα πρόγραμμα μαθαίνει από την εμπειρία E σε μια εργασία T, αν η απόδοσή του P στην T βελτιώνεται με την E. Για ένα φίλτρο spam, T είναι η διάκριση των email, P το ποσοστό που χαρακτηρίζει σωστά και E τα email που έχουν ήδη σημειωθεί ως spam ή όχι.

Όπως ο άνθρωπος παρατηρεί τον κόσμο και φτιάχνει μια απλοποιημένη εικόνα του, ένα μοντέλο, έτσι και το σύστημα: η δημιουργία μοντέλων ή προτύπων (patterns) από ένα σύνολο δεδομένων λέγεται μηχανική μάθηση. Επειδή περνάμε από συγκεκριμένα παραδείγματα σε έναν γενικό κανόνα, μιλάμε για επαγωγική μάθηση (inductive learning).

Είδη μηχανικής μάθησης

Στη μάθηση με επίβλεψη υπάρχουν δύο είδη προβλημάτων:

• Ταξινόμηση (classification): η έξοδος είναι μια κατηγορία, π.χ. {spam, όχι spam}, {ναι, όχι}, ομάδα αίματος.
• Παρεμβολή ή παλινδρόμηση (regression): η έξοδος είναι ένας αριθμός, π.χ. η τιμή ενός σπιτιού ή η θερμοκρασία αύριο.

Ο αλγόριθμος ψάχνει μια συνάρτηση στόχου (target function) που υπολογίζει την εξαρτημένη μεταβλητή (την έξοδο, αυτό που θέλουμε να προβλέψουμε) από τις ανεξάρτητες μεταβλητές (τις εισόδους ή χαρακτηριστικά). Η βασική ιδέα, η υπόθεση επαγωγικής μάθησης: αν μια συνάρτηση ταιριάζει καλά σε ένα αρκετά μεγάλο σύνολο παραδειγμάτων, θα ταιριάζει καλά και σε παραδείγματα που δεν έχει δει.

Γνωστοί αλγόριθμοι μάθησης με επίβλεψη: πλησιέστερος γείτονας (nearest neighbor), Naive Bayes, δένδρα αποφάσεων, γραμμική παλινδρόμηση, μηχανές διανυσμάτων υποστήριξης (SVM) και νευρωνικά δίκτυα.

Στη μάθηση χωρίς επίβλεψη το σύστημα ανακαλύπτει μόνο του μοτίβα, με βάση μόνο τις ιδιότητες των δεδομένων. Δύο τυπικά αποτελέσματα είναι οι κανόνες συσχέτισης (association rules) και οι ομάδες (clusters), που προκύπτουν από τη διαδικασία της ομαδοποίησης (clustering).

Παράδειγμα: γραμμική παλινδρόμηση

Η απλή γραμμική παλινδρόμηση υποθέτει ότι η έξοδος y εξαρτάται γραμμικά από μία είσοδο x:

y = β₀ + β₁x + ε

όπου β₀ είναι το σημείο που η ευθεία τέμνει τον άξονα y, β₁ η κλίση και ε το σφάλμα. «Μαθαίνω» σημαίνει βρίσκω τα β₀ και β₁ που ταιριάζουν καλύτερα στα δεδομένα.

Έστω τέσσερις φοιτητές, με τις ώρες μελέτης της εβδομάδας και τον βαθμό τους:

Η ευθεία που ταιριάζει καλύτερα (με τη μέθοδο των ελαχίστων τετραγώνων) είναι y = 46,5 + 5,4x: κάθε επιπλέον ώρα μελέτης «αξίζει» περίπου 5,4 μονάδες. Για κάποιον που μελετά 5 ώρες, το μοντέλο προβλέπει 46,5 + 5,4 · 5 = 73,5. Στο MATLAB το ίδιο αποτέλεσμα δίνει η polyfit(x, y, 1), που επιστρέφει [5.4 46.5].

Νευρωνικά δίκτυα

Τα τεχνητά νευρωνικά δίκτυα είναι μοντέλα εμπνευσμένα από τους νευρώνες του εγκεφάλου. Μαθαίνουν τη σχέση ανάμεσα σε εισόδους και εξόδους αλλάζοντας τα βάρη (την ισχύ) των συνδέσεων ανάμεσα στους νευρώνες τους. Δεν τα προγραμματίζεις με κανόνες· τα εκπαιδεύεις με παραδείγματα. Ένα καλά εκπαιδευμένο δίκτυο γενικεύει, δηλαδή απαντά σωστά και σε παραδείγματα που δεν έχει δει. Είναι ιδιαίτερα χρήσιμα σε προβλήματα όπου είναι δύσκολο να γράψεις ένα ακριβές μαθηματικό μοντέλο.

• Με επίβλεψη: δίνουμε στο δίκτυο εισόδους μαζί με τη σωστή έξοδο. Το δίκτυο συγκρίνει τη δική του έξοδο με τη σωστή και διορθώνει τα βάρη του ώστε να την πλησιάσει. Μετά το δοκιμάζουμε με νέα δεδομένα.
• Χωρίς επίβλεψη: το δίκτυο ομαδοποιεί μόνο του τα δεδομένα· τις ομάδες πρέπει μετά να τις ερμηνεύσουμε εμείς. Ένα γνωστό παράδειγμα είναι οι αυτο-οργανούμενοι χάρτες (SOM), που τοποθετούν κοντά στον «χάρτη» ό,τι μοιάζει, π.χ. χώρες με παρόμοιους δείκτες ευημερίας.

Επιχειρηματική ευφυΐα

Η επιχειρηματική ευφυΐα (Business Intelligence, BI) είναι ένας όρος «ομπρέλα» για τα εργαλεία, τις τεχνολογίες και τις μεθόδους που μετατρέπουν τα δεδομένα σε πληροφορία, την πληροφορία σε αποφάσεις και τις αποφάσεις σε δράση. Στόχος της είναι να φτάνει η σωστή πληροφορία, τη σωστή στιγμή, στον άνθρωπο που πρέπει να πάρει μια απόφαση. Η επιχειρηματική ανάλυση (business analytics) είναι βασικό κομμάτι της.

Απαντά σε ερωτήματα όπως: ποιοι είναι οι καλύτεροι πελάτες και προμηθευτές μας; Ποιοι πελάτες κινδυνεύουμε να χάσουμε; Ποια προϊόντα φέρνουν το μεγαλύτερο κέρδος; Πώς βελτιώνεται η παραγωγικότητα;

Εργαλεία BI: λογιστικά φύλλα (spreadsheets), λογισμικό αναφορών και ερωτημάτων, OLAP (πολυδιάστατη ανάλυση), ψηφιακοί πίνακες ελέγχου (dashboards), εξόρυξη δεδομένων, οπτικοποίηση διαδικασιών και αποθήκες δεδομένων (data warehouses).

Ένα σύστημα BI στηρίζεται σε τέσσερα επίπεδα, από κάτω προς τα πάνω:

1. Μνήμη του οργανισμού: ιστορικά δεδομένα και γνώση που μαζεύονται με τον καιρό.
2. Ενοποίηση πληροφορίας: δεδομένα από πολλές πηγές (εσωτερικές και εξωτερικές, δομημένες και αδόμητες) γίνονται μία εικόνα.
3. Δημιουργία γνώσης (insight): νέα συμπεράσματα που βοηθούν στις αποφάσεις.
4. Παρουσίαση: η πληροφορία φτάνει στους χρήστες με τον πιο κατάλληλο τρόπο.

Οπτικοποίηση

Η οπτικοποίηση (visualisation) κάνει τα δεδομένα κατανοητά με μια ματιά. Πέρα από τα γνωστά ραβδογράμματα και διαγράμματα πίτας, υπάρχουν πιο εξειδικευμένες μορφές: streamgraphs για το πώς αλλάζουν πολλές κατηγορίες με τον χρόνο, διαγράμματα Sankey για ροές (π.χ. από πού έρχονται και πού πηγαίνουν οι επισκέπτες ενός site), treemaps για ιεραρχίες με μεγέθη, χάρτες νοημάτων (mind maps), σημασιολογικοί χάρτες, κινούμενα διαγράμματα (animation) και infographics.

Εξόρυξη δεδομένων

Η εξόρυξη δεδομένων (data mining) ψάχνει σε μεγάλα σύνολα δεδομένων για χρήσιμα μοτίβα που δεν φαίνονται με το μάτι. Μια τράπεζα θέλει να ξέρει ποιο προϊόν να προτείνει σε ποιον πελάτη· ένα σούπερ μάρκετ, σε ποιους να στείλει στοχευμένες προσφορές· ένα κολέγιο, ποια μαθήματα τείνουν να «κόβονται» μαζί.

Η εξόρυξη είναι το κεντρικό βήμα μιας ευρύτερης διαδικασίας, της ανακάλυψης γνώσης (Knowledge Discovery, KDD):

1. Στόχος: τι πρόβλημα λύνουμε και τι ξέρουμε ήδη για την περιοχή.
2. Σύνολο δεδομένων (dataset): ποια δεδομένα θα χρησιμοποιήσουμε.
3. Προεπεξεργασία: καθαρισμός από θόρυβο, ακραίες τιμές και κενά. Εδώ πηγαίνει συχνά το 60–80% της συνολικής δουλειάς.
4. Μετασχηματισμός: επιλογή χρήσιμων χαρακτηριστικών και μείωση των διαστάσεων.
5. Εξόρυξη: επιλογή μεθόδου (σύνοψη, ταξινόμηση, παλινδρόμηση, συσχέτιση, ομαδοποίηση), αλγορίθμου και παραμέτρων, και αναζήτηση μοτίβων.
6. Παρουσίαση και αξιολόγηση των μοτίβων, π.χ. με οπτικοποίηση.
7. Δράση: η γνώση μπαίνει σε χρήση, τεκμηριώνεται και παρουσιάζεται σε όσους ενδιαφέρονται.

Προβλεπτική και περιγραφική εξόρυξη

Στην προβλεπτική εξόρυξη χωρίζουμε τα δεδομένα σε δύο μέρη: τα δεδομένα εκπαίδευσης (training data), με τα οποία φτιάχνουμε το μοντέλο, και τα δεδομένα ελέγχου (testing data), με τα οποία ελέγχουμε αν δουλεύει σε περιπτώσεις που δεν έχει δει.

Η μεθοδολογία σε έξι φάσεις

Στην πράξη, ένα έργο εξόρυξης δεδομένων ακολουθεί συνήθως έξι φάσεις (γνωστές ως CRISP-DM):

1. Κατανόηση της επιχείρησης (business understanding): ποιος είναι ο επιχειρηματικός στόχος, και πώς μεταφράζεται σε πρόβλημα εξόρυξης. Π.χ. ο στόχος «να πουλήσουμε περισσότερα στους υπάρχοντες πελάτες» γίνεται «να προβλέψουμε πόσα θα αγοράσει κάθε πελάτης, με βάση τις αγορές του των τελευταίων τριών ετών, την ηλικία του, την πόλη του και την τιμή του προϊόντος».
2. Κατανόηση των δεδομένων (data understanding): συλλογή, περιγραφή, πρώτη εξερεύνηση και έλεγχος της ποιότητάς τους.
3. Προετοιμασία των δεδομένων (data preparation): επιλογή, καθαρισμός, μετασχηματισμός, ενοποίηση και μορφοποίηση.
4. Μοντελοποίηση (modelling): επιλογή τεχνικής, σχεδιασμός του ελέγχου, κατασκευή και εκτίμηση του μοντέλου.
5. Αξιολόγηση (evaluation): πετυχαίνει το μοντέλο τον επιχειρηματικό στόχο; Ποια είναι τα επόμενα βήματα;
6. Εφαρμογή (deployment): το μοντέλο μπαίνει σε χρήση, παρακολουθείται, συντηρείται, και γράφεται η τελική αναφορά.

Τα δεδομένα

Είδη χαρακτηριστικών

Κάθε στήλη ενός πίνακα δεδομένων είναι ένα χαρακτηριστικό (attribute) ή μεταβλητή. Το είδος του καθορίζει ποιες πράξεις έχουν νόημα:

Τα δύο πρώτα είναι κατηγορικά ή ποιοτικά, τα δύο τελευταία αριθμητικά ή ποσοτικά.

Γιατί η προεπεξεργασία είναι τόσο σημαντική

Ισχύει ο κανόνας GIGO: Garbage In, Garbage Out. Με κακά δεδομένα, ακόμη και ο καλύτερος αλγόριθμος δίνει κακά αποτελέσματα. Τα συνηθισμένα προβλήματα είναι:

• ελλιπή δεδομένα: λείπουν τιμές ή ολόκληρα χαρακτηριστικά·
• θόρυβος: λάθη και ακραίες τιμές (outliers), π.χ. «ηλικία = 140» ή «μισθός = −500»·
• ασυνέπειες: π.χ. μετά την ένωση δύο πινάκων, οι βαθμοί είναι αλλού «Α, Β, Γ» και αλλού «1, 2, 3».

Η προεπεξεργασία γίνεται σε τέσσερα στάδια.

1. Καθαρισμός

• Κενές τιμές: τις συμπληρώνεις με το χέρι, με μια σταθερά όπως «άγνωστο», με την πιο πιθανή τιμή (με στατιστική μέθοδο ή με ένα μοντέλο μηχανικής μάθησης), ή παραλείπεις τη γραμμή. Αν σε ένα χαρακτηριστικό λείπουν πολλές τιμές (π.χ. πάνω από 20%), μπορεί να το παραλείψεις ολόκληρο.
• Κατηγορίες σε αριθμούς: κάποιες μέθοδοι (όπως η παλινδρόμηση ή ο πλησιέστερος γείτονας) δουλεύουν μόνο με αριθμούς, οπότε αντιστοιχίζεις π.χ. «Αθήνα» = 1, «Θεσσαλονίκη» = 2.
• Θόρυβος: μια απλή μέθοδος είναι η διαμέριση σε κάδους (binning). Ταξινομείς τις τιμές, τις χωρίζεις σε κάδους με ίδιο πλήθος τιμών και «εξομαλύνεις» κάθε κάδο.
• Ασυνέπειες και διπλότυπα: τα διορθώνεις ή τα αφαιρείς.

Παράδειγμα binning. Ταξινομημένες τιμές: 2, 3, 7, 10, 11, 15, 20, 21, 25. Τρεις κάδοι των τριών τιμών:

Με τον μέσο όρο, κάθε τιμή γίνεται ο μέσος όρος του κάδου της. Με τα όρια, κάθε τιμή γίνεται το πιο κοντινό από το μικρότερο και το μεγαλύτερο στοιχείο του κάδου.

2. Ενοποίηση

Ενώνεις δεδομένα από πολλές πηγές. Χρειάζεται προσοχή γιατί το ίδιο χαρακτηριστικό μπορεί να έχει άλλο όνομα σε κάθε βάση, άλλες μονάδες μέτρησης (ευρώ ή δολάρια, κιλά ή λίβρες), ή να προκύπτει από άλλο χαρακτηριστικό (π.χ. η ηλικία από την ημερομηνία γέννησης). Τέτοια πλεονάζοντα δεδομένα εντοπίζονται με ανάλυση συσχέτισης.

3. Μετασχηματισμός

• Εξομάλυνση του θορύβου.
• Συνάθροιση (aggregation): π.χ. από ημερήσιες πωλήσεις σε μηνιαίες.
• Κανονικοποίηση (normalization): μεταφέρεις όλες τις τιμές σε ένα μικρό, κοινό εύρος, ώστε ένα χαρακτηριστικό με μεγάλους αριθμούς (μισθός) να μην «πνίγει» ένα με μικρούς (ηλικία).
• Νέα χαρακτηριστικά που βοηθούν την εξόρυξη, π.χ. «έξοδα ανά μήνα» από τα συνολικά έξοδα και τους μήνες.

Η κανονικοποίηση min-max μεταφέρει τις τιμές από το [min, max] στο [0, 1]:

v′ = (v − min) / (max − min)

Αν οι ηλικίες των πελατών είναι από 18 έως 58, η ηλικία 28 γίνεται (28 − 18) / (58 − 18) = 10 / 40 = 0,25 και η 48 γίνεται 30 / 40 = 0,75. Με μια μικρή παραλλαγή του τύπου, το νέο εύρος μπορεί να είναι και άλλο από το [0, 1].

Η κανονικοποίηση z-score μετράει πόσες τυπικές αποκλίσεις απέχει μια τιμή από τον μέσο όρο: v′ = (v − μέσος όρος) / τυπική απόκλιση. Με μέσο όρο 50 και τυπική απόκλιση 10, η τιμή 65 γίνεται 1,5. Μια τρίτη μέθοδος είναι η κανονικοποίηση με δεκαδική κλίμακα, που διαιρεί με μια δύναμη του 10.

4. Μείωση

Οι μεγάλες αποθήκες δεδομένων έχουν terabytes, και η ανάλυσή τους παίρνει πολύ χρόνο. Η μείωση δεδομένων κρατά μια μικρότερη εκδοχή που δίνει τα ίδια ή σχεδόν τα ίδια αποτελέσματα, π.χ. με συνάθροιση (όπως στους κύβους του OLAP) ή με μείωση διαστάσεων:

• Επιλογή χαρακτηριστικών: κρατάς λίγα χαρακτηριστικά (m) από τα πολλά (n) που υπάρχουν, αυτά που αρκούν για σχεδόν το ίδιο αποτέλεσμα.
• Μετασχηματισμός χαρακτηριστικών: η Ανάλυση Κύριων Συνιστωσών (PCA) φτιάχνει λίγα νέα χαρακτηριστικά που συνδυάζουν τα αρχικά και κρατούν το μεγαλύτερο μέρος της πληροφορίας. Χρησιμοποιείται και για να οπτικοποιήσεις δεδομένα με πολλές διαστάσεις σε δύο ή τρεις.

Τεχνικές εξόρυξης: τρία παραδείγματα

Κανόνες συσχέτισης

Η ανάλυση συσχέτισης (association analysis) βρίσκει ποια πράγματα εμφανίζονται συχνά μαζί. Το κλασικό παράδειγμα είναι το «καλάθι αγορών» ενός σούπερ μάρκετ:

Ένας κανόνας όπως {καφές} → {ζάχαρη} σημαίνει «όποιος αγοράζει καφέ, αγοράζει συνήθως και ζάχαρη». Δύο απλά μέτρα δείχνουν πόσο ισχυρός είναι:

• Υποστήριξη (support): σε πόσες αποδείξεις υπάρχουν και τα δύο. Εδώ 3 από τις 5, δηλαδή 60%.
• Εμπιστοσύνη (confidence): από όσους πήραν καφέ, πόσοι πήραν και ζάχαρη. Εδώ 3 από 3, δηλαδή 100%.

Ο κανόνας {γάλα} → {καφές} είναι πιο αδύναμος: υποστήριξη 2/5 = 40% και εμπιστοσύνη 2/3 ≈ 67%. Η ίδια ιδέα δουλεύει και εκτός καταστημάτων, π.χ. για να βρεις ποια μαθήματα τείνουν να «κόβονται» μαζί.

Δένδρα αποφάσεων και ταξινόμηση

Ένα δένδρο αποφάσεων ταξινομεί ένα παράδειγμα κάνοντας μια σειρά από ερωτήσεις, από τη ρίζα ως ένα φύλλο. Στην κορυφή μπαίνει το πιο σημαντικό κριτήριο. Ένα απλό δένδρο για ένα φίλτρο spam:

• Ο αποστολέας είναι στις επαφές μου;
  • ναι → όχι spam
  • όχι → Έχει τη λέξη «δωρεάν» στο θέμα;
    • ναι → spam
    • όχι → όχι spam

Η ταξινόμηση γίνεται σε δύο βήματα, με ένα τρίτο όταν το μοντέλο μπει σε χρήση:

1. Εκπαίδευση (training): ο αλγόριθμος διαβάζει τα δεδομένα εκπαίδευσης και φτιάχνει το μοντέλο, π.χ. το δένδρο ή έναν κανόνα «ΑΝ… ΤΟΤΕ…». «Εκπαίδευση» σημαίνει ότι βρίσκουμε τις παραμέτρους του μοντέλου από τα παραδείγματα.
2. Έλεγχος (testing): το μοντέλο δοκιμάζεται σε δεδομένα ελέγχου, όπου ξέρουμε ήδη τη σωστή απάντηση, για να δούμε πόσο συχνά πέφτει μέσα.
3. Χρήση: αν περάσει τον έλεγχο, προβλέπει την κατηγορία σε νέα, άγνωστα παραδείγματα.

Ερωτήσεις αυτοαξιολόγησης

1. Θέλεις να προβλέψεις αν ένας πελάτης θα επιστρέψει ένα δάνειο (ναι/όχι). Είναι ταξινόμηση ή παλινδρόμηση;

Ταξινόμηση, γιατί η έξοδος είναι κατηγορία (ναι ή όχι). Αν ήθελες να προβλέψεις το ποσό που θα επιστρέψει, θα ήταν παλινδρόμηση.

2. Ένα κατάστημα ομαδοποιεί τους πελάτες του με βάση τις αγορές τους, χωρίς να ξέρει από πριν ποιες ομάδες υπάρχουν. Τι είδος μάθησης είναι;

Μάθηση χωρίς επίβλεψη (ομαδοποίηση, clustering): δεν υπάρχουν ετικέτες, και το σύστημα βρίσκει μόνο του τις ομάδες. Τι σημαίνει κάθε ομάδα πρέπει μετά να το ερμηνεύσει ένας άνθρωπος.

3. Τι είδος χαρακτηριστικό είναι ο βαθμός πτυχίου «Καλώς, Λίαν Καλώς, Άριστα»;

Τακτικό (ordinal): είναι κατηγορίες με σειρά, αλλά η «απόσταση» ανάμεσά τους δεν είναι μετρήσιμη, οπότε δεν έχει νόημα να τις προσθέσεις ή να τις αφαιρέσεις.

4. Οι βαθμοί σε ένα τεστ είναι από 40 έως 90. Πού πηγαίνει ο βαθμός 65 με κανονικοποίηση min-max στο [0, 1];

(65 − 40) / (90 − 40) = 25 / 50 = 0,5.

5. Στο καλάθι αγορών παραπάνω, ποια είναι η υποστήριξη και η εμπιστοσύνη του κανόνα {ψωμί} → {γάλα};

Ψωμί υπάρχει στις αποδείξεις 3, 4 και 5, και ψωμί μαζί με γάλα στις 3 και 4. Υποστήριξη 2/5 = 40%, εμπιστοσύνη 2/3 ≈ 67%.

6. Γιατί χωρίζουμε τα δεδομένα σε δεδομένα εκπαίδευσης και δεδομένα ελέγχου;

Για να ελέγξουμε αν το μοντέλο γενικεύει. Αν το δοκιμάζαμε στα ίδια δεδομένα με τα οποία εκπαιδεύτηκε, θα φαινόταν καλύτερο απ’ ό,τι είναι, γιατί μπορεί απλώς να τα έχει «αποστηθίσει».

---

Πηγές: Διάλεξη 5 του μαθήματος· Ι. Βλαχάβας, Π. Κεφαλάς, Ν. Βασιλειάδης, Φ. Κόκκορας, Η. Σακελλαρίου, Τεχνητή Νοημοσύνη (4η έκδοση)· T. Mitchell, Machine Learning (1997).