Τεχνητά Νευρωνικά Δίκτυα

[bibshow file=https://noesys.net/wp-content/uploads/2019/10/refs.txt]

Στόχος του σεμιναρίου είναι η παρουσιαση της αλγοριθμικής αναπαράστασης των Τεχνητών Νευρωνικών Δικτύων (ΤΝΔ), καθώς και ενός καινοτόμου αλγορίθμου εκπαίδευσης. Ο συγκεκριμένος αλγόριθμος ακολουθεί την υποκείμενη θεωρία, είναι εξαιρετικά γρήγορος και οδηγεί σε αξιοσημείωτα χαμηλά σφάλματα όταν εφαρμόζεται για παλινδρόμηση και ταξινόμηση πολύπλοκων βάσεων δεδομένων, όπως η συνάρτηση Griewank πολλαπλών μεταβλητών \mathbf x \in \mathbb R^{100} με προσθήκη τυχαίου θορύβου και η βάση δεδομένων MNIST για αναγνώριση χειρόγραφων ψηφίων με 7\times10^4 εικόνες. Είναι ενδιαφέρον ότι η ίδια μαθηματική δατύπωση βρέθηκε ικανή να προσεγγίσει εξαιρετικά μη γραμμικές συναρτήσεις σε πολλαπλές διαστάσεις με χαμηλά σφάλματα (π.χ. 10^{-10}) για το σετ ελέγχου, τις μερικές παραγώγους ανωτέρας τάξεως, καθώς και για την αριθμητική επίλυση μερικών διαφορικών εξισώσεων. Η μέθοδος βασίζεται στον υπολογισμό των βαρών κάθε νευρώνα, σε μικρές γειτνιάσεις δεδομένων, έτσι ώστε τα αντίστοιχα τοπικά μητρώα προσέγγισης να είναι αναστρέψιμα. Συνεπώς, η βελτιστοποίηση των υπερπαραμέτρων [bibcite key=bergstra2011algorithms,bergstra2012random,Feurer2019] δεν είναι απαραίτητη, καθώς ο αριθμός των νευρώνων πηγάζει άμεσα από τις διαστάσεις των δεδομένων, βελτιώνοντας περαιτέρω την αλγοριθμική ταχύτητα. Η υπερπροσέγγιση απαλείφεται εγγενώς και τα αποτελέσματα είναι πλήρως αναπαράξιμα [bibcite key=Hutson725,belthangady2019applications]. Η πολυπλοκότητα του προτεινόμενου αλγορίθμου είναι τάξεως Ρ με \mathcal{O}(mn^3) χρόνο υπολογισμού, δηλαδή γραμμικό για τις παρατηρήσεις και κυβικό για τα χαρακτηριστικά, σε αντίθεση με την NP-Complete [bibcite key=blum1989training,engel2001complexity] κλάση αλγορίθμων εκπαίδευσης ΤΝΔ. Η απόδοση της μεθόδου είναι υψηλή, τόσο για μικρά όσο και μεγαλύτερα σύνολα δεδομένων και τα σφάλματα των συνόλων ελέγχου είναι παρόμοια ή μικρότερα από τα σφάλματα εκπαίδευσης, υποδεικνύοντας την αποτελεσματικότητα γενίκευσης. Ο παρεχόμενος κώδικας υπολογιστή [bibcite key=ANNBN] στη γλώσσα Julia [bibcite key=bezanson2017julia], μπορεί να αναπαράξει τα παραδείγματα επικύρωσης και να εκτελεστεί για άλλα σύνολα δεδομένων.

Ενότητες

  • Το Θεώρημα Γενικευμένης Προσέγγισης και Πρακτική Ερμηνεία [bibcite key=Tadeusiewicz1995,Cybenko1989,Nielsen2015,rojas2013neural]
  • Λογιστική Παλινδρόμηση και σχέση με Τεχνητά Νευρωνικά Δίκτυα (ΤΝΔ)
  • Κλασική αναπαράσταση αβαθούς ΤΝΔ πολλαπλών νευρώνων
  • Αλγόριθμοι επαίδευσης [bibcite key=ruder2016overview,bottou2010large,johnson2013accelerating]
  • Επεξήγηση της μεθόδου ANNBN [bibcite key=bakas2019training]
    • τοπική προσέγγιση σε συστάδα δεδομένων
    • τροποποίηση εξισώσεων με βάση την αντίστροφη της σιγμοειδούς
    • αντιστροφή μητρώων και υπολογισμός βαρών νευρώνα
    • συννδιασμός πολλαπλών νευρώνων
    • επίλυση εξισώσεων συστήματος νευρώνων για υπολογισμό γραμμικών βαρών
  • Βαθιά Νευρωνικά Δίκτυα
  • Συνδιασμένα Δίκτυα
  • Παραδείγματα
    • Προσέγγιση μη γραμμικής συναρτήσεως με ΤΝΔ
    • Επιρροή του θορύβου και γενίκευση [bibcite key=srivastava2014dropout]
    • Παλινδρόμηση σε πολλαπλές διαστάσεις και πολύπλοκες βάσεις δεδομένων
    • Σύκγριση με μεθόδους Τυχαίων Δασών [bibcite key=DecisionTree,breiman2001random] και Προώθησης Κλίσεως [bibcite key=XGBoost,ruder2016overview]
    • ΑΝΝΒΝ για ταξινόμηση
    • ΑΝΝΒΝ για Υπολογιστική Όραση [bibcite key=mnistweb,MLDatasets]
  • Εφαφμογή της μεθόδου σε κώδικα [bibcite key=ANNBN]

Παραπομπές