Μαθήματα

Χρήση στοχαστικών μεθόδων για την ανάλυση χρονοσειρών. Για περισσότερες πληροφορίες βλέπε το σχετικό αρχείο.

ΧΕΙΜΕΡΙΝΟ ΕΞΑΜΗΝΟ 2021-2022

ΑΙΘΟΥΣΑ 2041 Κτ. Επιστημών, ΚΑΘΕ ΠΕΜΠΤΗ 5μμ-8μμ

This is a joint course (senior undergraduate program - ECE MSc program - MLDS MSc Program - ECE Doctoral Program).

-----------------------------------------------------------------------------

Lectures:

Wednesday, 17:00-19:00, Room 145Π58

Friday, 16:00-18:00, Room 145Π58

-----------------------------------------------------------------------------

About this course:

This is a introductory but fundamental course concerning theory and algorithms for smooth (convex) optimization.

We wil present basic topics in convex sets and convex functions, (convex) optimization problems, optimality conditions (Fritz-John, KKT), algorithms (gradient, Newton, interior point) and convergence analysis results. We shall also introduce some Machine Learing models (Logistic Regression, Support Vector Machines, Neural Networks) and will present the Back-Propagation algorithm.

---------------------------------------------------------------------------------

Detailed course description:

• Brief summary of Linear Algebra concepts (vectors, planes, vector and matrix norms).
• Brief summary of functions of several variables (gradient, Hessian, level sets).
• Convex sets (definition and examples), operations on convex sets that preserve convexity.
• Convex functions (definition, examples), operations on convex functions that preserve convexity.
• Convex optimization problems (definition, examples), optimal points.
• Unconstrained optimization (characterization of optimal solution, gradient method, convergence analysis, Newton method, local convergence analysis).
• Convex optimization with constraints (Farkas Lemma, Fritz John conditions, conditions Karush-Kuhn-Tucker (KKT) - examples).
• Duality, Lagrangian, dual function, weak and strong duality – examples of dual problems.
• Convex optimization with affine equality constraints (Newton method, primal-dual).
• General convex optimization problems (barrier function, interior point method, primal-dual).
• Presentation of simple ML models (Logistic Regression, Support Vector Machines, Neural Networks
• Derivation and presentation of the Back-Propagation algorithm.

The Lab part of the course consists of four (4) projects which contain theoretical questions as well as matlab (or octave) code implementing selected optimization algorithms.

--------------------------------------------------------

Grading;

• Midterm exam (2/10)
• Course participation (1/10 + Bonus 1/10)
• Final Exam (5/10, success threshold 2.5),
• Projects, with both theretical questions and experiments (2/10, the students must explicitly state which parts of the projects were produced by AI).

--------------------------------------------------------

Our main source will be the textbook

S. Boyd and L. Vandenberghe. "Convex Optimization," Cambridge University Press, 2004 (I uploaded the textbook in the "Εγγραφα" section).

See also the video series of recent Boy's lectures 

https://www.youtube.com/playlist?list=PLoROMvodv4rMJqxxviPa4AmDClvcbHi6h

Another excellent source is the book

A. Beck, Introduction to nonlinear optimization (2nd edition), SIAM.

Uncertainty and probabilistic reasoning. Robotic perception and action. Recursive state estimation: state space, belief space, prediction and correction, Bayes filter. Estimation filters: linear Kalman filter, extended Kalman filter, unscented Kalman filter, histogram filter, particle filter. Probabilistic motion models: velocity model, odometry model, sampling and probability density. Probabilistic observation models: beam model, scan model, feature model, sampling and probability density. Robot localization: Markov, Gaussian, Grid, Monte-Carlo. Robotic mapping: occupancy grid maps, feature maps, simultaneous localization and mapping (SLAM). Decision making under uncertainty, Markov decision processes (MDPs), optimal policies, value iteration, policy iteration. Partial observability, partially observable MPDs (POMDPs), augmented MDPs. Reinforcement learning, prediction and control, trial and error, approximate representations. Multi-robot planning, coordination, and learning.
syllabus

This is a joint course (ECE senior undergraduate, ECE MSc).

We will follow, mainly, the following sourse:

M. Mitzenmacher and E. Upfal. "Probability and Computing: Randomization and Probabilistic Techniques in Algorithms and Data Analysis." Cambridge University Press, 2018 (second edition).

The lectures are scheduled as follows:

Tuesday: 15:00-17:00, Room 137Π39

Friday: 13:00-15:00, Room 145Π58

-----------------------------------------------------------------------------

About the course:

Randomized algorithms are algorithms which, during some stages of their execution, make random decisions.

They may be simpler and/or more efficient compared with competitive deterministic algorithms, when used for the solution of some "easy" problems (e.g., randomized median).

More importantly, they provide efficient approaches for the solution of sub-classes of instances of "difficult" problems (e.g., Hamiltonian cycles).

-------------------------------------------------------------------------------------------------

The course description may be updated during the semester

Detailed course description:

• Randomized algorithms for checking polynomial and matrix equalities

• Randomized min-cut algorithm

• Discrete random variables: Bernoulli, binomial, geometric

• The coupon collector problem

• Probabilistic analysis of Quick-sort

• Inequalities: Markov, Chebyshev

• Randomized median algorithm

• Inequalities: Chernoff, Hoeffding

• The balls-and-bins problem

• Multinomial and Poisson random variables

• Random graphs

• Randomized algorithm for Hamiltonian cycle

• Probabilistic Method and its applications: large cut-sets, thresholds in random graphs

• Satisfiability problems (SAT)

• Martingales, Hoeffding-Azuma inequality, and applications

• Machine Learning related topics

Grading:

The grade will be derived from

• mid-term exam (2/10)
• course participation (1/10 + Bonus 1/10) 
• final exam (5/10 with threshold 2.5)
• projects (theoretical questions, matlab code) (2/10) (the students must clearly state the parts of the projects that were accomplished with the help of AI machines)

Other useful sources include:

• N. Alon and J. E. Spencer. "The Probabistic Method." Wiley, fourth edition, 2015.
• R. Vershynin. "High-dimensional Probability." (excellent advanced book). Available at: https://www.math.uci.edu/~rvershyn/papers/HDP-book/HDP-book.pdf

Το μάθημα δεν διαθέτει περιγραφή

Το μάθημα εστιάζει στην επεξεργασία, αρχειοθέτηση και αναζήτηση   πληροφορίας κειμένου, μονοδιάστατου σήματος, στατικής και κινούμενης εικόνας (video) σε πληροφοριακά συστήματα και το Διαδίκτυο. Εξετάζονται: Kλασσικά μοντέλα ανάκτησης πληροφορίας (Δυαδικό, Σχεσιακό, Πιθανοτικό) και επεκτάσεις τους. Αμφίδρομη αναζήτηση πληροφορίας (relevance feedback), Ομαδοποίηση πληροφορίας (clustering) και αλγόριθμοι ομαδοποίησης (διαιρετικοί, ιεραρχικοί, υβριδικοί αλγόριθμοι), εφαρμογές ομαδοποίησης σε συλλογές κειμένων. Δυναμικές μέθοδοι ομαδοποίησης (X-means, BIC- means, DBSCAN). Παράσταση περιεχομένου μονοδιάστατων σημάτων και εικόνας σε συστήματα πολυμέσων. Εξαγωγή χαρακτηριστικών χρώματος, υφής, σχήματος και χωρικών σχέσεων από εικόνες. Μέθοδοι ανάκτησης για μονοδιάστατα σήματα και εικόνα. Τεχνικές δεικτοδότησης (indexing) σε πληροφοριακά συστήματα για κείμενο και πολυμεσική πληροφορία (ανεστραμμένα αρχεία, k-d-Trees, Grid files, R-trees, R+-trees,  space filling curves). Μείωση διάστασης χώρου (dimensionality reduction). Σχεδιασμός πληροφοριακών συστημάτων στο Διαδίκτυο, διαχείριση και ανάλυση πληροφορίας στο Διαδίκτυο (μέθοδοι PageRank, HITS). Τεχνικές πλοήγησης στο Διαδίκτυο (classic and focused crawling). Σημασιολογικός ιστός και οντολογίες. Εισαγωγή στο σημασιολογικό ιστό. Κατασκευή οντολογιών και χρήση οντολογιών σε πληροφοριακά συστήματα. Βασικές τεχνικές επεξεργασίας και ανάλυσης στατικής και κινούμενης εικόνας (video) σε πληροφοριακά συστήματα. Εμπορικά και Πειραματικά συστήματα διαχείρισης εικόνας. Τεχνικές συμπίεσης (compression) JPEG, Πρότυπα MPEG-1, 2, 4, 7. Κατάτμηση video (video segmentation into shots, shot aggregates).

Στοιχεία οπτικής και φυσικής στερεάς κατάστασης, διαμόρφωση φωτός, οθόνες, Lasers, εφαρμογές των Lasers, φωτοανιχνευτές, οπτικές ίνες, συστήματα οπτικής επικοινωνίας, προχωρημένα θέματα οπτοηλεκτρονικής

Περιγραφή μαθήματος:

A.Παραγωγή και μέτρηση εναλλασσόμενων υψηλών τάσεων (HVAC)

B.Παραγωγή και μέτρηση συνεχών υψηλών τάσεων (HVDC)

C.Παραγωγή και μέτρηση κρουστικών υψηλών τάσεων (Κεραυνικών και μεταβατικών διακοπτικών παλμών)

D.Διηλεκτρικά υλικά και νανοδομημένων υλικά  (Μονωτήρες, καλώδια MV/HV, υγρά διηλεκτρικά, νανορευστά, νανοσύνθετα υλικά)

E.Διηλεκτρικές μετρήσεις:

A.Μερικές εκκενώσεις

B.Εφαπτομένη δέλτα

C.Διηλεκτρική φασματοσκοπία

F.Αντικεραυνική προστασία, εισαγωγή στον συντονισμό μονώσεων

G.Προστασία από υπερτάσεις