Курс «Математические основы машинного обучения» предназначен для студентов, уже обладающих основными знаниями и навыками в области математического анализа, линейной алгебры и теории вероятностей. Курс посвящен рассмотрению основных математических концепций и аппарата, требуемого для правильного понимания алгоритмов машинного обучения, в т.ч. глубоких нейронных сетей.
Первая часть курса «Математические основы машинного обучения» направлена на формирование знаний в наиболее важных для машинного обучения понятиях и концепциях математического анализа. Большое внимание уделяется решению задач оптимизации системы путем минимизации (или максимизации) значения функции. Студентам рассказывается про такие концепции, как применение частных производных в функциональном анализе и использование метода множителей Лагранжа для аналитического поиска экстремумов функций. Отдельное занятие посвящено итеративным методам, в частности, методам градиентного спуска и его различным модификациям, используемым в нейронных сетях, а также методу Ньютона для поиска нулей функции.
Во многих вычислительных задачах используемые методы анализа неприменимы напрямую. Для этого в курсе рассматриваются методы аппроксимации функций путем разложения соответствующей функции в ряд Тейлора, а также подробно разбирается использование полученного разложения для более легкого дифференцирования и дальнейшего анализа полученной аппроксимации.
Все обозначенные математические концепции рассматриваются в применении к алгоритмам машинного обучения и нейронных сетей, в разбираемых со студентами задачах используются общепринятые для этих методов функции потерь, функции активации и их комбинации для обеспечения полного понимания студентами механизма работы алгоритмов машинного обучения.
Вторая часть курса посвящена изучению вероятностных и стохастических методов оценки исследуемых параметров. Рассматриваются подходы Байесовской статистики для апостериорной оценки параметров распределений (Expected, MAP), информационные критерии (AIC, BIC), а также алгоритм Expectation-maximization для получения оценки максимального правдоподобия параметров распределения.
Также уделяется внимание стохастическим алгоритмам поиска и оценки параметров: Markov Chain Monte-Carlo, использованию генетического алгоритма и метода роя частиц.
В результате прохождения курса слушатели познакомятся и смогут активно использовать в работе математический аппарат, требуемый для различных алгоритмов машинного обучения и глубоких нейронных сетей, а также узнают о наиболее типичных способах решения задач оптимизации.
Преподаватели
- Андрей Миронов