Рассмотрим место нейросетевых моделей среди других моделей ИИ и Data Science, познакомимся с понятием оптимизации, градиента и градиентного спуска, вспомним сведения из линейной алгебры, разберем тензоры и их применение, а также рассмотрим обратное распространение ошибки

Освоим понятие персептрон, рассмотрим градиенты и оптимизацию в torch, познакомимся с классификацией и средствами решения ее задач и изучим рекуррентные нейронные сети с расчетом лосса

Познакомимся со сверточной сетью и ее преимуществами по сравнению с полносвязной, разберем средства torch для сверточных сетей, изучим ядро свертки и матрицу линейного оператора, рассмотрим одномерные свертки и архитектуру WaveNet, познакомимся с проблемами затухания градиента при обучении сетей большой глубины, Skip-connections, архитектуру ResNet и UNet, а также изучим автоэнкордеров и их применения

Познакомимся с историей языковых моделей: N-граммы, Word2Vec, GPT 1-4, открытые LLM, рассмотрим базовые компоненты LLM и библиотеки для работы с ними, изучим токенизаторы для LLM, алгоритм BPE, разберем деплой и параметры инференса LLM, познакомимся с продвинутыми компонентами современных LLM и техниками промпт инженеринга, займемся файтюнингом LLM, рассмотрим квантизацию и ее виды, а также изучим методы ускорения инференса и их реализации

Развернем Q&A систему на основе LLM