Онлайн-курс «LLM-инженер (Инженер по работе с большими языковыми моделями)»

Лекция: Задачи обработки естественного языка и уровни представления текста; сегментация, нормализация, токенизация (разделение текста на слова или значимые части), стемминг / лемматизация (приведение слов к корневой или базовой форме); векторизация (преобразование текста в числовые представления) с использованием мешка слов (Bag of Words — BoW) и взвешивания важности слов (TF-IDF); модели векторного представления слов: Word2Vec, GloVe, FastText; меры близости и оценка эмбеддингов (оценка качества векторных представлений).

Лекция: сбор данных (парсинг), очистка и предобработка, обучение модели для классификации текстов.

Лекция: Encoder-Decoder (кодировщик и декодировщик), self-attention (механизм внимания к своим частям в модели), multi-head self-attention (многоголовый механизм внимания к своим частям в модели), positional encoding (позиционное кодирование), residual / normalization (остаточные связи и нормализация), MLP (многослойный перцептрон)

Практика: детальный разбор блоков трансформера и изучение экосистемы библиотеки Hugging Face.

Лекция: сравнение моделей encoder-only, decoder-only и encoder-decoder (архитектуры и детали обучения), алгоритмы токенизации и их влияние на качество модели 

Практика: разделение текста на элементы на практике, алгоритмы выбора/выборки (семплирования) и параметры генерации текста — ключевые тонкости.

Лекция: ключевые концепции современных трансформеров — эволюция архитектуры до наших дней.

Лекция: Закрытые и открытые модели (Close vs Open models);

Этапы обучения: предварительное обучение (Pretraining), тонкая настройка с учителем (Supervised Fine-Tuning), тонкая настройка на инструкциях (Instruction-tuning), выравнивание модели (Alignment);

Бенчмарки, схема выбора модели под задачу, сбор данных для обучения (прайсинг).

Лекция: Адаптация к новой области данных (Domain adaptation), адаптация к конкретной задаче (Task adaptation) и перенос знаний (Transfer learning);

Выбор стратегии адаптации; тонкая настройка с учителем (SFT), продолжающееся предварительное обучение (CPT);

Обзор задач нижнего уровня (downstream-задач) и способов сбора данных для дообучения;

Контрастивное дообучение энкодеров (моделей, преобразующих текст в векторные представления).

Лекция: смешанная точность вычислений (Mixed Precision), сохранение контрольных точек градиента (gradient checkpointing), накопление градиентов (gradient accumulation);

PEFT (эффективная тонкая настройка с малым количеством параметров);
Архитектуры параллельной обработки; нюансы применения оптимизаций.

Практика: Тонкая настройка больших языковых моделей (LLM) и энкодеров, использование обученя моделей с подкреплением (PEFT и TRL), сравнение методов дообучения.

Лекция: Ключевые аспекты ускорения и оптимизации работы инференса больших языковых моделей (LLM) — метрики производительности, профилирование, ограничения по памяти и вычислительным ресурсам (memory-bound vs compute-bound);

Этапы предварительного заполнения и генерации (prefill-decode), KV-cache и его оптимизации, пакетная обработка (батчинг), спекулятивная генерация, квантование, дистилляция.

Практика: Профилирование больших языковых моделей (LLM) с помощью PyTorch Profiler;

Cравнение этапов предварительного заполнения и генерации (prefill vs decode);

Типичные узкие места и способы ускорения;

Сравнение инструментов и влияние разрядности на качество квантования;

Использование QLoRA;

Лекция: Определение и цели выравнивания моделей (alignment);

Классическое обучение с подкреплением на основе человеческой обратной связи (RLHF); 

Метод оптимизации политики с проксимальным обновлением (PPO); 
модели вознаграждения (reward-модели — модели, предсказывающие предпочтения человека) и особенности их применения; 

Обучение с подкреплением на основе обратной связи от ИИ (RLAIF) и выравнивание модели по набору правил и принципов (Constitutional AI); 

Прямая оптимизация предпочтений (DPO), оптимизация на основе теории перспектив (KTO), групповая оптимизация предпочтений (GRPO); 

Выбор метода в зависимости от задачи.

Практика: Применение прямой оптимизации предпочтений (DPO) с использованием набор инструментов для обучения с подкреплением (TRL);

Оценка качества ответов с помощью большой языковой модели (LLM-as-Judge) и метод best-of-N (выбор лучшего из нескольких сгенерированных вариантов) с повторным ранжированием по модели вознаграждения; детекторы токсичности; 

Применение Constitutional AI (выравнивание по набору правил); 

Построение пайплайна резервных решений (fallback-механизм переключения на альтернативную модель или сценарий при ошибке).

Лекция: особенности проектирования системы на основе больших языковых моделей (LLM) «от начала до конца» (end-to-end пайплайна) под конкретную задачу — работа с требованиями, выбор стратегии адаптации модели, построение схемы оценивания качества (офлайн-оценивание и онлайн-оценивание).

Лекция: Основные концепции мультимодальности (multimodality), исторически ключевые архитектуры, мультимодальные большие языковые модели (multimodal LLM), практические кейсы применения визуально-языковых моделей (VLLM). 

Стадии предварительного обучения (pretraining) VLLM, эталонные тесты (benchmarks). 

Рассуждение (reasoning): определение, варианты архитектурной реализации, преимущества и ограничения, эволюция подходов к рассуждению, современные методы улучшения.

Практика: Сравнение методов интерпретации моделей для архитектур кодировщика (encoder) и декодировщика (decoder), использование метода локальной интерпретации моделей (LIME) и библиотеки интерпретации моделей для PyTorch (Captum).

Практика: Жизненный цикл больших языковых моделей (LLM); 
сравнение операционных практик управления жизненным циклом моделей (LLMOps) и практик эксплуатации систем машинного обучения (MLOps); 

Версионирование моделей (versioning), отслеживание экспериментов (experiment tracking), распределённое обучение (distributed training), реестр моделей (model registry), непрерывная интеграция и доставка (CI/CD).

Распределённое обучение на практике с использованием библиотеки Accelerate — сравнение распределённой параллельной обработки данных (DDP, Distributed Data Parallel) и оптимизации распределённого обучения (ZeRO).

Лекция: Ограничения архитектуры трансформеров (transformers) и мотивация альтернативных архитектур; 

Трансформер без механизма внимания (Attention-Free Transformer); 
подходы на основе пространственных моделей состояний (SSM, State Space Models); 

Архитектуры RWKV, Mamba и xLSTM.