Инженер LLM

Подать заявку

LLM

Инженер

создавай и интегрируй LLM в контур компании

Что даст курс?

Инструменты

Hugging Face Transformers

Hugging Face

LangGraph

VLLM

TRL (для RLHF)

LoRA / QLoRA

FAISS

MLflow

Langfuse

Gradio / Streamlit

DeepEval

Docker

llama.cpp

Arize / Fiddler

OpenAI Agents API

Навыки

Строить эффективные RAG-системы на LangChain и LangGraph

Оценивать качество LLM и RAG (DeepEval, ROUGE, BERTScore)

Разрабатывать интеллектуальных агентов и мультиагентные системы

Использовать reasoning-подходы: ReAct, Tree of Thoughts

Разворачивать LLM и чат-ботов с помощью современных инструментов

Отслеживать и версионировать поведение моделей и запросов

Устранять галлюцинации и защищать LLM-системы от уязвимостей

Разбираться в архитектурах современных LLM

Запускать и адаптировать open-source модели под свои задачи

Настраивать модели с помощью fine-tuning и PEFT

Использовать методы RLHF (включая DPO, PPO)

Снижать ресурсоёмкость моделей через квантизацию и дистилляцию

Обрабатывать тексты: парсинг, чанкинг, препроцессинг

Работать с энкодерами и векторными базами

Настраивать и оптимизировать системы информационного поиска

Возможность создать
LLM-проект

освоив технологии разработки LLM, вы сможете запускать свои проекты с нуля, создавая решения на базе передовых технологий.

Улучшить существующие сервисы

возможность создавать и оптимизировать LLM для реальных задач, повышая эффективность бизнес-процессов и улучшая качество сервисов.

Как LLM меняет мир вокруг нас?

Napoleon IT внедрил LLM-модель для анализа клиентских отзывов в ритейле и e-commerce

Модель автоматически определяет тональность, категории и ключевые инсайты, обрабатывая до 1000 отзывов в секунду. Использование технологии ускорило работу с обратной связью, улучшило понимание потребностей клиентов и повысило точность управленческих решений.

1/5

Подробнее

Альфа-Банк внедрил GigaChat на базе LLM для автоматизации клиентской поддержки

Модель обрабатывает запросы по 10 популярным темам, включая кредитные и дебетовые карты, а также программы лояльности. Использование модели повысило точность обработки запросов, ускорило ответы и улучшило клиентский опыт — зафиксирован рост NPS.

2/5

Подробнее

Яндекс внедрил YandexGPT 5 Pro и мультимодальную нейросеть VLM в виртуального помощника Алиса

Модели улучшили рассуждения, работу с файлами и произношение на английском языке. Использование технологий повысило точность и естественность общения с пользователями.

3/5

Подробнее

СберЗдоровье использует LLM-ассистента, который предварительно обрабатывает жалобы пациентов в текстовом виде и подсказывает врачу возможные направления диагностики

Это сокращает длительность приёма, снижает рутинную нагрузку и ускоряет заполнение медицинской документации.

4/5

Подробнее

Siemens и Microsoft анонсировали масштабирование Industrial Copilot — ИИ-ассистента для промышленности

Уже более 100 компаний, включая Schaeffler и thyssenkrupp, используют Copilot для повышения эффективности и сокращения времени простоя. Copilot ускоряет разработку автоматизационных кодов, сокращая время моделирования с недель до минут.

5/5

Подробнее

Какой формат курса?

Продолжительность курса 18 недель

Занятия 2 раза в неделю по 2 часа в режиме онлайн

Регулярные запланированные каникулы для отдыха после больших модулей

Доступ к записям всех теоретических и практические занятий курса

Соотношение практики и теории 70/30

Старт курса

02

июня

Количество мест в группе ограничено

Кому подойдет этот курс?

Студенты и выпускники

бакалавриатов в области ИТ и машинного обучения

Специалисты с опытом в программировании

на Python и работе с ML (желательно знакомство с PyTorch и Hugging Face)

Разработчики

желающие перейти в область AI-инженерии или улучшить свои навыки в NLP и LLM-разработке

Программа курса

Раздел 1

Своя LLM

1/ Современные LLM

Лекция: современные LLM, close vs open models, оценка качества, бенчмарки, что выбрать для своих задач, прайсинг

Лекция: оптимизации инференса в LLM - KV-caching, speculative decoding, MoE.

2/ PEFT

Лекция: проблематика обучения LLM, обзор методов PeFT, нюансы применения

Семинар: сравнение методов файнтюнинга - полный, LP, LP+FT, PEFT

3/ RLHF & Alignment

Лекция: что это и зачем, базовая терминология RL и обзор методов: - RLHF, PPO, DPO.

Семинар: trl, rlhf для чат-модели - ppo или dpo

4/ Уменьшение размеров модели

Лекция: обзор методов - дистилляция, квантование, прунинг, виды, применимость в LLM

Семинар: сравнение инструментов и влияние «битности» на качество, Quantization + LoRA и прочие миксы

Раздел 2

Prerequisites для RAG

1/ Работа с текстами

Лекция: современные LLM, close vs open models, оценка качества, бенчмарки, что выбрать для своих задач, прайсинг

Лекция: оптимизации инференса в LLM - KV-caching, speculative decoding, MoE.

На выходе студенты:

Умеют выполнять базовую обработку текстов

Умеют работать с методами чанкинга для подготовки данных

2/ Векторы

Лекция: векторная БД, энкодеры, MTEB

Семинар: развёртывание векторной БД, проверка качества различных энкодеров

Доп. литература: статья BGE-M3, статья E5

На выходе студенты:

Умеют работать с векторными базами данных

Умеют оценивать качество энкодеров и выбирать подходящие для задач

3/ Информационный поиск

Лекция: полнотекстовый, гибридный поиск, BM25, симметричный и ассиметричный поиск

Семинар: сравнение симметричного поиска и ассиметричного на конкретном примере

На выходе студенты:

Умеют настраивать системы информационного поиска

Умеют оценивать методы поиска по их эффективности

4/ Ранжирование

Лекция: инструменты ранжирования, метрики для оценки качества, переранжирование

Семинар: построение собственное системы ранжирования, использование кросс-энкодера для переранжирования

Доп. литература: обучение кроссэнкодера

На выходе студенты:

Умеют оценивать качество поиска по метрикам

Умеют создавать системы ранжирования и настраивать их под задачи

Умеют использовать кроссэнкодеры для улучшения качества поиска

Раздел 3

RAG

1/ Основы RAG систем:

Лекция: фреймворки для RAG (LangChain + LangGraph), разбор разных ретриверов; как оценивать работу RAG системы и основные сложности

Семинар: простая RAG система как бенчмарк, демонстрация; наглядная демонстрация нерепрезентативности основных метрик и сложностей, практика DeepEval

На выходе студенты:

Умеют разрабатывать простую RAG систему

Умеют оценивать её

2/ Усложнение RAG-систем

Лекция: усложнение RAG-системы: ансамблевые ретриверы, Query Expansion, обработка запросов пользователя (+перефразы, отлов галлюцинаций)

Семинар: разработка всего, что было на лекции, на практике

На выходе студенты:

Умеют писать RAG-системы устойчивые к реальной жизни и реальным запросам

Раздел 4

Агенты

1/ Введение

Лекция: что такое агенты, как это работает и сфера применимости

Семинар: построение собственной системы простейших агентов (поиск авиабилетов), сравнение работы обычной модели vs агент

Доп. литература: анализ реальных примеров: как OpenAI ChatGPT действует в качестве агента

На выходе студенты:

Понимают, что такое агенты и чем они отличаются от других ИИ-инструментов

Умеют строить простейших агентов

2/ Мультиагентные системы

Лекция: мультиагентные системы, контекстная адаптация, точки отказа системы, галлюцинации агентов, следование промпту, уязвимости

Семинар: реализация агента с поддержкой многошагового планирования, использование LLM для генерации и корректировки пошаговых инструкций: добавление валидации и ограничений на действия, тесты для проверки корректности работы агента

Доп. литература: multi-hop reasoning & Tree of Thoughts + ReAct

На выходе студенты:

Понимают, что такое мультиагентные системы

Умеют строить более сложных агентов

Верхнеуровнево понимают пределы применимости агентов

Понимают, какие ошибки и опасности могут встречаться в работе с агентами

Имеют полное понимание о точках отказа агентов и где их применять нельзя

Умеют отлаживать и валидировать агентные системы