Middle AI/ML Automation Engineer / AI Agent Developer (LLM, RAG, MLOps)

Проектирую системы на LLM и веду их в проде: RAG над профессиональными базами знаний, автономные агенты, голосовой AI, генерация документов. Python, FastAPI, PostgreSQL / pgvector, Docker, Linux. Каждый проект довожу до эксплуатации у заказчика и отвечаю за него после запуска: деплой, мониторинг, разбор инцидентов, регрессионные эвалы. RAG и качество ответов Ассистент по строительным нормам Казахстана. Собрал корпус из 92 нормативных документов, это 24 278 фрагментов в PostgreSQL с pgvector. Парсер держит структуру документа: разделы, пункты, приложения, таблицы. Построил HNSW-индекс. Сделал ответ проверяемым. Цитата ведет до документа, пункта и страницы PDF. Каждое утверждение отдельная модель-судья проверяет на следование из процитированного фрагмента, числа сверяет код. Регрессионный эвал на 100 вопросах: 85/85 валидных цитат, ноль ложных отказов, 13/15 корректных отказов на вопросах вне корпуса. Поиск мерю отдельно от генерации, иначе непонятно, что чинить. Эксплуатация и MLOps-практики Регрессионные эвалы гоняю так, чтобы прогон можно было повторить: конфигурация прогона, то есть провайдер, модель и версия корпуса, сохраняется вместе с результатом, а baseline защищен от перезаписи. Новое поведение выкатываю под feature-флагом. Включается конфигом, откатывается снятием флага, без релиза. Перед правкой прода снимаю снапшот, после деплоя проверяю здоровье сервиса и читаю логи, и только потом считаю задачу закрытой. Инференс держу отказоустойчивым: основной провайдер модели плюс цепочка фолбэка. Отрабатываю исчерпание квоты, истекшую авторизацию и тихую деградацию. Эксплуатирую сервисы на нескольких VPS (self-hosted): мониторинг, оптимизация расхода токенов, изоляция рабочих окружений, миграции БД (Alembic). Тесты: 970 автотестов в контент-системе, 545 в голосовом сервисе. На каждый воспроизведенный прод-баг пишу тест, который закрывает его навсегда. MLflow, Kubernetes, Airflow, CI/CD. Голосовой AI Обзвон и квалификация лидов: Voximplant, ElevenLabs и OpenAI Realtime, OnlinePBX, CRM. Режимы квалификации и информирования, дашборд с расписанием кампаний. Задержку снизил с 3,4 секунды до 800 миллисекунд после перехода на speech-to-speech. Роли в транскрипте беру из диаризации, а не из догадок модели. До этого LLM приписывала клиенту реплики бота и портила квалификацию лида. Сделал сигналы квалификации настраиваемыми в разрезе кампании: Alembic-миграция, частичные уникальные индексы, кампанийные сигналы переопределяют общие. LLM-агенты и multi-agent системы Мультиагентный маркетинговый отдел: пять автономных агентов на отдельных серверах, по Яндекс.Директу, ВКонтакте, SEO, Avito и персональный агент руководителя. Ежедневные отчеты по расписанию, гейты на действия, которые что-то меняют, кураторский контур приемки. За два месяца работы: вернул прозрачность по рекламному расходу 2,4 млн рублей за 3 месяца, свел единый реестр 76 кампаний на 9 счетчиках, собрал семантическое ядро на 67 616 запросов, поймал подрядчика на накрутке 85-92% кликов, проверил портрет аудитории на выборке 174 тысяч профилей до траты бюджета под гипотезу. Таск-агент для строительной компании на базе Bitrix24: автономный агент с 11 навыками, маршрутизация задач по ответственным, изоляция доступа сотрудников на уровне границы системы. Веду в проде много месяцев. Работаю в тандеме с CLI-агентом-исполнителем: письменный Definition of Done до начала работы, приемка по артефактам, то есть дифф, дословный вывод тестов и мой собственный живой прогон, плюс независимая проверка вторым агентом. Генерация документов и контент-конвейеры Async-backend на FastAPI для генерации проектной документации: Claude Opus, эмбеддинги, pgvector, docxtpl, Streamlit. Генерация идет по секциям, документы до 60 страниц. Упавший прогон продолжается с чекпоинта, расход токенов считается честно. Журнал верификации сверяет ссылки с фактическим контекстом, а не имитирует проверку. Контент-завод для travel-компании: автогенерация постов и email-рассылок, RAG, проверка изображений через Vision, гейты против галлюцинаций, цепочка моделей primary плюс fallback, 970 автотестов на pytest. Бот-конвейер новостного контента: парсинг Telegram-каналов через Telethon, рерайт и перевод на три языка, рендер каруселей 1080x1350 в брендбуке на Pillow, сборка вертикальных роликов на ffmpeg, недельный дайджест со скорингом значимости. 94 автотеста, деплой на VPS клиента. Автоматизация и интеграции n8n, Advanced, self-hosted, 15+ production-воркфлоу: обработка заказов Ozon FBS на 21 магазин со сбором, группировкой по складам, штрихкодами и листами подбора, логистика через Excel и PDF, Telegram Business бот-приоритизатор входящих, боты нутрициолога и мониторинга доменов. AI-ассистент на базе 2ГИС: RAG с подключением к API, время ответа сотрудникам сократилось на 80%. AI-администратор клиники: чат-бот записи с базой знаний, конверсия в запись выросла на 40%. Преподаю деплой и эксплуатацию LLM-агентов: OpenClaw, Claude Code, Codex.