LLM Ops Engineer
Internal Support Automations Internal Support Automations – команда внутренней разработки, которая делает автоматизации и сервисы саппорт кластера. Главная цель – чтобы автоматика работала хорошо и не отвлекала поддержку от заботы о наших клиентах.
Что нужно делать
- проектировать и строить LLM стак на Go: agent-архитектура, tool-use, skills/scenarios framework (строить сервисы, через которые ассистент будет делать свое дело);
- решать build-vs-adopt для платформы: оценивать Dify/LangFuse/OpenSearch (принимать решение о том, берем готовое или строим своё, и отвечать за выбор;
- разрабатывать и поддерживать LLM-интеграции: RAG над базами знаний, агентские пайплайны, тулы закрытые ролевой моделью и авторизацией, подключаться и проксировать уже готовые интеграции;
- проектировать систему скилов и сценариев: destructive сценарии, работающие с финансовыми данными и авиабилетами (возврат, обмен, войд);
- строить LLMOps-процессы, следить за качеством: выкатка, версионирование моделей и промптов, воспроизводимость, CI/CD, golden sets, A/B где это возможно;
- дежурить по расписанию над продакшн сервисами.
Чего ждём от тебя
- коммерческий опыт разработки на Go или Python от трех лет;
- опыт с Kafka, MongoDB, PostgreSQL;
- опыт эксплуатации LLM/ML-систем в проде (мониторинг качества и стоимости, дрифт, evals);
- опыт с LLM-интеграциями: RAG, retrieval, embeddings, построение промптов (chain-of-thought / ReAct), tool-use / agent-архитектуры;
- инженерная зрелость и самостоятельность – умение оценить платформенный инструмент и сделать выбор: принять, расширить, заменить;
- опыт с контейнеризацией (Docker), Kubernetes.
Будет плюсом
- опыт с LLMOps-платформами: LangFuse / LangSmith, prompt registry, tracing, observability;
- опыт с оркестраторами LLM-пайплайнов: Dify, LangGraph или аналоги;
- построение golden sets и LLM eval в CI (отслеживание деградации);
- опыт с ClickHouse, Opensearch, Trino.
Как мы работаем
- в любой точке мира: не привязываемся к локации, платим в долларах, любим путешествовать;
- без бюрократии: удобные процессы здорового человека, горизонтальные и открытые коммуникации, быстрое обсуждение идей и принятие решений;
- компенсируем: ДМС, психотерапию или иностранные языки, занятия спортом и больничный;
- на райском острове: можно работать на Пхукете с видом на океан.
Похожие вакансии
