MLops engineer (DSML Платформа)

Группа НЛМК — крупнейший в России и один из самых эффективных в мире производителей стальной продукции. Производственные активы в России, Европе, Азии и США.

Мы создаем совершенную сталь для ключевых отраслей: от строительства до ветроэнергетики. Разрабатываем новые технологии и внедряем передовые цифровые решения.

MOps engineer будет заниматься разработкой и эксплуатацией DSML (Data Sciene and Machine Learning) платформы. Наша DSML платформа не просто позволяет создавать и эксплуатировать модели, она позволяет превращать инсайты и экспертизу Data Scientist-а в работающий код, легко передавать ее между Data Scientist-ами и сохранять в компании. Платформа предназначена для использования on-premise и не имеет здесь доступных аналогов. При разработке платформы мы вдохновлялись лучшими образчиками в cloud, и в первую очередь это DataBricks. Мы начали движение здесь в Open Source, и планируем создать версию решения, которое не только максимально упростит жизнь Data Scinetist-а и избавит его от инженерной рутины, но и позволит ему самостоятельно развернуть и начать использовать платформу.

Вас ждет:

• Развертывание, разработка и эксплуатация сервисов и инструментов DSML (Data Science & ML) платформы:
  • K8s кластеры для интерактивной разработки на базе Jupyter Lab (кластер общего назначения и Computer Vision)
  • K8s кластеры для распределенных вычислений на базе Spark
  • K8s кластеры для запуска ML pipelines по расписания
  • Python библиотек и других инструментов для ML-пайплайнов, включая инструменты для DAG (типа Dagster, Argo)
  • Распределенное хранилище для данных: HDFS, S3 + Kafka
  • Computer Vision инфраструктура, Сервера с A100, DeepStream, разнообразное оборудование для inference на производстве
• Инфраструктура Model Serving, CI/CD пайплайны для моделей
• Развитие сloud-native архитектуры на базе private и hybrid cloud
• Обеспечение воспроизводимости и возможности обмениваться (легкой передваемости) кода, данных и результатов экспериментов
• Интеграция платформы в корпоративную инфраструктуру (GitLab, Jira, Confluence, Artifactory, Active Directory), с учетом практик безопасности
• Настройка производительности инфраструктуры, в том числе Apache Spark. Профилирование кода и элементов инфраструктуры
• Поддержка пользователей DSML платформы

Мы ждем от Вас:

• Опыт администрирования linux, работающих сервисов на базе Open Source
• Опыт настройки, отладки и мониторинга систем, начиная с уровня hardware, продолжая уровнем сети, виртуализации, оркестрации и заканчивая конечными сервисами
• Опыт совместной разработки software, опыт работы в команде по SCRUM Kanban методологиям
• Знание языков python, bash, плюсом будет опыт С/С++ и других языков,
• Готовность, разрабатывая код, отвечать за его эксплуатацию в продуктовой среде
• Готовность, как инженер и разработчик, отстаивать интересы Data Scientist-ов
• Желание (можно даже страстное) работать в области Data Science
• Понимать принципы контейнеризации (K8s или Docker Swarm), знание docker
• Быть сторонником принципов DevOps/SRE, Cloud Native архитектуры
• Уметь сочетать гибкие принципы Agile, с дисциплиной для обеспечения SLA
• Уметь следовать и культивировать в компании стандарты вокруг разработки, готовность документировать результаты своего труда
• Понимание процессов CI/CD. Плюсом будет опыт настройки CI на базе Gitlab
• Опыт настройки сетевых сервисов, nginx или других балансировщиков

Плюсом будет:

• Опыт работы с Cloud платформами типа Amazon, Azure, Google, Yandex
• Опыт развертывания и поддержки приложений в IAAS среде (Kubernetes, Openshift)
• Опыт работы со Spark или Hadoop
• Опыт эксплуатации сервисных шин (MQ, Kafka)
• Опыт работы с данными

Работа в группе НЛМК - Это:

• Возможность стать частью команды цифровизации реального сектора экономики;
• Полностью удаленный график работы
• Конкурентный уровень заработной платы и ежегодная индексация
• Корпоративные льготы: ДМС, льготное страхование родственников, банковские продукты сотрудникам и скидки партнеров
• Обучение и развитие: английский язык в лучших языковых школах, большое количество обучающих курсов от внутреннего корпоративного университета, посещение митапов и конференций
• Возможность принять участие в интересных и сложных проектах с лучшими специалистами индустрии