ML‑разработчик в бригаду сложных сценариев (группа обучения с подкреплением)

Планирование движения — одна из самых сложных задач в сфере автономных технологий. Мы экспериментируем с большими генеративными моделями, чтобы предсказывать, как будет двигаться автомобиль. Траектория должна быть безопасной для всех участников движения, комфортной для пассажира и позволять автомобилю доехать до конечной точки маршрута.

Мы хотим улучшить модель, чтобы она лучше справлялась с новыми дорожными ситуациями. Для этого исследуем новые алгоритмы RL‑обучения, экспериментируем с наградами и работаем с данными. В том числе развиваем направление сложных и редких сценариев для обучения ML‑планировщика.

Вам предстоит не только изучать статьи и пробовать разные подходы, но и внедрять собственные разработки в пайплайн движения автомобиля. Вы сможете увидеть, как ваша работа улучшает качество технологии.

Какие задачи вас ждут:

Разработка алгоритмов

Вы будете разрабатывать алгоритмы, которые генерируют синтетические дорожные сценарии для ML‑планера. При этом предстоит изучить много материалов, придумать разные подходы и разобраться, как их воплотить в жизнь.

Исследование методов работы с агентами

Вы будете экспериментировать с разными подходами, в том числе с reinforcement learning и диффузионными моделями (diffusion models), чтобы изменить поведение агентов или добавить новых на сцену и создавать синтетический контент.

Улучшение RL‑обучения

Вы будете работать с синтетическими данными: не только создавать качественную синтетику, но и обучать модели на ней. Важно найти баланс между синтетическими и реальными данными, а также понять, как улучшать обучение при добавлении сцен без Ground Truth водителя.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждем, что вы:

• Обучали нейросетевые модели
• Внедряли DL‑решения в продакшн
• Программировали на Python
• Работали с PyTorch
• Знаете классические структуры данных и алгоритмы
• Ориентируетесь в области DL
• Быстро разбираетесь в новых методах
• Умеете выдвигать гипотезы и выстраивать эксперименты для их проверки
• Читаете статьи о ML
• Следите за развитием области ML

Будет плюсом:

• Внедряли методы обучения с подкреплением в продакшн
• Работали с диффузионными моделями
• Публиковались в сборниках научных конференций высокого уровня
• Работали с большими объемами данных
• Участвовали в соревнованиях по ML или спортивному программированию
• Увлечены автомобилями или автономными автомобилями