Кто такой специалист по машинному обучению, что делает и сколько зарабатывает

Здравствуйте! В статье мы поговорим о специалистах по Machine Learning. Узнаем, чем они занимаются, что входит в обязанности ML-инженера уровня junior, middle и senior, какая у них зарплата, а также расскажем о плюсах и минусах профессии ML Engineer.

Кто такой специалист по Machine Learning и чем занимается

В переводе с английского Machine Learning – это машинное обучение, современное и перспективное направление в области искусственного интеллекта. Технология применяется в разных сферах: IT, интернет-маркетинг, ритейл, промышленность, медицина, наука и др.

ML представляет собой набор алгоритмы для создания различных моделей на основе данных, благодаря которым компьютерная программа делает правильный выбор из множества вариантов без участия человека.

Объясним, что такое машинное обучение, на простом примере - приложение для заказа такси. Система собирает данные об актуальной ситуации: карта, геолокация, пробки, ремонтные работы на дорогах и т. д. Далее алгоритм быстро анализирует эту информацию, находит несколько возможных путей проезда и строит оптимальный маршрут. В зависимости от расстояния и уровня спроса сервис рассчитывает стоимость поездки.

Разработкой таких аналитических и рекомендательных систем, которые за короткий промежуток времени обрабатывают терабайты быстро меняющихся данных, занимаются ML-инженеры.

Специалист по машинному обучению – это инженер, который создает и обучает ML-модели, а именно:

• Собирает из разных источников большие объемы информации (текст, таблицы, изображения видео и пр.) и приводит к единому формату, то есть делает датасет.
• Выдвигает гипотезы и теории, какие данные из всего массива потребуются для анализа, затем "очищает" материал от ошибок и пропусков, которые могут исказить результат.
• Программирует, а затем тренирует ML-модель, которая бы достигала поставленную цель. Например, определяла животное по фотографии, составляла метеопрогноз, делала персональные рекомендации товаров в интернет-магазине и т. д. Под тренировкой понимают множественное решение сходных задач (например, системе нужно показать большое количество фотографий котов разных пород, чтобы среди собак она распознала именно кота).

Что нужно знать и уметь

Специалист Machine Learning знает разные разделы математики: линейную алгебру, дискретную математику, теорию вероятности, статистику и пр. А также он должен уметь программировать на одном из языков: Питон, R, C++, Java, Scala и др. Знание английского на уровне чтения технической документации – еще один важный навык.

Перечислим, какими технологиями и инструментами обычно владеет ML-инженер:

• Методы поиска информации в базах данных и SQL для написания запросов.
• Python и его библиотеки – NumPy, Pandas, Scikit-learn.
• Фреймворки для тренировки нейросети – Apache Spark, TensorFlow, Keras, PyTorch.
• Пакеты SAS или Matlab для решения технических вычислений.
• Программы для визуализации данных, к примеру, Matplotlib или Power BI.
• NLTK для символьной и статистической обработки естественного языка.
• Библиотека OpenCV для программирования компьютерного зрения.
• Паттерны моделирования данных, алгоритмы итеративного обучения, стратегии оценки точности моделей.

Про junior, middle и senior

В профессии ML-специалиста выделяют 3 уровня компетенции:

• Junior – начинающий инженер с опытом около 1 года. Он занимается сбором и обработкой данных, определяет параметры, по которым информация будет разбиваться на классы и категории. Джуниор может построить несложную модель машинного обучения под контролем наставника. Для работы с базами данных он должен знать библиотеки Питона, а также MySQL и PostgreSQL.
• Middle – специалист с опытом от 2 до 5 лет, который понимает принципы Big Data, владеет несколькими языками (Python, R), умеет работать с Matlab или SAS и промышленными хранилищами данных. Он может самостоятельно строить ML-модель с нуля и оценить ее производительность, проверять, соответствует ли результат заданным критериям, и решать с помощью математики сложные бизнес-задачи.
• Senior – профессионал с опытом работы от 5-7 лет в одной из отраслей: Data Mining, Data Analytics, Machine Learning или математическое моделирование. Он понимает, как строится архитектура нейросетей, знает продвинутые инструменты, например, фреймворк CV для компьютерного зрения. Он может работать уже не только как ведущий инженер, но и руководить подразделением, быть тимлидом.

Где работают ML-специалисты

Технология Machine Learning применяется в разных отраслях. Приведем несколько примеров:

• Интернет-продажи – анализ данных о предыдущих покупках, заказах, просмотрах помогает построить рекомендательные системы и показывать пользователям товары, которые могут их заинтересовать.
• Банки и финансовые организации – скоринговая система собирает и анализирует информацию о клиенте, а затем выдает решение об одобрении или отказе в выдаче кредита.
• Медицина – машинное обучение помогает диагностировать болезнь на основании медицинских снимков пациента или спрогнозировать рост заболеваемости.
• Онлайн-сервисы – ML-модель может понимать и синтезировать речь. Так работают голосовые помощники Siri, Алиса и боты в call-центрах. А также в смартфонах применяется Computer Vision – распознавание лиц в банковских приложениях.

К другим сферам, где используется машинное обучение, относятся IT, промышленность, производство, сельское хозяйство и научно-технические центры.

Например, ML-инженеры работают в таких крупных корпорациях, как Google, IBM, Яндекс, Mail.ru, Сбербанк, Ростех и Газпром.

Зарплата Machine Learning Engineer

По оценке нескольких интернет-источников, зарплата российского специалиста по машинному обучению находится в диапазоне:

• 40-80 тыс. руб. – у новичков;
• 80-100 тыс. руб. – у инженеров уровня middle;
• 120-400 тыс. руб. и выше – у senior-специалистов и тимлидов.

Для сравнения, средний годовой заработок Machine Learning Engineer в США - 144 000 долларов (примерно 10,4 млн рублей в год или 865 тыс. руб. в месяц). Данные взяты из неофициального источника, поэтому их можно считать приблизительными.

Мы изучили вакансии на сайте HeadHunter, чтобы выяснить, сколько получают ML-инженеры в разных городах России, и составили сводную таблицу.

Например, оклад стажера начинается от 40 тыс. руб. Специалистам с опытом 5-6 лет платят до 1 млн руб. ежемесячно.

Плюсы и минусы и профессии

Перечислим подробно, какие плюсы и минусы есть в профессии Machine Learning Engineer: