Кто такой дата-инженер, что делает и где работает

Здравствуйте! В статье мы поговорим об инженерах данных. Узнаем, чем они занимаются, что входит в их обязанности, а также расскажем о востребованности, месте работы, плюсах и минусах профессии Data Engineer.

Кто такой Data Engineer

Data Engineer – это специалист в сфере Big Data, который собирает информацию из разных источников, обрабатывает ее и передает аналитикам, чтобы на основе статистических данных компания могла принимать бизнес-решения.

Data-инженер занимается ETL-процессами, что в переводе с английского означает:

• extract – извлекает;
• transform – трансформирует;
• load – загружает.

Под данными следует понимать не просто набор отчетов, а огромные массивы неструктурированной информации разных форматов: в текстовом, табличном, аудио, видео и пр. Они используются для машинного обучения, построения рекомендательных систем, разработки прогнозов и принятия управленческих решений.

Отличия от Data Scientist

В аналитике больших данных есть несколько смежных профессий с разными задачами и инструментами. Объясним, чем Data Engineer отличается от Data Scientist. Первый специалист отвечает за сбор и обработку данных: находит источники, преобразует информацию в нужный формат и передает второму.

Далее начинается работа дата-сайентиста:

• анализирует полученный материал;
• формулирует гипотезы;
• строит модели машинного обучения, чтобы проверить свои предположения;
• изучает работу ML-модели, делает выводы, ищет в массиве данных связи, закономерности;
• предоставляет руководству или заказчику результаты в наглядном виде – готовит отчеты, графики, дашборды и пр.

То есть обязанность дата-инженера – собрать качественный материал для анализа, задача дата-аналитика – извлечь из данных те сведения, которые будут полезны бизнесу.

Чем занимается дата-инженер

Конкретные обязанности специалиста зависят от того, в какой сфере он работает. Его цель – обеспечить надежную инфраструктуру для данных.

Расскажем подробнее, чем занимается инженер данных:

• Настраивает ETL-процессы.
• Делает пайплайн (схему) загрузки данных в базу.
• Автоматизирует процесс сбора информации в единый склад структурированных (Data Warehouse) или неструктурированных (Data Lake) данных.
• Импортирует файлы из различных источников – CRM-системы, веб-аналитика, другие корпоративные хранилища.
• Очищает данные от ошибок, повторов, лишних уточнений, которые могут негативно повлиять на результат анализа.
• Создает архитектуру и структуру хранилища, выбирает подходящий облачный сервис в зависимости от цели и бюджета.
• Строит конвейеры и управляет потоками данных любого размера.

Что он должен знать

Навыки дата-инженера зависят от его компетенции и опыта. Например, junior, то есть новичок выполняет типовые задачи под руководством наставника. Middle-специалист владеет несколькими языками программирования и решает технические вопросы любой сложности. Senior-инженер имеет углубленные знания ETL-процессов и может руководить командой.

Перечислим, что нужно знать специалисту по Data Engineering:

• Информатика, алгоритмы и структуры данных.
• Принципы хранения информации в SQL и NoSQL.
• Один из языков программирования – Python, Java или Scala.
• Инструменты для работы с Big Data – экосистема Hadoop, фреймворки Apache Spark и Kafka.
• Популярные облачные платформы – Amazon Web Services, Google Cloud Platform, Microsoft Azure.
• Программы для визуализации, например, Tableau.
• Основы распределенных систем.
• Конвейеры для передачи данных (CI/CD pipelines).
• Навыки написания скриптов и подключения API-систем.

Место работы и востребованность инженеров данных

Инженеры по работе с данными востребованы в разных отраслях, связанных с Big Data. В большинстве случаев это одна из следующих сфер:

• Информационные технологии, телеком.
• Банки, финансовые организации, платежные системы.
• Ритейл, онлайн-продажи товаров и услуг через маркетплейсы и мобильные приложения.
• Транспортные, логистические компании.
• Промышленные и производственные холдинги.

На сайте HeadHunter более 650 вакансий по специальности Data Engineer. Наиболее востребованы дата-инженеры с опытом 1-3 года в Москве, Санкт-Петербурге, Казани, Новосибирске и Нижнем Новгороде. Среди объявлений встречаются такие крупные работодатели, как Сбербанк, Росбанк, Avito, МТС, Билайн, DNS и Камаз.

Плюсы и минусы профессии

Перспективное и востребованное направление Data Engineering имеет не только плюсы, но и некоторые минусы. Мы собрали в таблице основные достоинства и недостатки профессии.