Как научиться Data Engineering с нуля и стать инженером данных

Здравствуйте! В статье расскажем, как обучиться на дата-инженера. Разберемся, кому подойдет профессия, как освоить ее с нуля, где учиться и с чего лучше начинать карьеру в Data Engineering.

Кому подходит профессия

Профессию Data Engineer можно освоить с нуля или перейти в нее из смежной отрасли. Например, дата-инженерами часто становятся программисты со знанием Python и SQL (преимущественно бэкенд-разработчики), специалисты с техническим образованием, а также аналитики данных, которые до этого не сталкивались с Big Data.

Для работы по специальности нужно иметь определенные личностные качества:

• Аналитический склад ума, развитое логическое мышление, внимательность к мелочам.
• Умение работать в режиме многозадачности с большими объемами информации.
• Усидчивость, готовность к долгой монотонной работе за компьютером.
• Знание информатики и математики либо желание изучать эти дисциплины углубленно.

Как обучиться Data Engineering

Новичкам без опыта в IT нужна серьезная техническая подготовка. Необходимо знать языки программирования, алгоритмы и структуры данных, особенности Big Data. Поэтому стать дата-инженером самостоятельно не получится.

Можно самому изучать Python и SQL, например, по учебникам и видео с Youtube. Но для работы по специальности требуется профильное образование, которое можно получить одним из двух способов: в техническом вузе на очном отделении или в онлайн-школе.

Первый вариант подходит выпускникам 11 классов, которым нужен диплом о высшем образовании, второй – всем, кто хочет учиться дистанционно и освоить новую профессию за 2-12 месяцев.

Расскажем подробнее про каждый учебный формат и дадим рекомендации начинающим специалистам.

В вузе

Освоить профессию инженера данных можно на одном из следующих факультетов:

• "Прикладная математика и информатика".
• "Математический анализ и его приложения".
• "Компьютерные науки".
• "Распределенные системы".
• "Большие данные".

Получить высшее образование по этим специальностям можно, например, в МГУ, МФТИ, СПБГУ, ВШЭ, университете Иннополис и т. д. Годовая стоимость обучения по выбранным направлениям начинается от 100 тысяч рублей в регионах и доходит до 600 тыс. руб. в московских учебных заведениях.

Стоит отметить и другие минусы учебы в вузе:

• Мало практики, поэтому придется самостоятельно изучать современный софт для дата-инжиниринга.
• Объемный учебный план, при этом далеко не все дисциплины пригодятся в работе.
• Учеба на дневном отделении занимает много времени, совмещать с работой не получится.
• Выпускникам вузов сложно найти должность с высокой зарплатой из-за отсутствия реальных практических навыков.

На онлайн-курсах

Самый удобный и эффективный формат обучения – пройти онлайн-курсы. Вы будете учиться удаленно в гибком графике и получите максимум ценной информации от экспертов отрасли. У вас будут не только практические занятия, но и домашние задания после каждой темы.

Персональный наставник даст рекомендации и ответит на ваши вопросы. Записи всех уроков останутся в личном кабинете навсегда, поэтому вы сможете пересматривать вебинары.

За несколько месяцев вы изучите дата инжиниринг на реальных примерах и сделаете собственные проекты: конвейер, пайплайн, облачную базу данных и пр. По окончании курса у вас будет портфолио и документ, подтверждающий квалификацию, например, диплом или сертификат. Многие учебные центры помогают студентам с трудоустройством: HR-менеджеры консультируют, делают подборку вакансий или предлагают стажировку у партнеров.

Что нужно, чтобы стать дата-инженером

Расскажем подробнее, какие этапы нужно пройти, чтобы стать инженером по работе с данными:

1. Изучите алгоритмы и структуры данных: как хранить, перемещать и анализировать информацию.
2. Освойте языки программирования. Для начала научитесь писать код на SQL и Python. В дальнейшем могут пригодиться R, Scala и Java.
3. Познакомьтесь с популярными фреймворками Питон, которые используются в анализе данных, а также с основными инструментами дата-инженера: Hadoop, Apache Spark, Kafka.
4. Практикуйтесь. Можно начать с построения пайплайна в одном из облачных сервисов: Amazon Web Services, Google Cloud или Microsoft Azure.
5. Получив минимальный практический опыт, можно искать работу по специальности, например, вакансию джуниора.

При изучении инжиниринга данных будут полезны следующие книги:

• "Data Science at the Command Line", Жерон Янссенс.
• "Machine Learning", Том Митчелл.
• "Python for Data Analysis", Уэс МакКинни.
• "Hadoop for Dummies", Дирк Дерус, Пол Зикопулос, Роман Мельник.
• "Blockchain Basics: A Non-Technical Introduction in 25 Steps", Даниэль Дрешер.