Кто такой аналитик Big Data, что делает и сколько зарабатывает

Здравствуйте! В статье мы поговорим об аналитиках больших данных. Узнаем, чем они занимаются, что входит в их обязанности, какая у них зарплата, а также расскажем о плюсах и минусах профессии Big Data Analyst.

Кто такой аналитик Big Data и чем занимается

Аналитик Big Data – это специалист, который занимается сбором, обработкой, анализом и изучением больших массивов "сырых" данных разных форматов. Он находит закономерности, выявляет из общего объема ценные сведения и на их основе принимает ключевые решения. Например, определяет тенденции рынка, оптимизирует расходы, запускает новые проекты и т. д.

Приведем простые примеры, что может анализировать Big Data Analyst:

• История заказов/покупок в супермаркетах или интернет-магазинах, чтобы создавать персональные рекомендации, прогнозировать спрос или цены на товары.
• Транзакции в банковских и финансовых организациях, чтобы выявлять мошеннические схемы или рассчитывать индивидуальные условия, например, кредитные ставки.
• Телефонные звонки в call-центре, чтобы оценивать качество обслуживания, работу персонала и устранять распространенные проблемы.
• Загруженность дорог, метеоусловия, востребованность услуг такси, чтобы система могла построить оптимальный маршрут, а также посчитать стоимость поездки.

Big Data отличается от обычной аналитики. Специалист по Биг Дата работает с огромными объемами информации (терабайтами), которая регулярно обновляется и имеет неоднородную структуру: тексты, таблицы, изображения, аудио, видеоматериалы и пр.

Его обязанности

Обязанности специалиста зависят от того, какие задачи и в каких отраслях он решает: строит рекомендательные системы, прогнозирует показатели будущих периодов, проверяет предположения и т. д.

Расскажем, что в общем делает Big Data Analyst:

• Составляет технические задания в соответствии с целями, потребностями и требованиями заказчика.
• Выбирает источники для сбора сведений.
• Собирает материал для исследований, структурирует и готовит его для последующего анализа, исключает ошибки и пропуски, которые могут повлиять на результат.
• Визуализирует информацию, чтобы сформулировать предварительные гипотезы, увидеть возможные закономерности в массивах данных.
• Анализирует выбранный датасет с помощью методов математической статистики и теории вероятности, выявляет корреляцию между наборами данных.
• Разрабатывает и тестирует различные модели машинного обучения.
• Формулирует результаты обработки и делает выводы.

Что должен знать и уметь аналитик больших данных

Специалист по Big Data должен знать особенности отрасли, в которой работает: интернет-продажи, ритейл, логистика, финансы и пр. Ему нужно уметь программировать и строить математические модели.

Основные знания и навыки аналитика больших данных:

• Теория вероятности, методы статистического анализа данных: кластеризация, регрессионный, факторный, дисперсионный, корреляционный анализ.
• SQL, чтобы работать с базами данных: писать запросы, извлекать нужную информацию, сортировать, фильтровать и т. д.
• Язык программирования Python, его библиотеки и фреймворки – Numpy, Pandas, Matplotlib и др.
• Фреймворк Apache Spark для обработки неструктурированных и слабо структурированных данных.
• Пакет PySpark для управления Big Data и машинным обучением.
• Набор утилит Hadoop и модель MapReduce.
• Data Lake – репозиторий для одновременного хранения данных в различных схемах и форматах.
• Программы для визуализации данных, например, Power BI.
• Операционная система Linux и командная строка Bash.
• Английский язык на уровне понимания технической информации.

Место работы

Технологию Big Data используют во многих отраслях. Например, в торговле она помогает выявить тенденции и спрос на определенные товары, в промышленности – прогнозировать объемы производства и снижать себестоимость продукции, социальным сетям – изучать поведение пользователей и внедрять новые опции.