Data Platform — это корпоративное хранилище данных, или DWH (Data Warehouse), и целый набор разных инструментов для эффективной работы с данными. Для начала определим, что представляет собой Data Platform в Т‑Банке:

• более 6000 батчевых процессов загрузки, трансформации и выгрузки данных;
• сотни потоков загрузки слабоструктурированных и неструктурированных данных из внешних систем;
• сотни источников данных;
• больше 200 ТБ сжатых структурированных данных в кластерах Greenplum и Clickhouse;
• более 2 ПБ сжатых данных в кластере Hadoop;
• несколько сотен сотрудников: архитекторы, аналитики, разработчики (ETL, BI, Python, Java), data-инженеры, SRE- и QA-инженеры.

Каждый сотрудник играет в процессе определенную роль: отвечает за часть платформы и некоторые этапы на пути данных из систем источников к потребителям. Попробуем разобраться, какие обязанности есть у data-инженеров.

Data-инженеров называют по-разному: инженер данных, data engineer, DE. Такой специалист — это в первую очередь инженер. Давайте заглянем в словарь: «Инженер (фр. ingénieur ← от лат. ingenium — способности, изобретательность) — специалист в области технической деятельности, направленной на практическое приложение и применение знаний с целью обращения природных ресурсов на пользу человека». Даже в сухом энциклопедическом определении речь идет о практическом применении знаний с пользой для дела.

Перейдем к конкретике. Data-инженер — это специалист, который автоматизирует процесс обработки данных, создает конвейеры обработки данных и настраивает инфраструктуру для них. Проще говоря, он помогает конечному потребителю получить необходимые данные и извлечь из них пользу.

На практике круг обязанностей data-инженера может быть разнообразным, как и инструменты, которые он применяет. Все зависит от особенностей компании, устройства корпоративного хранилища данных (DWH) и технических требований к нему.

Чаще всего data-инженер сталкивается с задачами:

• извлечения данных оптимальным способом;
• подготовки данных, их очистки и обогащения;
• доставки данных потребителю в удобном формате;
• хранения данных: выбор подходящего способа хранения, оптимальной структуры, сжатия, секционирования и глубины;
• развертывания и поддержки инфраструктуры, мониторинга ее состояния.

В зависимости от специфики задач в разных организациях складывается разное видение роли data-инженера. Расскажу, какими знаниями и навыками обладают data-инженеры в Т‑Банке.

Получается, data-инженер — это Супермен, многорукий Шива и человек-оркестр. Он T-shaped-специалист: отлично разбирается в одной или нескольких областях, а в смежных областях ориентируется на базовом уровне. Это противоположность I-специалисту, который знает много всего, но не углубляется ни в одну область.

Приведу пример. Вот наборы навыков, которые могут быть у двух разных data-инженеров:

• Эксперт в SQL, большой опыт работы с RDBMS и NoSQL, имеет глубокие знания в областях DWH и ETL, умеет на хорошем уровне писать код на Python, не понаслышке знаком с CS, Linux, Docker.
• Эксперт в CS, мастерски владеет Java, Python и не только, хорошо знает Linux, Docker, умеет писать сложные SQL-запросы, хорошо понимает, как работают RDBMS- и NoSQL-решения, разбирается в DWH и ETL.

Когда в одной команде оказываются специалисты с сильными знаниями в разных областях, получается эффективно решать широкий спектр задач. Кроме того, ускоряется обмен знаниями и опытом: происходит «взаимное опыление».

Раз уж речь зашла о командах, расскажу, где можно встретить data-инженера в Т‑Банке.

Core-команды в DWH. Технические команды, которые занимаются развитием инструментов и выработкой подходов к решению типовых задач. Такие команды — центры экспертизы.

Бизнес-команды. В них data-инженеры занимаются решением задач конкретного бизнес-направления. Для этого они используют один или несколько инструментов, взаимодействуют с core-командами и привносят культуру работы с данными в свое подразделение.

С ключевыми навыками разобрались. Теперь поговорим о том, как становятся data-инженерами в Т‑Банке. На практике в лагерь инженеров данных часто попадают специалисты из смежных областей. Например, такие:

• ETL-разработчик;
• ML-разработчик;
• Backend- или fullstack-разработчик.

Чтобы специалисты знали, в какую сторону развиваться, чтобы стать data-инженером, мы создали универсальную матрицу компетенций. По сути, это развитие методики универсальной карты компетенций ETL-разработчика, про которую рассказывала Галина Голованова.

Матрица компетенций data-инженера — это детализированный перечень основных навыков, описанных выше. Матрица учитывает в первую очередь технологии, с которыми работают инженеры в компании. А универсальна она потому, что в ней есть альтернативные разделы для каждого навыка.

В матрице детально описаны требования, которые актуальны для data-инженеров разных профилей. Например:

• Java, Flink, Kafka, Cassandra и другие нужны для стриминговой обработки данных.
• Java, NiFi, Hadoop, Kafka, Redis и другие актуальны для core-команды, занимающейся развитием и эксплуатацией Apache NiFi.
• Python, Airflow, Greenplum, Clickhouse, Hadoop и другие необходимы для core-команды, занимающейся развитием batch ETL фреймворка на базе Apache Airflow.

Универсальность матрицы еще и в том, что в ней есть общие разделы. Они будут в той или иной степени полезны любому data-инженеру:

• основы хранилищ данных;
• SQL;
• теория СУБД, RDBMS, NoSQL, MPP;
• инженерные навыки;
• алгоритмы, структуры данных, сложность алгоритмов, паттерны проектирования.

Вся информация в матрице разделена по уровням компетенций — от junior до senior+. Это помогает понять, какие знания необходимы junior-специалисту, чтобы вырасти до мидла, а middle-специалисту — чтобы стать сеньором. За каждым data-инженером мы закрепляем ментора, который помогает составить индивидуальный план развития, опираясь на матрицу компетенций. Матрица помогает сотрудникам развиваться, но не определяет их уровень. Для этого у нас есть отдельная матрица уровней.

Периодически мы устраиваем аттестации — «экзамены» для data-инженеров. Любой желающий может сдать аттестацию на выбранный уровень, например middle. Благодаря матрице компетенций и механизму периодической оценки навыков мы можем быть уверены, что data-инженеры в наших командах могут быстро и гармонично развиваться.

Сейчас потребность в data-инженерах растет, потому что данные — это «новая нефть». А data-driven-подход требует умения работать с любыми данными, независимо от масштабов организации. Мы в Т‑Банке тоже приглашаем желающих присоединиться к нашей команде data-инженеров. Узнать подробности и посмотреть вакансии можно на нашей карьерной странице для data-инженеров.

Общий порядок интервью ИТ-специалистов мы подробно описали на странице про собеседования. А о том, как проходит интервью системных аналитиков DWH в Т‑Банке, рассказывала в своей статье Мария Фоменко.

Конечно, кандидатов на позиции data-инженеров ждут некоторые особенности в технической части интервью. Но основные этапы стандартные.

HR-скрининг. Это телефонное интервью с рекрутером, которое длится 20—30 минут. HR-специалист расспрашивает кандидата об опыте, мотивации, ожиданиях и технических интересах. И отвечает на его вопросы о вакансии.

Техническое интервью. При общении с соискателями мы всегда выясняем, какие навыки развиты у них особенно хорошо. Обычно стандартных полутора часов на это не хватает. Поэтому собеседование на позицию data-инженера проходит в несколько этапов:

1. Секция «Data Engineering + логика». Длительность — 90 минут. На этой секции мы проверяем базовые знания по направлению data engineering и оцениваем уровень погружения во множество направлений. По итогам встречи мы формируем профиль навыков, чтобы понять, в какой команде кандидат сможет работать эффективнее всего. На этой же встрече мы с соискателем пишем немного кода и решаем «детские» логические задачки.
2. Секция SQL. Длительность — 60 минут. В этой части технического интервью мы решаем задачки с использованием SQL, проверяем навыки работы с данными с использованием SQL и опыт использования разных синтаксических конструкций.
3. Алгоритмы. Длительность — 60 минут. Проверяем знания по алгоритмам и структурам данных, предлагаем решить несколько задачек, требующих написания кода. На этой секции нужно показать навыки работы с основными структурами данных: строки, списки, деревья, ассоциативные массивы, векторы. Кандидату пригодится умение реализовывать базовые алгоритмы: поиск элементов в коллекциях, обход деревьев, сортировки, динамическое программирование. Изучая решения соискателя, мы проверяем умение оценить сложность алгоритмов, обсуждаем O-нотацию, вычислительную сложность решения и расход памяти.

Знакомство с командой. Тех, кто успешно прошел секции технической части, мы приглашаем на финальное интервью с командой. Напомню, что на каждом этапе технического интервью мы занимаемся построением детализированного профиля компетенций кандидата. Поэтому команды могут легко понять, подходит ли им специалист с такими навыками и знаниями. Кандидатам процесс (особенно третий этап) тоже помогает понять, подходит ли им компания. На финальном этапе кандидаты знакомятся с командами, обсуждают особенности проектов и конкретные задачи. И после этого наш будущий коллега выбирает команду, в которой ему будет интереснее всего работать.

Надеюсь, благодаря этому тексту стало понятнее, как становятся data-инженерами в Т‑Банке и каких специалистов мы ждем на собеседованиях. Если ты любишь работать с данными так же, как мы, — приходи к нам.