Курс "Инженер данных (Data Engineer)"

Программа курса

ДЕНЬ 1. Инженер в ИТ-системах: ответственность, требования, риски

• Роль инженера в ИТ-командах и проектах. Где заканчивается зона ответственности разработчиков, архитекторов, эксплуатации и где начинается личная ответственность инженера.
• ИТ-решение как источник рисков. Почему «это просто конфигурация», «временный костыль», «маленький скрипт» приводит к инцидентам, простоям и потерям.
• Работа с требованиями в ИТ. Разница между бизнес-требованиями, техническими требованиями, ограничениями инфраструктуры и допущениями команды.
• Проверка и уточнение ТЗ и user story. Типовые дефекты требований: неявные SLA, неопределённые нагрузки, неучтённые сценарии отказов.
• Фиксация исходных условий. Версии ПО, окружения, данные, зависимости, внешние сервисы как обязательная часть инженерной фиксации.
• Допущения в ИТ-проектах. Облачные сервисы, доступность каналов, нагрузка, данные, поведение пользователей — чем опасны незафиксированные ожидания.
• Переход от устных договорённостей к управляемым артефактам. Технические записи, ADR, RFC, архитектурные заметки как защита инженера.
• Документация, которая реально нужна ИТ-инженеру. Что должно быть зафиксировано, даже если «никто не читает».
• Нормативы, политики и регламенты в ИТ. Внутренние стандарты, требования безопасности, SLA, compliance — где инженер обязан их учитывать.
• Минимальный комплект инженерных документов в ИТ-проекте. Требования, архитектурные решения, допущения, изменения, эксплуатационные инструкции.

ДЕНЬ 2. Изменения и управляемость ИТ-решений

• Изменения в ИТ как норма. Новые требования, баги, рост нагрузки, обновления — почему «потом поправим» опасно.
• Процедура работы с изменениями. Когда изменение требует оценки рисков, пересогласования и фиксации последствий.
• Экономика ИТ-решений. Как архитектурные и инженерные выборы влияют на затраты, SLA, репутацию и масштабируемость.
• Стоимость инцидентов. Простои сервисов, деградация производительности, потери клиентов, штрафы по SLA.
• Стоимость переделок. Рефакторинг, миграции, переработка пайплайнов, переразвертывание инфраструктуры.
• Одностраничное технико-экономическое обоснование ИТ-решения. Проблема, варианты, риски, стоимость владения, рекомендация.
• Согласование технических решений. Как разговаривать с бизнесом, продуктом и руководством на языке последствий.
• Коммуникации инженера в ИТ. Взаимодействие с разработкой, эксплуатацией, безопасностью, продуктом и менеджментом при изменениях.
• Инциденты и сбои. Когда инженер обязан фиксировать проблему и почему «быстро починили и забыли» создаёт повторные аварии.
• Технические отчёты и постмортемы. Как фиксировать причины, решения и предотвращать повторение.

ДЕНЬ 3. Специализация курса для Data Engineer

• Поддержка потоков данных. Работа с потерями и задержками.
• Контроль качества данных. Выявление неконсистентности.
• Эксплуатация хранилищ. Баланс производительности и стоимости.
• Обслуживание ETL/ELT-процессов.
• Взаимодействие с аналитиками и продуктом.
• Управление версиями схем.
• Контроль доступов к данным.
• Работа с инцидентами в пайплайнах.
• Документирование источников и трансформаций.
• Поддержка SLA по данным.
• Перестройка архитектуры данных.
• Оптимизация производительности.
• Миграция хранилищ.
• Изменение моделей данных.
• Внедрение новых источников.
• Оценка последствий для аналитики.
• Автоматизация контроля качества.
• Пересмотр политик доступа.
• Анализ экономического эффекта.
• Фиксация изменений в документации.

Часто задаваемые вопросы об обучении инженеров практическим навыкам

1. Это курс или семинар?

Это курс в двух форматах: очного участия и онлайн трансляции.

2. Что, если я не смогу присутствовать онлайн?

Обычно предоставляется доступ к записи на 21 день.

3. Можно ли оплатить по счету от организации?

Да, для корпоративных клиентов доступна оплата по счету.

4. Есть ли рассрочка и возврат?

Условия рассрочки и возврата определяются регламентом организатора и типом оплаты.

5. Будет ли трудоустройство после курса?

Курс не про трудоустройство. Результат — прикладные практические навыки и набор артефактов для внедрения в вашей команде.

6. Можно ли прийти со своими данными/кейсом?

Да, это даже желательно. Мы поможем правильно сформулировать вопрос, упаковать решение (без раскрытия конфиденциальных деталей).