Онлайн-курс «Инженер данных» — это комплексная образовательная программа для тех, кто хочет освоить востребованную профессию на стыке программирования и аналитики.
Показать полностью →
Всего за 6 месяцев вы научитесь проектировать пайплайны данных, строить хранилища и витрины, работать с большими объёмами информации и автоматизировать процессы обработки данных. Программа подходит для начинающих специалистов — обучаться можно без технического образования, а все сложные темы объясняются понятным и доступным языком.
Учёба построена по принципу: теория — практика — проект. Вы сразу закрепляете знания на практике, выполняете задания на реальных инструментах и собираете портфолио из 8 проектов. Курс помогает не только освоить инструменты Data Engineering, но и развить системное мышление: вы научитесь проектировать архитектуру данных с нуля, интегрировать разнородные источники, обеспечивать качество данных и работать в облачных инфраструктурах.
В процессе обучения вы освоите:
работу с SQL и PostgreSQL,
разработку ETL-процессов на Python,
оркестрацию задач с помощью Apache Airflow,
проектирование хранилищ данных (DWH) и Data Lake,
работу с аналитическими базами Vertica,
потоковую обработку данных через Kafka и Spark Streaming,
использование облачных сервисов Yandex Cloud, Docker и Kubernetes.
Каждый модуль сопровождается практическими проектами и обратной связью от наставников. Вы будете решать задачи, приближённые к реальным условиям: построение витрин для аналитики, автоматизация ETL, создание облачной инфраструктуры для данных и многое другое. Завершается обучение защитой финального проекта.
После окончания курса вы получите диплом о профессиональной переподготовке (при наличии среднего профессионального или высшего образования). Выпускникам предоставляется карьерная поддержка: помощь в составлении резюме, подготовка к собеседованиям и рекомендации по трудоустройству.
Кому подойдёт курс:
новичкам в IT, желающим освоить перспективную профессию инженера данных;
аналитикам, которые хотят перейти в область Data Engineering;
начинающим разработчикам, желающим углубить знания в проектировании архитектуры данных;
студентам технических и естественно-научных направлений.
Программа онлайн-курса
1. Основы работы с базами данных
— Основы SQL и работы с реляционными базами данных
— Подключение и работа с PostgreSQL через DBeaver
— Создание баз данных и базовые запросы
2. Проектирование хранилищ данных (DWH)
Проект: Построение витрины для интернет-магазина
— Нормализация данных и построение аналитических хранилищ
— Знакомство с денормализацией и витринами данных
— Проектирование структуры данных для хранения и аналитики
3. Автоматизация ETL-процессов
Проект: 3 недели
— Разработка ETL-пайплайнов на Python
— Использование Apache Airflow для оркестрации задач
— Обработка данных из различных источников
4. Работа с аналитическими базами данных
Проект: Создание DWH на Vertica для высоконагруженной системы
— Архитектура аналитических баз данных
— Работа с Vertica и оптимизация хранения данных
5. Организация Data Lake
Проект: Построение Data Lake и автоматизация обработки данных
— Проектирование Data Lake на базе Hadoop и HDFS
— Работа с Apache Spark и MapReduce
— Обработка больших данных с использованием PySpark
6. Потоковая обработка данных
Проект: Создание стримингового пайплайна для обработки событий
— Работа с потоковыми данными через Kafka и Spark Streaming
— Разработка систем обработки в реальном времени
7. Работа с облачной инфраструктурой
Проект: Построение инфраструктуры хранения данных в облаке
— Работа в Yandex.Cloud: развёртывание инфраструктуры
— Контейнеризация приложений с Docker и управление кластерами Kubernetes
8. Выпускной проект
— Разработка полноценной системы хранения и обработки данных
— Защита проекта перед экспертами курса
Отзывы об онлайн-курсе
Отзывов ещё нет. Оставьте первый отзыв.