Data Engineering [Михаил Королев] [SkillFactory]

firstovl · 25 авг 2021

Складчина: Data Engineering [Михаил Королев] [SkillFactory]

Научитесь строить пайплайны данных в реальном времени
В современных компаниях накапливается большой объем данных, из которых можно извлекать важную аналитику, строить гипотезы или модели прогнозирования. Data Engineer - это специалист, который собирает данные из разных источников, очищает их и передает в удобном виде аналитикам для принятия бизнес-решений.
Аналитикам данных нужно знать, как работает хранилище данных, в каком виде там хранятся данные, как они обрабатываются и как их можно получить для анализа.

Курс ориентирован на практику и основные инструменты, подходит для тех, кто имеет базовые знания языка Python. За два месяца вы освоите все важные этапы Data Engineering.

Программа курса

1 Введение, практический linux
Кто такой Data Engineer и зачем ему Linux?

2 Современные хранилища данных
Разнообразие баз данных и их особенности

3 Экосистема Hadoop
Что такое Hadoop, что он умеет и как им пользоваться

4 Источники данных и работа с ними
Файлы как источники данных, JDBC - структурированные данные, SQL для выгрузки данных

5 Apache Spark и обработка данных
Зачем нужен Apache Spark и как с ним работать

6 Hadoop как хранилище данных
Особенности и нюансы hdfs

7 Apache Airflow для оркестрации конвейеров
Настройка data pipelines

8 Обзор облачных хранилищ
Особенности и нюансы работы с облачными хранилищами: Google, Amazon, Azure

Скрытая ссылка

Stella108 · 9 июн 2022

када старт планируется?

firstovl · 30 мар 2023

Stella108 сказал(а): ↑

када старт планируется?
Нажмите, чтобы раскрыть...

На днях, орг обещает оперативную выдачу материалов.

drugster80 · 30 мар 2023

700 руб это 2,5% от цены.... куда еще дешевле то?

firstovl · 1 апр 2023

Просьба к людям из резервного списка перезаписаться в основной.

drugster80 · 2 апр 2023

Мда.... Не нужно было писать, что если через месяц - курс будет стоить 300 руб.... Не будет такой цены никогда.
700-800 р. норм цена. Нужно было ставить фикс под 800р. Может меньше народа убежало. Сейчас с каждым следующим и другие побегут.

Организатор · 2 апр 2023

drugster80 сказал(а): ↑

Мда.... Не нужно было писать, что если через месяц - курс будет стоить 300 руб.... Не будет такой цены никогда.
700-800 р. норм цена. Нужно было ставить фикс под 800р. Может меньше народа убежало. Сейчас с каждым следующим и другие побегут.
Нажмите, чтобы раскрыть...

А как он будет стоить 300 рублей при такой инертности - из проголосовавших за 300 рублей во-первых, в складчину был записан 1 человек, остальные мимо проходили, рекламировать никто не хочет.
Фикс это потенциальный недобор. За дорогие темы скоро никто не будет браться.

Не нагнетайте, пожалуйста. Лучше, если проводили подобные темы порекламируйте складчину в своих Библиотеках, есть же сутки, а это немало.

erfurt_dnepr · 6 апр 2023

Я попытался оплатить VISA Global, оба варианта BRBS EUR и RPayment RUB не срабатывают, я не знаю как оплачивать.

Filin777 · 6 апр 2023

erfurt_dnepr сказал(а): ↑

Я попытался оплатить VISA Global, оба варианта BRBS EUR и RPayment RUB не срабатывают, я не знаю как оплачивать.
Нажмите, чтобы раскрыть...

Здесь об этом писать бессмысленно. Лучше через обратную связь.
А так, крипта выручает, когда карты не проходят...

erfurt_dnepr · 8 апр 2023

Ни один способ оплаты не работает, с криптой связываться я не хочу, тем более там везде надо свои реальные данные набирать, которые потом рано или поздно будут слиты в сеть. В общем я оплачу как только появится реальная возможность оплатить. До этого придется быть должником, но извините лучше быть должником, чем моими данными будут торговать в сети.

Организатор · 10 апр 2023

Кому еще надо по одинарной цене? Успевайте.