Эксклюзивный партнер
Skillbox в Узбекистане
burger
Каталог
close
list Каталог

Data Engineer с нуля до Junior

Вы научитесь разворачивать инфраструктуру для сбора, преобразования и загрузки больших данных, освоите Python и SQL. Начнёте с основ, а через год сможете найти работу Junior-специалистом.

О профессии

Дата-инженер создаёт отказоустойчивые системы для работы с Big Data. Он программирует на Python, пишет SQL-запросы, работает с базами данных и облачными хранилищами, знаком с инструментами Kafka, Airflow, Git, Spark.

Задачи специалиста — собрать сырые данные, очистить их и разработать пайплайн для последующей работы ML-инженеров и дата-аналитиков.

О Skillbox

Skillbox
в странах СНГ. На платформе вы сможете получить актуальные знания и освоить востребованную профессию из любой точки мира.

Чему вы научитесь

  • Использовать инструменты анализа

    Освоите языки Python и SQL. Сможете работать с библиотеками и фреймворками pandas, airflow, spark.

  • Обрабатывать данные

    Узнаете, как подключаться к источникам. Сможете очищать, сохранять и интегрировать данные.

  • Тестировать код

    Поймёте, как проводить регрессионное тестирование. Сможете тестировать пакеты, пайплайны и обрабатывать ошибки.

  • Взаимодействовать с заказчиком

    Разберётесь, как готовить отчётность и согласовывать инфраструктуру данных. Сможете предоставить корректные данные заказчику.

  • Разворачивать Data Science проект

    Поймёте, как реализовать загрузку данных и собирать информацию из разных источников. Сможете выстраивать готовый пайплайн проекта.

  • Работать в команде

    Познакомитесь с git и облачными сервисами для совместной работы. Сможете эффективно взаимодействовать со всеми участниками процесса.

Записаться на курс или получить бесплатную консультацию
Имя
Телефон
Электронная почта
Отправить
success
error
warning

Что даёт профессия Data Engineer?

  • Востребованную специальность, на которую растёт спрос

    Данные — это новая нефть. IT-корпорации, финансовые, научные и промышленные организации принимают решения на основе анализа Big Data. Чтобы собрать и обработать терабайты данных из разрозненных источников, компании нанимают дата-инженеров.

  • Профессиональную свободу

    Сможете найти своё место в любой сфере: IT, банкинг, маркетинг, интернет-ритейл, промышленность, медицина, телеком. Находиться в офисе необязательно — сможете работать онлайн из любой точки мира.

  • Возможность стать частью процесса Data Science

    С работы дата-инженера начинается каждый проект. Он добывает данные, на основе которых ML-инженеры обучают нейросети, а дата-аналитики принимают важные бизнес-решения. Вы будете первым звеном в команде дата-сайентистов.

Как проходит обучение на платформе

  • Иллюстрация этапа обучения
    Регистрация

    Знакомитесь с платформой

    Платформа Skillbox — собственная разработка компании Skillbox, платформа постоянно улучшается. Вас ждут видео, практические задания и общение с кураторами Доступ к материалам откроется сразу после покупки курса

  • Иллюстрация этапа обучения
    Теория

    Получаете знания

    Курсы состоят из тематических видео разной длительности Смотрите их когда и где угодно Доступ бессрочный, чтобы вы всегда могли вернуться и повторить теорию

  • Иллюстрация этапа обучения
    Практика

    Выполняете задания

    В Skillbox уверены, что навыки отрабатываются только через практику. Поэтому после теории вас ждёт практическая работа или тест Все задачи приближены к реальным — их можно с гордостью положить в портфолио

  • Иллюстрация этапа обучения
    Обратная связь

    Работаете с куратором

    Проверкой заданий занимаются кураторы Это эксперты по теме курса Они помогут с трудными задачами и подскажут, как улучшить ваши проекты Общаться с проверяющими кураторами можно прямо на платформе

Содержание курсов

Вас ждут 80+ тематических модулей с различным уровнем сложности, видео с теорией и практика на задачах, приближенных к реальным.

  • 9 месяцев обучения
  • 2 итоговых проекта

Первый уровень: базовая подготовка

Познакомитесь с основными направлениями Data Science, обучите и внедрите свою первую ML-модель. Получите базовые знания по математике, статистике и теории вероятностей. Всё это поможет вам разобраться в основных принципах работы с данными. Среднее время прохождения — 5 месяцев.

  1. Введение в Data Science

      1. Пройдёте все этапы работы с данными. Научитесь выявлять проблемы, собирать бизнес-требования. Будете выгружать данные из различных источников, проводить разведочный анализ и готовить датасет к дальнейшему использованию. Обучите и внедрите готовую ML-модель, попробуете себя в роли продуктового и маркетингового аналитика. Узнаете, как формулировать и проверять гипотезы. Освоите базовые инструменты для работы: Python, SQL, Excel, Power Bi, Airflow.

  2. Основы математики для Data Science

      1. Получите базовые знания по математике для работы с машинным обучением. Поймёте, что такое аппроксимация, интерполяция, функции, регрессии, матрицы и векторы. Научитесь работать с математическими сущностями в Python-библиотеке SymPy.

  3. Основы статистики и теории вероятностей

      1. Поймёте принципы работы со случайными величинами и событиями. Познакомитесь с некоторыми видами распределений и статистическими тестами, которые пригодятся при составлении моделей и проверке гипотез.

Второй уровень: Data Engineer Junior

Научитесь собирать сложные наборы данных, подготавливать витрины и выстраивать пайплайны для работы, разворачивать DS-проекты с нуля и тестировать код. Будете готовы работать на позиции Junior Data Engineer. Среднее время прохождения — 4 месяца.

  1. Вводный блок

      1. Узнаете, чем занимается Data Engineer, какую роль играет в Data Science проекте и какие у него пути карьерного развития. Поймёте, как построен курс и какие темы вы будете изучать.

  2. SQL

      1. Научитесь манипулировать данными в существующих таблицах, выполнять операции вставки, очистки и обновления данных. Сможете сохранять данные из БД в различные форматы.
      2. Познакомитесь с оконными функциями и основами подготовки витрин данных, использующих SQL. Научитесь обеспечивать корректную вставку информации в режиме транзакции. Сможете читать и понимать лог транзакций.
      3. Узнаете, что такое индексы и архитектура индексов, где они применяются. Изучите методы ускорения запросов.

  3. Python. LVL 2

      1. Рассмотрите типы данных, возможности их преобразования и принцип совместной работы Python и SQL — получение данных из БД, работа с данными и выполнение запросов. Изучите основные понятия схем данных JSON и XML. Сможете настраивать отладку приложений, писать тесты, обезличивать и шифровать данные.

  4. Библиотеки для Python

      1. Узнаете, что такое библиотеки для работы с графиками, обучение с учителем, визуализация метрик и источники датасетов. Научитесь использовать Python и библиотеки для работы с данными. Сможете продолжить изучение Pandas.

  5. Airflow

      1. Рассмотрите ключевые понятия и практики по работе с Airflow. Изучите архитектуру и основы взаимодействия от UI до CLI. Построите свой первый data pipeline.

  6. Основы Spark

      1. Освоите Spark: узнаете, какими ресурсами вычислений он оперирует, как хранит данные и работает с памятью и диском. Развернёте свой первый локальный стенд.
      2. Изучите основы RDD: базовые концепции, работу с источниками, actions. Научитесь работать с Dataframe API. Изучите вопросы производительности и оптимизации при использовании Dataframe, источники и типы данных, работу с валидными/невалидными данными, обработку ошибок, UDF, взаимодействие с Python и SQL.

  7. Основы алгоритмов Machine Learning

      1. Разберёте основные виды моделей машинного обучения, ключевые термины и определения. Изучите алгоритмы регрессии и алгоритмы кластеризации.

  8. Deployment

      1. Изучите основные этапы подготовки модели к деплою, подходы к построению API и способы обработки ошибок и отладки приложений. Сможете устранять проблемы при деплое и освоите основные инструменты swagger.
      2. Познакомитесь с ключевыми процессами bash: написанием скриптов, работой с переменными и текстовыми редакторами sed и awk.

Итоговые проекты

После прохождения первого уровня — подготовите вводный проект. В конце курса презентуете итоговую работу.

  1. Введение в Data Science

      1. Закрепите новые знания на индивидуальном проекте — пройдёте путь от загрузки данных до внедрения модели. Решите задачи дата-инженера, ML-инженера и дата-аналитика, чтобы определиться со специализацией.

  2. Data Engineer

      1. Итоговый проект уровня Junior. Проведёте когортный анализ и выгрузите справочники по API. Построите дашборды по полученным данным.

Бонусные курсы

  1. Карьера разработчика: трудоустройство и развитие

      1. Узнаете, как выбрать подходящую вакансию, подготовиться к собеседованию и вести переговоры с работодателем. Сможете быстрее получить должность, которая соответствует вашим ожиданиям и умениям.

  2. Система контроля версий Git

      1. Научитесь версионировать изменения в коде, создавать и управлять репозиториями, ветками, разрешать конфликты версий. Узнаете полезные правила работы с Git.

  3. Английский для IT-специалистов

      1. Получите языковые навыки, которые помогут пройти собеседование в иностранную компанию и комфортно общаться в смешанных командах.

Уже прошли какие-либо курсы Skillbox?

Скажите об этом менеджеру — платить за них не придётся.

Получить презентацию курса и консультацию специалиста
Имя
Телефон
Электронная почта
Отправить
success
error
warning

Авторы и спикеры курсов

Евгений Виноградов
Евгений
Виноградов Автор профессии Data Engineer, руководитель отдела разработки хранилищ данных и аналитических сервисов, ЮMoney. 5 лет разрабатывает системы поддержки принятия решений.
Владимир Ершов
Владимир
Ершов Автор курса «Machine Learning». Data Solutions manager, Visa. В data science больше 7 лет
Вячеслав Архипов
Вячеслав
Архипов Автор курса «Статистика и теория вероятностей», математик, Banuba development. Опыт преподавания более 8 лет.
Юлдуз Фаттахова
Юлдуз
Фаттахова Автор курса Senior Data Scientist, Team Lead, SberData, Сбер
Николай Герасименко
Николай
Герасименко Data Scientist в Сбербанке, математик в ВЦ РАН. Блок «Основы математики для Data Science»
Пётр Емельянов
Пётр
Емельянов Спикер курса. R&D Director, UBIC Tech

Отзывы участников курсов

  • Отзывы студентов Иван Медведев, г. Ивантеевка Курс «Профессия Инженер по тестированию»
    Если какой-то материал тяжело даётся, есть вопрос по ДЗ, достаточно написать преподавателю, который поможет разобраться с информацией и подскажет, как решить задачу.
    По итогу 9-месячной учёбы стал по-другому смотреть на сайты. Замечаю баги, разбираюсь в вёрстке, веду репорты. Узнал, как работать со специфическим ПО.
    Уже сейчас нисколько не жалею, что выбрал Skillbox. Спасибо!!!
  • Отзывы студентов Валентина Нарушевич, г. Санкт-Петербург Курс «Графический дизайнер с нуля до PRO»
    Благодаря курсу я научилась создавать классные постеры и векторные изображения. Также мой список новых скилов пополнили ретушь и обтравка изображений — одни из главных навыков профессионального графического дизайнера.
    Ну, и умение верстать журналы! Теперь я, как самый настоящий графический дизайнер, с лёгкостью могу создать разворот какого-нибудь модного журнала.
  • Отзывы студентов Яна Щербицкая, г. Санкт-Петербург Курс «Photoshop с нуля до PRO»
    Курс очень круто структурирован, там есть все знания, которые мне нужны, чтобы освоить программу. Сама бы я точно что-нибудь пропустила.
    Преподаватели всё спокойно и терпеливо объясняют. Если ты что-то не понял, снимут дополнительный видеоролик и покажут ещё раз.
    Самое крутое в курсах Skillbox — постоянная связь с теми, кто подскажет, как правильно.
  • Отзывы студентов Алла Комиссаренко Курс «UX-дизайнер с нуля до PRO»
    Работать дизайнером мне очень нравится, от UX я вообще в восторге, тяга к аналитике у меня была всегда. После долгих поисков работы в новой сфере подруга помогла мне получить заказ на редизайн сайта большой компании.
    Отдельно хочу сказать спасибо куратору Александру Свободе, он очень подробно расписывал все недочёты и ошибки решений в дизайне.
  • Отзывы студентов Елена Кальво, г. Ницца, Франция Курс «Копирайтинг от А до Я 2.0»
    «Почему бы не сделать из хобби источник заработка?» — однажды подумала я.
    Недолго размышляя, записалась на курс в Skillbox и встала в ряд претендентов на гордое звание копирайтера.
    Работа с текстом помогла мне вернуть свою жизнь, вдохновила. Я начала снова ухаживать за собой, читать. Увидела, что я не только мать, но и писатель.

  • Отзывы студентов Ирина Семёнова, г. Бельцы, Молдова Курс «Профессия SMM-специалист»
    Я узнала, что такое охваты, KPI и прочие слова, которые раньше пугали. Поняла, что чем проще и понятнее, тем лучше. Разобралась в сложной иерархии рекламного кабинета и научилась настраивать аудиторию и рекламу.

    Я уже в теме и не боюсь назвать своих более опытных друзей коллегами.
Стоимость курса
Период рассрочки 12 месяцев
1 096 865 сум/мес
1 828 109 сум/мес
-40%
Кешбэк 30%: 3 948 714 баллов на Lerna
Data Engineer с нуля до Junior
Длительность: 9 мес
Получить доступ к курсу или бесплатную консультацию
Имя
Телефон
Электронная почта
Промокод
Название компании
Получить доступ
Ознакомиться с условиями публичного договора
success
error
warning

Часто задаваемые вопросы

  • У меня нет опыта работы с данными. Подходит ли мне этот курс?
    Курс подходит новичкам без специальных знаний, высшего образования и талантов. Главное — не пожалейте времени на первый этап, в котором вы получите базовые навыки. Внимательно выполняйте практические работы и не забывайте читать дополнительную литературу. Чем лучше вы поймёте основы, тем легче вам будет учиться дальше.
  • Можно ли стать дата-инженером за год и найти работу?
    Мы составили курс с учётом требований работодателей, а итоговые проекты и практические работы основаны на реальных проблемах, которые решают дата-сайентисты. Если заниматься регулярно, практиковаться и не пропускать теоретические видео, то у вас будут все необходимые знания и сильное портфолио, чтобы удачно пройти собеседование.
  • Требуется ли знание математики?
    На начальных этапах от вас не требуется продвинутых знаний — достаточно школьного курса математики. Не пугайтесь, если вам придётся разобраться в темах, которые вы забыли или не проходили — куратор поможет освежить знания или даст ссылки на полезные материалы.
  • Нужно ли знать английский язык?
    Значения важных англоязычных терминов объясним на курсах. В практических работах перевести незнакомые слова поможет Google Переводчик. Но со знанием языка проще ориентироваться в среде разработки, читать документацию, участвовать в международных проектах.

    Поэтому пользователям платформы Skillbox мы дарим бесплатные занятия в онлайн-школе КЭСПА на год. За это время вы освоите грамматику, пополните словарный запас и научитесь свободно читать и говорить на английском.
  • Сколько часов в неделю мне нужно будет уделять учёбе?
    Всё зависит только от вас. В среднем участники курса занимаются от 3 до 5 часов в неделю.
  • Кто будет проверять практические задания?
    Никаких автоматических проверок и скриптов. Куратор-практик не только укажет на ошибки, но и поможет разобраться в сложных темах, ответит на вопросы. Проверка практических заданий и доступ к Telegram-чату уже входят в стоимость курса — ничего доплачивать не нужно.
  • Действуют ли какие-нибудь программы рассрочки?
    Да, вы можете купить курс в рассрочку — и спланировать свой бюджет, разбив всю сумму на небольшие ежемесячные платежи.
  • Чем рассрочка отличается от кредита?
    Вы оплачиваете только стоимость курса — проценты мы берём на себя. Для оформления рассрочки не требуются официальное трудоустройство и хорошая кредитная история.
  • Что значит 3 месяца бесплатно?
    Освоить новую профессию с нуля — непросто, особенно в начале обучения. Поэтому расходы за первые 3 месяца мы берём на себя — вам не придётся вносить ежемесячные платежи. Вместо этого сфокусируетесь на занятиях — и без стресса пройдёте необходимые основы. Внести остаток и оплатить полную стоимость курса можно до конца периода рассрочки.