hadoop разработчик для обработки больших данных

Описание ГНИВЦ разрабатывает и интегрирует государственные информационные системы, а также коммерческие решения для налогового мониторинга. Компания является партнёром государственных компаний и лидеров российского бизнеса. Задачи Разрабатывать и поддерживать решения Big Data на крупном проекте Разрабатывать и сопровождать ETL-процессы и потоковые конвейеры на Spark (Java/Scala) Интегрировать источники и хранилища данных: HDFS, Hive, HBase, Oracle, Postgres, Kafka, ClickHouse Писать SQL-запросы Оптимизировать производительность заданий Spark и процессов загрузки и выгрузки данных Участвовать в проектировании архитектуры и внедрять лучшие практики разработки для Big Data Оптимизировать производительность кластера: настраивать Spark, распределение данных и широковещательную передачу Требования Коммерческий опыт разработки на Java и Scala — от 5 лет, из них 2–3 года в Big Data Практический опыт работы с Apache Spark Знание экосистемы Hadoop: HDFS, Hive, HBase Опыт работы с Kafka Хорошее знание SQL Опыт работы с реляционными СУБД Уверенное владение Linux Глубокое понимание внутреннего устройства Spark: RDD/DataFrame API, shuffle, Catalyst Optimizer Опыт оптимизации производительности Понимание принципов работы распределённых систем: HDFS, ZooKeeper, YARN Опыт взаимодействия с бизнес-заказчиками и аналитиками, умение переводить требования в архитектуру решения Будет плюсом: развитие до тимлида в области Big Data Условия Пятидневная рабочая неделя: с понедельника по четверг с 09:00 до 18:00, в пятницу с 09:00 до 16:45 Премии за эффективную работу и достигнутые результаты Официальное трудоустройство с соблюдением требований ТК РФ Оплачиваемые отпуска и дополнительная выплата 50% от оклада после 11 месяцев работы Зарплата выплачивается дважды в месяц Оплата больничного до 7 дней в размере, эквивалентном полной оплате рабочего дня ДМС после испытательного срока, включая стоматологию Возмещение до 50% затрат на занятия спортом Профессиональное обучение и сертификация за счёт компании Внутренние и внешние встречи, хакатоны, конференции, семинары и тренинги Партнёрские программы по изучению иностранных языков и развитию профессиональных навыков от Skyeng и Skillbox Доступ к корпоративной библиотеке Alpina Digital До 5 дополнительных оплачиваемых выходных в год для сотрудников, проработавших в компании более 11 месяцев #J-18808-Ljbffr HireHi