Data engineer — CreditKasa · Offerly
23 вер. · CreditKasa · тип компанії не вказано
Data engineer
Зарплата не вказано
Формат Київ, віддалено
Рівень middle
Досвід не вказано
Англійська середній
Зайнятість Повна зайнятість
Індустрія Фінансові послуги
Вимоги вакансії без порівняння з профілем Комерційний досвід у data engineering від 3 років (розглядаємо Middle+ та Senior) Досвід · Обов’язково Глибокий SQL: складні запити, оптимізація продуктивності Навичка · Обов’язково Досвід з Amazon Redshift (дистрибуція та sort keys, stored procedures) і впевнена робота з PostgreSQL Навичка · Обов’язково Впевнений Python для обробки даних: pandas, boto3, psycopg2/3 Навичка · Обов’язково практичний досвід зі Spark (PySpark) Навичка · Обов’язково Практичний досвід з AWS Glue або аналогічними інструментами (Spark-джоби у продакшені) Навичка · Обов’язково Досвід оркестрації: Step Functions, Airflow або аналоги Навичка · Обов’язково Розуміння dimensional modeling (staging > dim/fact), інкрементальних завантажень Інше · Обов’язково Досвід роботи з AWS: S3, IAM, черги та повідомлення (SNS/SQS)
Навичка · Обов’язково
Git/GitLab, розуміння CI/CD-процесів Навичка · Обов’язково
Terraform, Jenkins Навичка · Буде плюсом
Досвід із cross-account архітектурами в AWS (IAM-ролі, Redshift Datashare) Навичка · Буде плюсом
Grafana, CloudWatch Навичка · Буде плюсом
Data-каталоги (OpenMetadata або аналоги) Інше · Буде плюсом
Досвід інтеграцій із зовнішніми API (регуляторна звітність, кредитний реєстр НБУ) Інше · Буде плюсом
Досвід роботи у fintech / кредитуванні Інше · Буде плюсом
Англійська на рівні впевненого читання технічної документації Мова · Буде плюсом
DWH та БД: Amazon Redshift, PostgreSQL (RDS) Навичка · Буде плюсом
Оркестрація: AWS Step Functions, EventBridge, Apache Airflow (MWAA) Навичка · Буде плюсом
Інфраструктура AWS: S3, DynamoDB, SNS/SQS, Lambda, SSM Parameter Store, Secrets Manager, IAM Навичка · Буде плюсом
IaC та CI/CD: Terraform, Jenkins, GitLab Навичка · Буде плюсом Ласкаво просимо в CreditKasa. Це компанія, що пишається своєю позицією як лідера у секторі кредитування, забезпечуючи передові фінансові рішення вже більше 9ти років. CreditKasa входить до ТОП-5 компаній за витратами на оплату праці. Ми є втіленням інновацій у FinTech-просторі, невпинно працюємо над тим, щоб вибудовувати міцні та надійні відносини з клієнтами та співробітниками.
Запрошуємо Data Engineer стати частиною нашої зіркової команди.
Функції:
Розробка й підтримка ETL/ELT-пайплайнів із кількох транзакційних систем у Redshift DWH (AWS Glue: PySpark та Python Shell джоби) Розробка вітрин даних і stored procedures у Redshift, оптимізація складних запитів Оркестрація пайплайнів: Step Functions, EventBridge, Airflow (MWAA), зокрема cross-account сценарії Участь у розгортанні нового DWH та міграції Glue-джобів на актуальні версії Автоматизація регулярної звітності (Python/pandas, розсилання звітів) Інтеграції із зовнішніми API, зокрема регуляторна звітність Моніторинг пайплайнів і розбір інцидентів (CloudWatch, Grafana) Документування рішень і ведення data-каталогу (OpenMetadata) Наш стек:
DWH та БД: Amazon Redshift, PostgreSQL (RDS)Обробка даних: Python (pandas, boto3, psycopg, PySpark), SQL, AWS GlueОркестрація: AWS Step Functions, EventBridge, Apache Airflow (MWAA)Інфраструктура AWS: S3, DynamoDB, SNS/SQS, Lambda, SSM Parameter Store, Secrets Manager, IAMIaC та CI/CD: Terraform, Jenkins, GitLabМоніторинг і каталог: CloudWatch, Grafana, OpenMetadataОчікування від тебе:
Комерційний досвід у data engineering від 3 років (розглядаємо Middle+ та Senior) Глибокий SQL: складні запити, оптимізація продуктивності Досвід з Amazon Redshift (дистрибуція та sort keys, stored procedures) і впевнена робота з PostgreSQL Впевнений Python для обробки даних: pandas, boto3, psycopg2/3; практичний досвід зі Spark (PySpark) Практичний досвід з AWS Glue або аналогічними інструментами (Spark-джоби у продакшені) Досвід оркестрації: Step Functions, Airflow або аналоги Розуміння dimensional modeling (staging > dim/fact), інкрементальних завантажень Досвід роботи з AWS: S3, IAM, черги та повідомлення (SNS/SQS) Git/GitLab, розуміння CI/CD-процесів Буде плюсом:
Terraform, Jenkins Досвід із cross-account архітектурами в AWS (IAM-ролі, Redshift Datashare) Grafana, CloudWatch Data-каталоги (OpenMetadata або аналоги) Досвід інтеграцій із зовнішніми API (регуляторна звітність, кредитний реєстр НБУ) Досвід роботи у fintech / кредитуванні Англійська на рівні впевненого читання технічної документації Ми пропонуємо:
Офіційне працевлаштування — жодних конвертів, 100% біла зарплата, наша компанія є лідером зі сплати податків у своїй сфері Медичне страхування. Яскраве корпоративне життя, з яким ти можеш ознайомитися в нашому Instagram-акаунті: instagram.com/team_creditkasa Ми активно займаємося волонтерською діяльністю :
Відвідуємо притулки для тварин Здаємо кров Робимо донати та запускаємо власні збори для наближення перемоги :) Надсилай своє CV прямо зараз або пиши в телеграм @hrcreditkasa! Чекаємо в нашій команді СreditKasa.
Стек вакансії AWS Airflow CI/CD CloudWatch DynamoDB EventBridge Git GitLab Grafana Jenkins Lambda Pandas PostgreSQL Python RDS S3 SNS SQL SQS Spark Step Functions Terraform