IT Craft шукає досвідченого AI Backend Engineer, який долучиться до розробки AI-продукту, орієнтованого на створення персоналізованого користувацького досвіду. Інженер відповідатиме за AI backend end-to-end: архітектуру, реалізацію, налаштування production-середовища, моніторинг і подальше вдосконалення.

Основні обов'язки:

• Проєктування та розвиток production AI architecture, що охоплює agent orchestration, routing, tool calling, RAG, memory та structured outputs;

• Вибір та інтеграція LLM, speech-моделей (STT/TTS) і vision-моделей різних провайдерів з урахуванням балансу між якістю, latency, вартістю та вимогами щодо зберігання даних у ЄС;

• Визначення архітектури для conversational data, інформації про харчування та показників із wearable-пристроїв для підтримки персоналізації та digital twin;

• Трансляція продуктових вимог у технічні рішення та документування ключових архітектурних підходів разом із product owners;

• Розробка та розширення AI backend на Python, зокрема voice pipelines із вимогами до latency у реальному часі;

• Налаштування cloud infrastructure, containers, vector stores і model gateways за допомогою infrastructure-as-code у співпраці з DevOps/CI-CD engineer;

• Розробка інтеграцій з wearable APIs, базами даних продуктів харчування та сервісами розпізнавання зображень;

• Реалізація user memory і персоналізації, зокрема адаптації до стилю комунікації користувача;

• Налаштування LLM observability для tracing, відстеження токенів і витрат, latency, error rates та alerting;

• Створення автоматизованих процесів evaluation і regression testing для prompts та agents, включно з offline evaluations, LLM-as-a-judge і human review;

• Реалізація guardrails і механізмів безпеки для комунікації на теми здоров'я, зокрема escalation logic і контролю галюцинацій;

• Моніторинг роботи моделей і prompts у production та постійне вдосконалення моделей, prompts і поведінки agents;

• Забезпечення GDPR-compliant роботи з чутливими даними про здоров'я (special category data), включно з розміщенням даних у ЄС, шифруванням, контролем доступу, мінімізацією даних та їх видаленням;

• Підтримка готовності архітектури до вимог EU AI Act та врахування межі між wellness-продуктом і medical device відповідно до MDR;

• Формування data foundation для персоналізації, експериментів і майбутніх predictive models.

Необхідні навички та досвід:

• 6+ років досвіду в software або ML engineering, з яких щонайменше 2 роки практичного досвіду розробки та експлуатації LLM-based систем у production;

• Впевнене володіння Python, а також ґрунтовні знання SQL і data modeling;

• Практичний досвід проєктування та реалізації agentic systems із використанням orchestration frameworks, таких як LangGraph або аналогічних, включно з tool calling, structured outputs, RAG і long-term memory;

• Досвід роботи з кількома LLM providers і model gateways, а також prompt engineering і context engineering у масштабних системах;

• Практичний досвід LLMOps, зокрема з evaluation frameworks, observability та оптимізацією вартості й latency;

• Досвід роботи з Docker, Kubernetes або managed container services, infrastructure-as-code та CI/CD;

• Гарне розуміння вимог до безпеки та захисту даних під час роботи з чутливими персональними даними;

• Здатність самостійно ухвалювати архітектурні рішення, відповідати за них та ефективно співпрацювати з product і engineering teams;

• Впевнена письмова та усна англійська на рівні Upper-Intermediate+ / Advanced.

Буде перевагою:

• Досвід роботи з real-time voice AI, включно зі streaming STT/TTS, speech-to-speech моделями та оптимізацією latency;

• Досвід роботи з даними у сферах health, fitness або wearable devices, включно з time-series data та API, такими як HealthKit / Health Connect;

• Досвід із персоналізацією, recommendation systems, A/B testing і статистикою;

• Досвід роботи з vision-моделями для розпізнавання їжі;

• Досвід роботи в регульованих середовищах, зокрема з GDPR Art. 9, EU AI Act, MDR або ISO 27001.

IT Craft пропонує:

• Конкурентну оплату відповідно до кваліфікації та бонуси;
• Гнучкий графік, дистанційну роботу;
• Можливість кар’єрного росту;
• Компенсацію для занять спортом;
• Внутрішнє навчання англійської мови;
• Дружню команду відкритих людей.

Надішліть, будь ласка, своє резюме.

IT Craft is looking for an experienced AI Backend Engineer to join the development of an AI-powered product focused on delivering personalized user experiences. The engineer will take end-to-end ownership of the AI backend, including architecture, implementation, production setup, monitoring, and continuous improvement.

Key Responsibilities

• Design and evolve production AI architecture covering agent orchestration, routing, tool calling, RAG, memory and structured outputs;
• Select and integrate LLM, speech (STT/TTS) and vision models from different providers, balancing quality, latency, cost and EU data residency;
• Define the data architecture for conversational, nutrition and wearable data to support personalization and a digital twin;
• Translate product requirements into technical solutions and document key architecture decisions together with product owners;
• Develop and extend the Python-based AI backend, including voice pipelines with real-time latency requirements;
• Set up cloud infrastructure, containers, vector stores and model gateways using infrastructure-as-code in collaboration with the DevOps/CI-CD engineer;
• Build integrations for wearable APIs, food databases and image-recognition services;
• Implement user memory and personalization, including adaptation to communication style;
• Set up LLM observability for tracing, token and cost tracking, latency, error rates and alerting;
• Build automated evaluation and regression processes for prompts and agents, including offline evaluations, LLM-as-a-judge and human review;
• Implement guardrails and safety mechanisms for health-related conversations, including escalation logic and hallucination controls;
• Monitor model and prompt performance in production and continuously improve models, prompts and agent behavior;
• Ensure GDPR-compliant handling of sensitive health data (special category data), including EU hosting, encryption, access control, data minimization and deletion;
• Keep the architecture prepared for EU AI Act requirements and the wellness/medical-device boundary (MDR);
• Build the data foundation for personalization, experimentation and future predictive models.

Required Skills:

• 6+ years of experience in software or ML engineering, with at least 2 years of hands-on experience building and running LLM-based systems in production;
• Strong proficiency in Python, with solid SQL and data modeling skills;
• Hands-on experience designing and implementing agentic systems using orchestration frameworks such as LangGraph or similar, including tool calling, structured outputs, RAG, and long-term memory;
• Experience working with multiple LLM providers and model gateways, as well as prompt engineering and context engineering at scale;
• Practical LLMOps experience covering evaluation frameworks, observability, and optimization of cost and latency;
• Experience with Docker, Kubernetes or managed container services, infrastructure-as-code, and CI/CD;
• Good understanding of security and data protection requirements when working with sensitive personal data;
• Ability to independently own architecture decisions and collaborate effectively with product and engineering teams;
• Strong written and spoken English (Upper-Intermediate+ / Advanced).

Nice to have:

• Experience with real-time voice AI, including streaming STT/TTS, speech-to-speech models, and latency optimization;
• Experience working with health, fitness, or wearable data, including time-series data and APIs such as HealthKit / Health Connect;
• Experience with personalization, recommendation systems, A/B testing, and statistics;
• Experience with vision models for food recognition;
• Experience in regulated environments such as GDPR Art. 9, EU AI Act, MDR or ISO 27001.

IT Craft offers:

• Competitive compensation according to the qualifications.

• Flexible working hours, remote work;

• Opportunity for career growth;

• Reward for sport activities;

• In-house English training;

• A friendly team of open-minded people.

Please send your CV!