Комплексная 24/7 поддержка и развитие цифровой экосистемы «ЛЛК-Интернешнл»: сервисы ЛУКОЙЛ и Teboil

1. Вводная задача от заказчика, проблематика, цели

О заказчике

ООО «ЛЛК-Интернешнл» — дочерняя компания ПАО «ЛУКОЙЛ» и один из ведущих производителей масел, смазочных материалов и технических жидкостей. Компания развивает цифровые каналы для частных покупателей, корпоративных клиентов, партнеров и пользователей продукции брендов ЛУКОЙЛ и Teboil.

Цифровой контур компании включает интернет-магазины, B2B-сервисы, продуктовые и информационные ресурсы, личные кабинеты, обучающие платформы, мобильные решения и интегрированные с ними внутренние системы.

Для такого количества взаимосвязанных сервисов недостаточно классической модели технической поддержки отдельного сайта. Требуется команда, способная одновременно отвечать за прикладное ПО, интеграции, инфраструктуру, производительность, информационную безопасность и непрерывное развитие проектов.

Задача

Перед «Цифровым Элементом» стояла задача организовать комплексное техническое сопровождение и развитие сразу нескольких цифровых проектов «ЛЛК-Интернешнл».

Поддержка должна была охватывать весь жизненный цикл сервисов: от небольших оперативных изменений и устранения инцидентов до архитектурных изменений, сложных интеграций и разработки новых функциональных модулей и самостоятельных цифровых сервисов.

Ключевое требование — единая зона ответственности за работоспособность приложений и инфраструктуры 24/7.

При этом необходимо было обеспечить:

• стабильную эксплуатацию нескольких параллельно работающих цифровых сервисов;
• оперативное выполнение заявок различного масштаба;
• непрерывное развитие функциональности без потери стабильности действующих решений;
• возможность быстро подключать к задаче специалистов требуемого профиля;
• управляемые процессы разработки, тестирования и выпуска изменений;
• поддержку интеграций с внешними и корпоративными информационными системами;
• развитие и сопровождение серверной и контейнерной инфраструктуры;
• мониторинг состояния сервисов и оперативную реакцию на инциденты;
• масштабирование систем по мере роста требований бизнеса;
• соблюдение корпоративных требований к информационной безопасности.

2. Описание реализации кейса и творческого пути по поиску оптимального решения

Какие цифровые сервисы находятся на сопровождении

В единый контур поддержки вошли проекты различного назначения:

ru.lukoil-shop.com

Розничный интернет-магазин продукции ЛУКОЙЛ.

WEB-модуль мобильного приложения АЗС

Web-компонент для Android- и iOS-приложений, интегрированный в мобильное приложение через WebView, а также административная панель управления.

lukmarket.lukoil-shop.ru

b2b.lukoil-shop.ru

B2B-платформа и интернет-магазин для корпоративных клиентов.

lukoil-academy.ru

Цифровой образовательный сервис.

spec.lukoil-masla.ru

shop.teboil.ru

Официальный интернет-магазин продукции Teboil.

teboil.ru

Цифровая площадка бренда Teboil.

catalog.lukoil-masla.ru

Продуктовый каталог смазочных материалов.

Таким образом, команда работает не с одним проектом или технологически однородным набором сайтов, а с целой цифровой экосистемой, в которой одновременно существуют e-commerce, B2B, продуктовые каталоги, информационные сервисы, личные кабинеты, образовательные решения и мобильный канал.

Не просто техническая поддержка

Работы выполняются в формате постоянной оперативной поддержки по заявкам.

Объем одной заявки может варьироваться от небольшой доработки интерфейса или корректировки бизнес-логики до проекта, требующего нескольких специалистов и продолжающегося несколько месяцев.

Поэтому мы выстроили модель, при которой заказчику не требуется искать отдельных подрядчиков на frontend, backend, мобильную разработку, тестирование, DevOps или инфраструктуру.

За цифровые сервисы отвечает единая команда «Цифрового Элемента», внутри которой под конкретную задачу формируется необходимый набор компетенций.

Развитие функциональности цифровых сервисов

Значительную часть работ составляет постоянное продуктовое развитие существующих решений.

Мы проектируем и разрабатываем новые функциональные возможности, перерабатываем существующую бизнес-логику, развиваем пользовательские и административные интерфейсы.

В рамках сопровождения выполняются:

• разработка нового функционала;
• комплексная модернизация существующих модулей;
• развитие интернет-магазинов и B2B-сервисов;
• развитие личных кабинетов клиентов и партнеров;
• разработка административных интерфейсов;
• создание новых разделов и самостоятельных функциональных модулей;
• автоматизация бизнес-процессов;
• развитие механизмов поиска, фильтрации, каталогизации и работы с данными;
• изменение пользовательских сценариев;
• техническая реализация маркетинговых и продуктовых инициатив.

Если задача требует существенного изменения существующей системы, она проходит полноценный цикл проектирования, разработки, тестирования и промышленного запуска.

Личные кабинеты, B2B и e-commerce

Отдельное направление — развитие коммерческих цифровых сервисов.

Интернет-магазины и B2B-платформы включают большое количество взаимосвязанных процессов: каталог продукции, цены, остатки, оформление и обработку заказов, личные кабинеты, платежные сервисы, логистику, доставку, документооборот, партнерские механики и обмен данными с внешними системами.

Поэтому даже изменение отдельного пользовательского сценария может затрагивать сразу несколько компонентов системы.

Перед разработкой мы анализируем зависимости и влияние изменений, а после реализации проводим комплексное тестирование связанного функционала.

Мобильные решения

Отдельным направлением работ стала разработка цифрового сервиса для мобильного приложения АЗС ЛУКОЙЛ под Android и iOS.

Команда «Цифрового Элемента» разработала самостоятельный WEB-модуль, встраиваемый в мобильное приложение через WebView, а также административную панель для управления его функциональностью и данными.

Решение представляет собой не просто набор веб-страниц внутри мобильного приложения, а полноценный интеграционный сервис со своей серверной логикой, административным интерфейсом и взаимодействием с внешними и корпоративными информационными системами.

В рамках проекта были реализованы интеграции:

• с информационными системами ФНС России;
• с национальной системой цифровой маркировки товаров «Честный ЗНАК»;
• с программой лояльности ЛУКОЙЛ;
• с внутренними информационными системами и инфраструктурой Заказчика.

Модуль обеспечивает взаимодействие между мобильным приложением, backend-сервисами и несколькими внешними системами. При разработке необходимо было учитывать требования к производительности, безопасности, стабильности интеграционного обмена и корректной работе пользовательских сценариев непосредственно внутри мобильных приложений Android и iOS.

Архитектура с использованием WebView позволяет развивать значительную часть функциональности как самостоятельный веб-сервис, сохраняя его интеграцию с нативным мобильным приложением.

Со стороны «Цифрового Элемента» проект охватывал полный цикл работ: системный анализ, проектирование архитектуры и интеграций, backend- и frontend-разработку, создание административной панели, тестирование, промышленное развертывание и последующее техническое сопровождение.

Интеграции и обмен данными

Цифровые сервисы крупной компании не существуют изолированно.

В ходе сопровождения мы разрабатываем и развиваем интеграции с корпоративными и внешними информационными системами, в том числе:

• финансовыми и платежными сервисами;
• логистическими системами;
• службами доставки;
• маркетплейсами;
• партнерскими платформами;
• сервисами интернет-маркетинга;
• аналитическими системами;
• корпоративными информационными системами.

Разрабатываются API, интеграционные модули, фоновые процессы, очереди и механизмы синхронизации данных.

Особое внимание уделяется контролю ошибок обмена, повторной обработке данных, журналированию и возможности диагностировать проблемы интеграции без остановки всей системы.

Единая система авторизации

Для части цифровой инфраструктуры выполняются работы по развитию единой системы идентификации и авторизации пользователей — SSO.

Такие решения позволяют централизовать управление доступом и обеспечить единый механизм аутентификации для нескольких связанных сервисов.

При этом задача выходит далеко за рамки формы входа: необходимо учитывать архитектуру систем, роли пользователей, безопасность токенов и сессий, интеграцию существующих приложений и особенности каждого подключаемого проекта.

DevOps и управляемые релизы

Для проектов enterprise-уровня стабильность промышленной системы зависит не только от качества программного кода, но и от того, как изменения разрабатываются, тестируются и доставляются в продуктивную среду.

Поэтому в рамках технической поддержки «Цифровой Элемент» отвечает за организацию и сопровождение процессов разработки и автоматизированного развертывания программных решений.

Для проектов используются раздельные контуры:

Development → Test/Stage → Production

Разделение сред разработки, тестирования и промышленной эксплуатации позволяет проверять изменения до их попадания в продуктив, проводить интеграционное и регрессионное тестирование, снижать риски возникновения инцидентов при релизах и сохранять стабильность работающих сервисов.

Такой подход соответствует общепринятым практикам обеспечения информационной безопасности и требованиям к разделению сред разработки, тестирования и эксплуатации.

Для управления исходным кодом и автоматизации процессов доставки изменений используется технологический стек:

GitLab + GitLab CI + Ansible

GitLab используется как централизованный репозиторий исходного кода и основа процессов командной разработки.

GitLab CI автоматизирует pipeline сборки, проверки и подготовки приложения к развертыванию.

Ansible обеспечивает воспроизводимое автоматизированное развертывание и управление конфигурациями целевых окружений.

В рамках направления DevOps выполняются:

• сопровождение GitLab-репозиториев;
• организация работы с ветками и версиями;
• code review;
• разработка и сопровождение CI/CD pipeline;
• автоматизация сборки и развертывания;
• развитие Development-, Test/Stage- и Production-контуров;
• управление конфигурациями;
• автоматизация deployment-процессов;
• контроль выпуска версий;
• сопровождение Kubernetes-инфраструктуры;
• анализ и устранение проблем, возникающих при промышленном развертывании.

В результате выпуск новой функциональности становится контролируемым, повторяемым и прогнозируемым инженерным процессом, а не набором ручных операций непосредственно на промышленной инфраструктуре.

Это особенно важно при сопровождении сразу нескольких связанных цифровых сервисов: параллельно могут выполняться десятки изменений различного масштаба, каждое из которых должно пройти свой цикл разработки, проверки и безопасного промышленного запуска.

Kubernetes и инфраструктура

Зона ответственности команды не заканчивается на программном коде.

Мы сопровождаем и развиваем инфраструктуру, на которой работают цифровые сервисы заказчика, включая инфраструктурные решения на базе Kubernetes (K8s).

Выполняются:

• сопровождение существующей инфраструктуры;
• развитие Kubernetes-кластеров;
• настройка и оптимизация окружений;
• управление конфигурациями;
• развитие механизмов развертывания;
• масштабирование сервисов;
• анализ инфраструктурных ограничений;
• повышение отказоустойчивости;
• оптимизация использования вычислительных ресурсов;
• техническая модернизация инфраструктуры.

Это особенно важно для сервисов, доступность которых непосредственно влияет на клиентов, партнеров и коммерческие процессы заказчика.

Ответственность 24/7 за приложения и инфраструктуру

Одна из ключевых особенностей проекта — ответственность команды одновременно за прикладной и инфраструктурный уровни.

При возникновении инцидента нет необходимости сначала определять, чей это участок ответственности: разработчиков приложения, специалистов по интеграциям, DevOps или системных инженеров.

Команда рассматривает цифровой сервис целиком:

пользователь → приложение → интеграции → сервисы → контейнерная инфраструктура → базы данных → внешние системы.

Это позволяет значительно быстрее локализовать источник проблемы и организовать ее устранение.

Для критичных сервисов обеспечивается эксплуатационное сопровождение 24/7.

Мониторинг и работа с инцидентами

Для цифровых сервисов, работающих в режиме 24/7, недостаточно реагировать только на обращения пользователей. Проблемы необходимо выявлять как можно раньше — в том числе до того, как они станут заметны конечным пользователям или начнут влиять на бизнес-процессы.

Поэтому техническое сопровождение включает централизованный мониторинг приложений и инфраструктуры.

В качестве ключевых инструментов используются:

Prometheus + Grafana

Prometheus используется для сбора и хранения технических метрик приложений, серверных и инфраструктурных компонентов.

Grafana обеспечивает визуализацию показателей, построение дашбордов и оперативный контроль состояния цифровых сервисов.

Мониторинг охватывает различные уровни системы:

пользовательский сервис → приложение → интеграции → инфраструктура → Kubernetes → базы данных и системные компоненты.

В рамках работ выполняются:

• мониторинг доступности цифровых сервисов;
• сбор инфраструктурных и прикладных метрик;
• мониторинг состояния Kubernetes-компонентов;
• контроль использования вычислительных ресурсов;
• наблюдение за производительностью;
• контроль фоновых процессов и интеграционных механизмов;
• настройка дашбордов в Grafana;
• настройка механизмов уведомления об инцидентах и аномалиях;
• анализ журналов приложений;
• диагностика ошибок;
• расследование причин инцидентов;
• восстановление нормальной работы;
• разработка и реализация мер по предотвращению повторных сбоев.

Принципиально важно, что «Цифровой Элемент» отвечает 24/7 как за сами приложения, так и за инфраструктуру, на которой они работают.

Поэтому при возникновении инцидента заказчику не требуется самостоятельно определять, находится проблема в программном коде, интеграционном взаимодействии, Kubernetes, базе данных или инфраструктуре и затем координировать несколько подрядчиков.

Инцидент рассматривается нашей командой сквозным образом, а к его диагностике подключаются специалисты необходимого профиля — разработчики, DevOps-инженеры, системные инженеры и специалисты по интеграциям.

Наша задача при этом заключается не только в восстановлении работоспособности сервиса, но и в поиске первопричины инцидента и устранении условий для его повторного возникновения.

Производительность и высокие нагрузки

По мере развития цифровых проектов растут объем данных, количество интеграций, сложность бизнес-логики и требования пользователей.

Поэтому отдельное направление работ связано с производительностью.

Мы проводим анализ узких мест, оптимизируем код и запросы к данным, изменяем механизмы обработки информации и при необходимости пересматриваем архитектуру отдельных компонентов.

Выполняются:

• профилирование приложений;
• оптимизация программного кода;
• оптимизация работы с базами данных;
• развитие кеширования;
• оптимизация интеграционных процессов;
• повышение эффективности фоновых операций;
• нагрузочное тестирование;
• масштабирование отдельных компонентов;
• архитектурные изменения для устранения системных ограничений.

Тестирование и контроль качества

Для большого количества взаимосвязанных сервисов ручной проверки только измененной страницы недостаточно.

В зависимости от задачи применяются:

• функциональное тестирование;
• интеграционное тестирование;
• unit-тесты;
• автоматизированные тесты;
• регрессионное тестирование;
• нагрузочное тестирование.

Это особенно важно при изменениях в e-commerce, личных кабинетах и интеграциях, где ошибка одного компонента может проявиться на другом этапе бизнес-процесса.

Информационная безопасность

Работа с корпоративными цифровыми сервисами предполагает постоянное внимание к безопасности.

В рамках сопровождения выполняются работы, связанные с:

• безопасностью разрабатываемого кода;
• контролем механизмов авторизации и разграничения доступа;
• защитой интеграционных взаимодействий;
• безопасной работой с пользовательскими данными;
• устранением выявленных уязвимостей;
• актуализацией компонентов;
• выполнением требований информационной безопасности заказчика;
• анализом потенциальных рисков при архитектурных изменениях.

Безопасность рассматривается как постоянная часть процесса разработки, а не как разовая проверка перед запуском проекта.

Архитектура и техническая модернизация

Часть сопровождаемых сервисов развивается в течение длительного времени. При постоянном добавлении новой функциональности неизбежно появляются архитектурные ограничения и технический долг.

Поэтому техническая поддержка включает не только реализацию бизнес-заявок, но и инженерное развитие систем.

Мы выполняем:

• рефакторинг;
• модернизацию существующих компонентов;
• переработку устаревших решений;
• изменение архитектуры;
• декомпозицию сложных модулей;
• модернизацию интеграционного слоя;
• оптимизацию хранения и обработки данных;
• миграцию данных;
• перенос сервисов между инфраструктурными контурами.

Это позволяет системам продолжать развиваться без накопления критического технологического долга.

Аналитика и техническая документация

Перед реализацией сложных изменений команда проводит системный и технический анализ.

Разрабатываются:

• технические задания;
• функциональные требования;
• описания интеграций;
• API-спецификации;
• архитектурные решения;
• схемы взаимодействия систем;
• инструкции по развертыванию и эксплуатации;
• другая проектная и техническая документация.

Наличие аналитиков и архитекторов внутри команды позволяет рассматривать задачу не только с позиции «как запрограммировать», но и с точки зрения влияния изменений на всю цифровую экосистему.

Команда полного цикла внутри одного подрядчика

Для сопровождения такого количества решений недостаточно нескольких универсальных разработчиков.

В «Цифровом Элементе» сформирована собственная команда специалистов, которая позволяет закрывать весь цикл работ:

• руководители проектов;
• системные и бизнес-аналитики;
• архитекторы и технические лидеры;
• backend-разработчики;
• frontend-разработчики;
• специалисты по мобильной разработке;
• UX/UI-дизайнеры;
• QA-инженеры;
• специалисты по автоматизации тестирования;
• DevOps- и инфраструктурные инженеры;
• специалисты по Kubernetes;
• специалисты по информационной безопасности.

При необходимости состав команды меняется в зависимости от типа задачи.

Небольшая заявка может быть выполнена одним разработчиком и QA-инженером. Для крупной доработки или создания нового сервиса формируется отдельная рабочая группа с аналитиком, архитектором, разработчиками, тестировщиками и DevOps.

Заказчик при этом продолжает работать с единой командой и единым процессом управления задачами.

Как организована работа с множеством сервисов

Основная сложность подобных проектов заключается не только в технологиях.

Необходимо одновременно управлять большим количеством изменений в разных системах, учитывать их зависимости, приоритет бизнеса и возможное влияние одного релиза на другие сервисы.

Поэтому работа строится как единый управляемый процесс:

Заявка → анализ → оценка влияния → приоритизация → проектирование → разработка → code review → тестирование → выпуск → мониторинг.

Для инцидентов действует отдельный ускоренный сценарий реагирования.

Такой подход позволяет одновременно вести небольшие оперативные заявки, плановые доработки и длительные проекты развития, не превращая поддержку нескольких систем в набор несвязанных задач.

3. Результаты сотрудничества

Для «ЛЛК-Интернешнл» создана единая модель технической поддержки и развития цифровых сервисов ЛУКОЙЛ и Teboil.

Заказчик получает не отдельного разработчика и не классическую линию технической поддержки, а полноценную инженерную команду, способную отвечать за цифровой сервис на всех уровнях — от бизнес-логики и пользовательского интерфейса до интеграций, Kubernetes-инфраструктуры и промышленной эксплуатации.

В рамках одной модели одновременно выполняются небольшие оперативные заявки, сложные интеграционные задачи, архитектурная модернизация и разработка новых сервисов.

Ключевой результат проекта — возможность непрерывно развивать большой набор цифровых продуктов, сохраняя единый технологический подход, управляемость изменений и ответственность одного подрядчика за конечный результат.