Авторизация
Забыли пароль?
Сброс пароля
Вернуться к авторизации

Автоматизация код-ревью автотестов для крупной ИТ-компании

18 ноября ‘26

Заказчик: Крупная ИТ-компания
Страница кейса/результат: https://www.simbirsoft.com/portfolio/avtomatizatsiya-kod-revyu-avtotestov-dlya-krupnoy-it-kompanii/

Мы создали автономный сервис, который автоматически получает код из репозиториев, анализирует его синтаксическую структуру без запуска и с помощью локальной языковой модели оставляет прямо в коде подробные комментарии к ошибкам — простым и понятным языком наставника.

Агентство-исполнитель кейса

SimbirSoft

С 2001 года организуем комплексный подход к тестированию ИТ-продукта для медицинских, финансовых, логистических компаний. В частности, в QA-направлении 400+ разработчиков на проекты под ключ или усиление вашей команды. 230+ устройств для тестирования. Не просто тестируем, а обеспечиваем качество!

1. Вводная задача от заказчика, проблематика, цели

Клиент

Корпоративный университет и центр компетенций по тестированию в крупной ИТ-компании.

Обучают и стажируют начинающих инженеров по автоматизации тестирования: от написания базовых тестов пользовательского (UI) и программного интерфейса (API) до работы с базами данных и тестовыми сценариями.

Проблема

Ведущие инженеры тратили часы на ручную проверку сотен типовых ошибок в коде стажеров: пропущенных проверок в тестах, жестко заданных пауз вместо ожиданий, паролей, прописанных прямо в коде, и объемных решений, бездумно скопированных из нейросетей.

Бизнес-задачи:

1. Разгрузить опытных инженеров. Наставники тратили много времени на повторяющиеся замечания к типовым ошибкам: добавить проверку результата, вынести локатор, убрать жестко заданную задержку. Из-за этого на разбор архитектуры, логики и более сложных решений оставалось меньше времени.

2. Ускорить обучение. Студенты ждали проверки по 2–3 дня. Пока придет ответ, контекст задачи уже забывался, а темп группы падал.

3. Научить понимать код, а не копировать. С распространением ИИ-чат-ботов стажеры все чаще приносили внешне рабочий, но плохо осмысленный код, который не могли объяснить или уверенно доработать.

Инженерные ограничения:

1. Нельзя запускать чужой код. Код пишут новички — запускать его на тестовых серверах небезопасно, а разворачивать под каждую проверку базы данных и заглушки внешних сервисов слишком долго и дорого. Нужен был строгий статический анализ.

2. Работа с минимальными правами доступа. У сервиса не было прав администратора в проектах учеников, поэтому использовать стандартные механизмы уведомления о событиях было нельзя. Вместо этого сервис периодически самостоятельно проверял репозитории на наличие изменений.

3. Обучающий тон вместо готовых решений. Бот не должен делать работу за человека. Его задача — объяснить суть проблемы и направить к верному решению.

2. Описание реализации кейса и творческого пути по поиску оптимального решения

Что и как делали:

Мы сознательно не стали передавать нейросети весь проект целиком — это повысило бы риск неточных ответов модели и создало бы избыточную нагрузку на вычислительные ресурсы. Вместо этого разделили процесс на два этапа:

1. Сначала код анализирует синтаксический парсер. Он без компиляции строит карту классов и цепочек вызовов: видит, где объявлены тесты, какие методы вызываются внутри, где создаются тестовые страницы или клиенты для запросов к API.

2. Затем алгоритм проверяет аномалии. Например, если в базовой теме по основам ООП сдан сложный функциональный код с лямбда-выражениями и комментариями на академическом английском, сданный одним изменением (коммитом) на сотни строк, — система отмечает подозрение на генерацию.

3. В языковую модель уходит только структурированная выжимка: проблемные участки с номерами строк и контекстом связей. Модель формулирует замечания по правилу: что не так, в какой строке и почему это приведет к проблемам.

Сроки и этапы (2 месяца):

  • Недели 1–2: создали модуль синтаксического анализа и научились строить связи между файлами без компиляции.
  • Недели 3–4: настроили связь с репозиторием: чтение изменений, точечные комментарии к строкам и автоопределение темы задания.
  • Недели 5–6: добавили детектор аномалий и генератор вопросов для защиты. Настроили тон ответов модели, убрав менторство и штампы.
  • Недели 7–8: реализовали очередь задач с ночным окном для пиковых нагрузок, развернули сервис в контейнерах и запустили его в эксплуатацию.

3. Результаты сотрудничества

1. Первичный аудит полностью перешел на сервис: в течение 5–10 минут после отправки изменений студент получает разбор прямо в репозитории.

2. Замечания приходят точечно к строкам кода, а при отправке правок старые ветки обсуждений автоматически аккуратно сворачиваются.

3. Если есть подозрение на списывание, сервис готовит наставнику пару точных вопросов по коду для устного собеседования.

«Раньше проверка заданий превращалась в день сурка: каждый вечер сидеть и объяснять, почему тест «зеленый», хотя проверок внутри нет вообще. Бот снял эту рутину. Ребята получают замечания сразу, быстро правят ошибки, а на созвон приходят уже обсуждать архитектуру. Качество тестов на выходе заметно подросло». — Руководитель направления автоматизации тестирования.

4. Заключение

Бизнес-эффект

Освободили около 65% времени наставников: черновую вычитку синтаксиса и базовых правил взял на себя бот, а специалисты подключаются уже к осознанному коду.

Срок получения первой обратной связи сократился с нескольких дней до считанных минут — студенты не теряют фокус и быстрее сдают модули.

Разработка окупилась за один квартал за счет экономии рабочих часов ведущих инженеров компании.

Трудности

1. Ограничение прав в репозиториях: студенты часто давали боту минимальный гостевой доступ, блокируя стандартные системные уведомления.

Решение: перевели сервис на периодический автономный опрос открытых изменений через API.

2. Пиковые нагрузки перед сроками сдачи: когда поток одновременно отправлял работы в полночь, локальный сервер модели перегружался.

Решение: внедрили умную очередь, которая отсекает промежуточные коммиты и распределяет тяжелый анализ на ночное окно.

3. Списывание через нейросети: код компилировался, но изобиловал конструкциями, которых в программе еще не было.

Решение: научили синтаксический анализатор подсвечивать нехарактерные для новичков приемы и формулировать проверочные вопросы для очной защиты.

Технологии

  • Бэкенд и среда: Kotlin, JVM, Docker.
  • Статический анализ: JavaParser (построение AST-дерева и графа зависимостей без компиляции).
  • Инфраструктура и хранение: GitLab API, SQLite.
  • Языковые модели: локальный шлюз LiteLLM.

Агентство-исполнитель кейса

SimbirSoft

С 2001 года организуем комплексный подход к тестированию ИТ-продукта для медицинских, финансовых, логистических компаний. В частности, в QA-направлении 400+ разработчиков на проекты под ключ или усиление вашей команды. 230+ устройств для тестирования. Не просто тестируем, а обеспечиваем качество!