Авторизация
Сброс пароля
Автоматизация код-ревью автотестов для крупной ИТ-компании
Заказчик: Крупная ИТ-компания
Страница кейса/результат: https://www.simbirsoft.com/portfolio/avtomatizatsiya-kod-revyu-avtotestov-dlya-krupnoy-it-kompanii/

Мы создали автономный сервис, который автоматически получает код из репозиториев, анализирует его синтаксическую структуру без запуска и с помощью локальной языковой модели оставляет прямо в коде подробные комментарии к ошибкам — простым и понятным языком наставника.
1. Вводная задача от заказчика, проблематика, цели
Клиент
Корпоративный университет и центр компетенций по тестированию в крупной ИТ-компании.
Обучают и стажируют начинающих инженеров по автоматизации тестирования: от написания базовых тестов пользовательского (UI) и программного интерфейса (API) до работы с базами данных и тестовыми сценариями.
Проблема
Ведущие инженеры тратили часы на ручную проверку сотен типовых ошибок в коде стажеров: пропущенных проверок в тестах, жестко заданных пауз вместо ожиданий, паролей, прописанных прямо в коде, и объемных решений, бездумно скопированных из нейросетей.
Бизнес-задачи:
1. Разгрузить опытных инженеров. Наставники тратили много времени на повторяющиеся замечания к типовым ошибкам: добавить проверку результата, вынести локатор, убрать жестко заданную задержку. Из-за этого на разбор архитектуры, логики и более сложных решений оставалось меньше времени.
2. Ускорить обучение. Студенты ждали проверки по 2–3 дня. Пока придет ответ, контекст задачи уже забывался, а темп группы падал.
3. Научить понимать код, а не копировать. С распространением ИИ-чат-ботов стажеры все чаще приносили внешне рабочий, но плохо осмысленный код, который не могли объяснить или уверенно доработать.
Инженерные ограничения:
1. Нельзя запускать чужой код. Код пишут новички — запускать его на тестовых серверах небезопасно, а разворачивать под каждую проверку базы данных и заглушки внешних сервисов слишком долго и дорого. Нужен был строгий статический анализ.
2. Работа с минимальными правами доступа. У сервиса не было прав администратора в проектах учеников, поэтому использовать стандартные механизмы уведомления о событиях было нельзя. Вместо этого сервис периодически самостоятельно проверял репозитории на наличие изменений.
3. Обучающий тон вместо готовых решений. Бот не должен делать работу за человека. Его задача — объяснить суть проблемы и направить к верному решению.
2. Описание реализации кейса и творческого пути по поиску оптимального решения
Что и как делали:
Мы сознательно не стали передавать нейросети весь проект целиком — это повысило бы риск неточных ответов модели и создало бы избыточную нагрузку на вычислительные ресурсы. Вместо этого разделили процесс на два этапа:
1. Сначала код анализирует синтаксический парсер. Он без компиляции строит карту классов и цепочек вызовов: видит, где объявлены тесты, какие методы вызываются внутри, где создаются тестовые страницы или клиенты для запросов к API.
2. Затем алгоритм проверяет аномалии. Например, если в базовой теме по основам ООП сдан сложный функциональный код с лямбда-выражениями и комментариями на академическом английском, сданный одним изменением (коммитом) на сотни строк, — система отмечает подозрение на генерацию.
3. В языковую модель уходит только структурированная выжимка: проблемные участки с номерами строк и контекстом связей. Модель формулирует замечания по правилу: что не так, в какой строке и почему это приведет к проблемам.
Сроки и этапы (2 месяца):
- Недели 1–2: создали модуль синтаксического анализа и научились строить связи между файлами без компиляции.
- Недели 3–4: настроили связь с репозиторием: чтение изменений, точечные комментарии к строкам и автоопределение темы задания.
- Недели 5–6: добавили детектор аномалий и генератор вопросов для защиты. Настроили тон ответов модели, убрав менторство и штампы.
- Недели 7–8: реализовали очередь задач с ночным окном для пиковых нагрузок, развернули сервис в контейнерах и запустили его в эксплуатацию.
3. Результаты сотрудничества
1. Первичный аудит полностью перешел на сервис: в течение 5–10 минут после отправки изменений студент получает разбор прямо в репозитории.
2. Замечания приходят точечно к строкам кода, а при отправке правок старые ветки обсуждений автоматически аккуратно сворачиваются.
3. Если есть подозрение на списывание, сервис готовит наставнику пару точных вопросов по коду для устного собеседования.
«Раньше проверка заданий превращалась в день сурка: каждый вечер сидеть и объяснять, почему тест «зеленый», хотя проверок внутри нет вообще. Бот снял эту рутину. Ребята получают замечания сразу, быстро правят ошибки, а на созвон приходят уже обсуждать архитектуру. Качество тестов на выходе заметно подросло». — Руководитель направления автоматизации тестирования.
4. Заключение
Бизнес-эффект
Освободили около 65% времени наставников: черновую вычитку синтаксиса и базовых правил взял на себя бот, а специалисты подключаются уже к осознанному коду.
Срок получения первой обратной связи сократился с нескольких дней до считанных минут — студенты не теряют фокус и быстрее сдают модули.
Разработка окупилась за один квартал за счет экономии рабочих часов ведущих инженеров компании.
Трудности
1. Ограничение прав в репозиториях: студенты часто давали боту минимальный гостевой доступ, блокируя стандартные системные уведомления.
Решение: перевели сервис на периодический автономный опрос открытых изменений через API.
2. Пиковые нагрузки перед сроками сдачи: когда поток одновременно отправлял работы в полночь, локальный сервер модели перегружался.
Решение: внедрили умную очередь, которая отсекает промежуточные коммиты и распределяет тяжелый анализ на ночное окно.
3. Списывание через нейросети: код компилировался, но изобиловал конструкциями, которых в программе еще не было.
Решение: научили синтаксический анализатор подсвечивать нехарактерные для новичков приемы и формулировать проверочные вопросы для очной защиты.
Технологии
- Бэкенд и среда: Kotlin, JVM, Docker.
- Статический анализ: JavaParser (построение AST-дерева и графа зависимостей без компиляции).
- Инфраструктура и хранение: GitLab API, SQLite.
- Языковые модели: локальный шлюз LiteLLM.



