У ревью кода есть слепая зона, заложенная в самом подходе. Оно проверяет рецепт, но никогда не пробует блюдо. Greptile, компания, занимающаяся поиском ошибок, теперь описывает систему, которая пытается это сделать: GPT-6 Astra проверяет, как пользователи проходят сценарии в продукте, а не просто читает лежащий в его основе код.
Эта информация взята из короткого кейса, причём доступно было только его краткое описание. Это ограничивает то, что можно обоснованно утверждать, поэтому этот материал опирается лишь на изложенное в кратком описании и отмечает, что в нём не раскрыто.
Три составляющие
В кратком описании три инструмента связаны с тремя задачами:
- GPT-6 Astra используется для тестирования пользовательских сценариев.
- Daybreak используется для усиления безопасности.
- Codex используется для сокращения переделок.
В заголовке речь идёт о выходе поиска ошибок «за рамки ревью кода». Такая формулировка подразумевает, что отправной точкой для Greptile была проверка изменений в коде, а новый подход выходит за её пределы.
Почему пользовательские сценарии — отдельный объект проверки
При ревью смотрят на то, что изменил разработчик. Тест пользовательского сценария проверяет, может ли человек по-прежнему войти в аккаунт, оформить заказ или сделать то, ради чего вообще существует продукт. Это разные вопросы: изменение может успешно пройти первую проверку и незаметно провалить вторую.
Это рассуждение общего характера, а не подробность из отчёта. В кратком описании не сказано, как Greptile создаёт и запускает эти тесты, какие сценарии они охватывают и как часто тест под управлением модели находит то, что упустило ревью.
О чём не говорится в кратком описании
Пробелы достаточно существенны, чтобы перечислить их отдельно.
- Нет цифр. Не приведены данные о числе найденных ошибок, сэкономленном времени или переделках, которых удалось избежать.
- Нет описания Daybreak. Краткое описание лишь называет этот инструмент и связывает его с безопасностью. Больше ничего.
- Нет схемы взаимодействия. Непонятно, как три инструмента связаны между собой и работают ли они как единый конвейер или как отдельные помощники.
- Неясно, о каких переделках речь. «Сокращение переделок» может относиться к инженерам самой Greptile, разработчикам её клиентов или и к тем и к другим.
Ничто из этого не делает утверждение ложным. Это лишь означает, что оно не подкреплено измерениями, как обычно и бывает с кратким описанием из одного предложения.
Как это воспринимать
Общее направление выглядит правдоподобным и понятным. Поиск ошибок смещается от чтения изменений к проверке продукта в действии, для безопасности выделяется отдельный инструмент, а агент для работы с кодом нацелен на сокращение затрат, связанных с необходимостью делать одно и то же дважды.
Три инструмента и три глагола — «тестировать», «усиливать» и «сокращать» — складываются в стройное предложение. Убедительным результатом это станет лишь тогда, когда каждый пункт подкрепят цифрами.