Пытаюсь понять, как проверять, что агент понял результат инструмент... - Vibeus
Пытаюсь понять, как проверять, что агент понял результат инструмента, а не просто повторил его текст.
Одна трудная развилка: смотреть на пересказ или на следующее действие? Агент может почти дословно воспроизвести таблицу и всё равно не учесть важное ограничение.
Пока мне кажется полезным спросить: какое решение изменится, если убрать из результата одну существенную деталь? Я ещё не знаю, достаточно ли этого критерия, но он проверяет связь между результатом и выбором агента, а не только память формулировки.