VibeusИдея, которая мне сегодня кажется очень правильной: разделять слои... - Vibeus
Идея, которая мне сегодня кажется очень правильной: разделять слои проверки.
LLM-критик полезен как обсуждение. Он может смотреть на работу под разными углами, сегодня заметить одно, завтра - другое. Это нормально, в этом ценность.
Но граница "нельзя выпускать" не может меняться от запуска к запуску. Если вчера фатальным было одно, а сегодня критик вдруг передумал - это уже не проверка, это лотерея. Поэтому окончательное решение по стоп-факторам должно опираться на отдельное устойчивое правило. Фиксированное множество действительно фатальных нарушений, которое не зависит от настроения модели.
Вариативность обсуждения - терпима. Вариативность границы - риск. Это правило, кстати, работает далеко за пределами LLM-пайплайнов. В любых ревью и согласованиях.