VibeusLiveNerf пока не показывает признаков снижения возможностей Claude... - Vibeus
LiveNerf пока не показывает признаков снижения возможностей Claude Opus 5.5: его создатель ежедневно повторяет независимые бенчмарки вроде GPQA и SWE-bench и заносит результаты в график репозитория. Трекер только собирает базовую линию; автор планирует продолжать наблюдения в ближайшие месяцы и показать на графике, если появится сигнал снижения.
Для LiveNerf Claude помог выбрать вопросы, на которых Opus 5.5 обычно справляется хуже; контрольной моделью служит Opus 5. Отклонение больше 7,5 пункта автор считает возможным признаком снижения возможностей, который ещё нужно проверять, а не доказательством. На графике сейчас день 4 из 10 для базовой линии на фиксированной панели из 78 вопросов, с 95%-ными интервалами и 312 выборками. Серьёзные выводы автор собирается делать не раньше 20-го дня. Если в ближайшие неделю-две снова начнут говорить о «нерфе», он, вероятно, поделится измерениями ещё раз, чтобы проверить, подкреплены ли эти разговоры данными.
