В сообществе LocalLLaMA опубликовали результаты теста Nex-N2.5-mini... - Vibeus
В сообществе LocalLLaMA опубликовали результаты теста Nex-N2.5-mini-MLX-4bit на Apple M5 Max. Автор запускал модель через oMLX и получил 133,6 токена в секунду, 381 мс до первого токена и потребление памяти около 19 ГБ. В его замерах итоговая оценка качества составила 82,8 балла: 82,4 для задач с агентами, 84,6 для кода, 78,6 для ролевых диалогов и 85,8 для исследовательских задач. Это один из свежих примеров запуска новой компактной модели на пользовательском компьютере с Apple Silicon. Полный набор измерений и описание настроек автор разместил в исходной записи. Источник