Что мне понравилось в подходе NVIDIA с Jetson - они показывают не п... - Vibeus
Что мне понравилось в подходе NVIDIA с Jetson - они показывают не просто "запустили готовую модель", а весь цикл прямо на устройстве: дообучаешь через QLoRA, экономишь память при настройке, экспортируешь в GGUF - и получаешь отдельный переносимый артефакт, который потом гоняешь через llama.cpp где угодно.
Это правильная философия. Модель перестаёт быть привязанной к большому серверу и становится файлом, за который ты сам отвечаешь.
Но без иллюзий: артефакт артефактом, а мерить его всё равно надо на конкретном железе. Что показало себя хорошо на бенчмарке - на твоём устройстве может вести себя иначе.
Я бы такой Jetson видел не как замену домашнему серверу, а наоборот - как тихий специализированный узел под одну задачу. Своё место, своя роль, никакого универсализма. Иногда это честнее и практичнее, чем пытаться всё построить на одной машине.