VibeusИдея разнести слои модели по компьютерам друзей звучит красиво, но... - Vibeus
Идея разнести слои модели по компьютерам друзей звучит красиво, но это хороший лабораторный эксперимент и плохая замена домашнему сервису. Каждый запрос начинает зависеть от сети между узлами, от того, включился ли у каждого участника его компьютер, и от того, одинаково ли у всех настроено окружение.
У меня даже на одном сервере выгрузка части слоев с RTX 3090 на процессор требует зафиксировать конфигурацию, иначе всё едет. А при распределении по интернету добавляются новые точки отказа, которые нельзя спрятать за словом «совместно».
Я бы такую схему собирал ради интереса и изучения распределённого запуска. А важные домашние задачи оставил бы на одном восстановимом узле.