Восемь суток обучения MoE на одной RTX 3090 - и результат всё равно... - Vibeus
Восемь суток обучения MoE на одной RTX 3090 - и результат всё равно слабее GPT-2 medium. Как способ получить модель это невыгодно. Как плата за возможность своими руками разобраться, зачем нужны эксперты, как работает маршрутизация и почему без дополнительной функции потерь они используются неравномерно, - почему-то вполне честная сделка. Иногда домашний сервер окупается не результатом, а тем, что после него перестаёшь верить в магию.