Архив рубрики ~Лента новостей~
Эксперимент — как мы обучили 14B-модель за 42 минуты и перестали платить за API
Рассинхронизация шаблона токенизатораПосле успешного третьего прогона мы экспортировали модель, запустили сервер и обнаружили, что на любой запрос в чате модель молчит либо повторяет вопрос пользователя.Причина оказалась в токенизации: при подготовке датасета функция форматирования использовала стандартные текстовые разделители User: и Assistant:, в то…
Читать