Что такое fine-tuning (дообучение модели)?
Fine-tuning — это дообучение уже готовой модели на своём наборе примеров, чтобы она усвоила нужный стиль, формат ответа или узкую предметную специфику. Веса модели при этом меняются — получается ваша собственная версия модели.
Дообучение оправдано, когда нужно стабильно воспроизводить определённое поведение: строго заданный формат вывода, тон бренда, работу с редкой терминологией. Для этого нужны сотни или тысячи качественных пар «запрос — эталонный ответ», а также время и деньги на обучение.
Дообучение не добавляет модели знаний о свежих событиях и не заменяет доступ к внутренним документам. Данные, на которых обучили, «застывают» в весах, и обновить их можно только новым циклом обучения.
Где применяется
К дообучению прибегают, когда от модели нужно устойчивое поведение, а не знание фактов: единый тон общения бренда, строгий формат вывода, специфическая терминология отрасли, разметка документов по внутренним правилам компании.
Порядок действий обычно такой: сначала пробуют обойтись хорошим промптом, затем поиском по своим документам, и только если этого не хватает — дообучением. Причина в цене: нужен размеченный набор примеров, вычислительные ресурсы, оценка качества и повторение процедуры при выходе новой версии базовой модели.
Пример
Служба поддержки хочет, чтобы ответы всегда шли в её формате: приветствие, суть, следующий шаг, подпись. Промптом это удерживается через раз. После дообучения на тысяче реальных переписок модель выдерживает структуру без дополнительных инструкций.
{
"messages": [
{ "role": "system", "content": "Ты оператор поддержки Prog Academy." },
{ "role": "user", "content": "Можно ли перенести обучение на следующий поток?" },
{ "role": "assistant", "content": "Добрый день! Да, перенос возможен до старта группы. Напишите номер договора — оформим за один рабочий день. С уважением, поддержка Prog Academy." }
]
}Fine-tuning или RAG — что выбрать
Простое правило: RAG учит модель, что говорить — он подмешивает актуальные факты в запрос. Fine-tuning учит модель, как говорить — он закрепляет форму, стиль и поведение. Для базы знаний, которая часто меняется, почти всегда нужен RAG; для устойчивого формата ответов — дообучение. Их часто комбинируют.
Частые вопросы
Что такое LoRA и чем она отличается от полного дообучения?
LoRA — способ дообучения, при котором основные веса модели остаются неизменными, а обучается лишь небольшой дополнительный набор параметров. Это в разы дешевле и быстрее, результат занимает мегабайты вместо гигабайтов, а качество на большинстве прикладных задач сопоставимо с полным дообучением.
Сколько примеров нужно для дообучения?
Для закрепления стиля или формата часто хватает нескольких сотен качественных пар. Важнее количества — однородность: если примеры противоречат друг другу, модель усвоит эту непоследовательность. Плохой набор данных ухудшает результат по сравнению с исходной моделью.
Сколько стоит дообучить модель?
Сам запуск обучения на облачной платформе для небольшого набора стоит десятки долларов. Основные расходы — не вычисления, а подготовка и проверка данных, а также повторение всей процедуры каждый раз, когда выходит новая версия базовой модели.
Можно ли дообучить модель на своих документах, чтобы она их «знала»?
Так делают, но результат обычно разочаровывает: модель усваивает стиль документов, а не факты, и продолжает придумывать детали. Для ответов по конкретным документам правильный инструмент — поиск по своей базе, а не дообучение.