Что такое fine-tuning (дообучение модели)?

Fine-tuning — это дообучение уже готовой модели на своём наборе примеров, чтобы она усвоила нужный стиль, формат ответа или узкую предметную специфику. Веса модели при этом меняются — получается ваша собственная версия модели.

Дообучение оправдано, когда нужно стабильно воспроизводить определённое поведение: строго заданный формат вывода, тон бренда, работу с редкой терминологией. Для этого нужны сотни или тысячи качественных пар «запрос — эталонный ответ», а также время и деньги на обучение.

Дообучение не добавляет модели знаний о свежих событиях и не заменяет доступ к внутренним документам. Данные, на которых обучили, «застывают» в весах, и обновить их можно только новым циклом обучения.

Fine-tuning или RAG — что выбрать

Простое правило: RAG учит модель, что говорить — он подмешивает актуальные факты в запрос. Fine-tuning учит модель, как говорить — он закрепляет форму, стиль и поведение. Для базы знаний, которая часто меняется, почти всегда нужен RAG; для устойчивого формата ответов — дообучение. Их часто комбинируют.

Связанные термины

LLM

LLM (Large Language Model, большая языковая модель) — это нейросеть, обученная на огромных объёмах текста и предсказывающая следующий фрагмент текста. Именно на LLM работают ChatGPT, Claude, Gemini и другие AI-ассистенты.

RAG

RAG (Retrieval-Augmented Generation) — это подход, при котором перед ответом система сначала находит релевантные фрагменты в вашей базе знаний и передаёт их языковой модели вместе с вопросом. Модель отвечает не «по памяти», а по конкретным документам.

Machine Learning

Машинное обучение (Machine Learning, ML) — это подход к созданию программ, при котором модель выводит правила из данных сама, вместо того чтобы разработчик прописывал их вручную. Разработчик готовит данные и выбирает алгоритм, а закономерности модель находит в процессе обучения.

Prompt Engineering

Промпт-инжиниринг — это практика проектирования запросов к языковым моделям так, чтобы получать стабильный и предсказуемый результат: подбор формулировок, структуры, примеров и ограничений, а затем проверка их на реальных задачах.