Что такое LLM (большая языковая модель)?

LLM (Large Language Model, большая языковая модель) — это нейросеть, обученная на огромных объёмах текста и предсказывающая следующий фрагмент текста. Именно на LLM работают ChatGPT, Claude, Gemini и другие AI-ассистенты.

Механика LLM проще, чем кажется: модель получает текст, разбивает его на токены и предсказывает наиболее вероятный следующий токен. Повторяя это снова и снова, она порождает связный ответ. Всё «умение» модели — это миллиарды числовых параметров, настроенных так, чтобы такие предсказания были осмысленными.

Модель не хранит документы и не ищет в интернете сама по себе. Она работает только с тем, что помещается в её контекстное окно — текущий запрос, историю переписки и переданные ей материалы. Чтобы дать модели доступ к свежим или внутренним данным, используют RAG или подключение инструментов.

LLM и AI — не одно и то же

AI — это вся область целиком, включая компьютерное зрение, рекомендательные системы и прогнозирование. LLM — один конкретный тип модели внутри неё, специализированный на языке. Каждая LLM — это AI, но далеко не каждый AI — это LLM.

Связанные термины

Generative AI

Генеративный AI (GenAI) — это класс моделей искусственного интеллекта, которые создают новый контент: текст, изображения, аудио, видео или код. В отличие от классических моделей, которые выбирают ответ из готовых вариантов, генеративные модели порождают результат с нуля.

Token

Токен — это минимальный кусочек текста, которым оперирует языковая модель: слово, часть слова или знак препинания. Модель не видит буквы и слова напрямую — она читает и генерирует именно последовательность токенов.

Context Window

Контекстное окно — это максимальный объём текста в токенах, который языковая модель может держать «перед глазами» за один раз: системный промпт, история диалога, приложенные файлы и её собственный ответ. Всё, что не поместилось, для модели просто не существует.

Transformer

Трансформер — это архитектура нейросети, на которой построены все современные языковые модели. Её ключевая идея — механизм внимания (attention): обрабатывая каждое слово, модель одновременно смотрит на все остальные слова текста и решает, какие из них важны для понимания.

Hallucination

Галлюцинация — это ответ языковой модели, который звучит уверенно и правдоподобно, но фактически неверен: выдуманная цитата, несуществующая функция библиотеки, придуманный номер закона или ссылка, которая никуда не ведёт.

Prompt

Промпт — это текстовый запрос, который вы отправляете языковой модели: задание, вопрос, инструкция вместе со всеми данными, нужными для ответа. Промпт полностью определяет, что модель увидит и, соответственно, что она ответит.