Где хранятся нейросети: архитектура памяти, веса, контекст и внешние базы

Введение: миф о «месте хранения» нейросети

Когда пользователь задаёт вопрос нейросети, возникает иллюзия, что где-то внутри лежит гигантская база знаний, из которой модель просто извлекает готовый ответ. На самом деле всё устроено иначе. Нейросеть не хранит факты в привычном понимании — она хранит способность восстанавливать ответы на основе статистических закономерностей, выученных во время обучения.

Понимание того, где и как нейросеть хранит информацию, важно для выбора подходящей архитектуры, оценки производительности и планирования дообучения. В этой статье мы разберём все уровни памяти: от весов модели и контекстного окна до внешних векторных баз и плагинов.

Веса модели: основное хранилище знаний

Главное «место хранения» любой нейросети — это её веса (weights). Веса представляют собой миллиарды чисел, которые определяют, как входные сигналы преобразуются в выходные. В процессе обучения на огромных массивах данных (тексты, изображения, код) веса постепенно настраиваются так, чтобы минимизировать ошибку предсказания.

Веса хранятся в файлах модели — это могут быть форматы .bin, .safetensors, .pt (PyTorch) или .h5 (Keras). Размер файлов варьируется от сотен мегабайт до сотен гигабайт. Например, модель LLaMA 3 с 70 миллиардами параметров занимает около 140 ГБ в полной точности (float32).

Важно понимать: веса не содержат сами тексты или изображения. Они кодируют вероятностные связи между токенами. Модель «знает» не то, что «Париж — столица Франции», а то, что после последовательности токенов «Париж — столица» с высокой вероятностью идёт токен «Франции». Это принципиальное отличие от классической базы данных.

Контекстное окно: рабочая память модели

Когда нейросеть генерирует ответ, она использует контекстное окно (context window) — ограниченный объём текста, который она может «видеть» в текущий момент. Всё, что находится за пределами окна, модель не помнит.

Размер контекстного окна варьируется: у GPT-3.5 — 4096 токенов, у GPT-4 — 8192 или 32768, у LLaMA 3 — 8192, у Gemini 1.5 — до 1 миллиона токенов. Чем больше окно, тем больше информации модель может учесть при генерации ответа, но тем выше требования к памяти и времени вычислений.

Контекстное окно — это аналог кратковременной памяти человека. Оно хранит историю диалога, текущий запрос и любые дополнительные данные, которые были переданы модели (например, результаты поиска или документы). Как только диалог выходит за пределы окна, модель «забывает» начало разговора.

Внутренние буферы и кэши: скрытая память вычислений

Помимо весов и контекстного окна, в процессе работы нейросеть использует временные буферы и кэши. Например, при генерации каждого нового токена модель пересчитывает состояния внимания (attention) для всех предыдущих токенов. Чтобы не пересчитывать их заново каждый раз, современные реализации сохраняют промежуточные результаты в кэше (KV-cache).

KV-cache может занимать значительный объём оперативной памяти — до нескольких гигабайт для длинных контекстов. Он хранится только во время сессии и очищается после завершения генерации. Это ещё один уровень памяти, который не сохраняется между сеансами.

Также существуют буферы для хранения эмбеддингов токенов, результатов нормализации и других промежуточных вычислений. Все они живут в оперативной памяти и не записываются на диск.

Внешние базы знаний: RAG и векторные хранилища

Чтобы модель могла отвечать на актуальные вопросы, не переобучаясь каждый раз, используется техника Retrieval-Augmented Generation (RAG). Суть в том, что перед генерацией ответа модель обращается к внешней базе знаний, находит релевантные фрагменты и добавляет их в контекст.

Внешняя база знаний чаще всего представляет собой векторную базу данных (vector database), например FAISS, Qdrant, Weaviate или Pinecone. В ней хранятся эмбеддинги — числовые векторы, полученные из текстовых документов с помощью специальной модели-энкодера (например, BERT или SentenceTransformer). Поиск происходит по косинусной близости: запрос пользователя тоже преобразуется в вектор, и база возвращает наиболее похожие векторы.

RAG позволяет модели получать свежую информацию, не затрагивая её веса. Это особенно полезно для новостей, документации, специфических баз данных. Недостаток — зависимость от качества индексации и скорости поиска.

Плагины и API: динамические источники данных

Ещё один способ расширить память нейросети — подключение внешних плагинов и API. Например, ChatGPT может вызывать плагины для поиска в интернете, получения курса валют, заказа билетов и т.д. Решение о том, когда вызывать плагин и какие данные передавать, принимает сама модель на основе описания плагина.

Плагин — это классическое приложение с API, которое возвращает данные в ответ на запрос. ChatGPT вставляет эти данные в контекст беседы (не показывая их пользователю) и использует для генерации ответа. Таким образом, модель получает доступ к неограниченному объёму информации, не храня её внутри.

Этот подход требует тщательной настройки безопасности и контроля качества данных, так как модель может доверять ненадёжным источникам.

Форматы хранения моделей: от .bin до .safetensors

Файлы с весами нейросетей хранятся в различных форматах, каждый из которых имеет свои особенности:

• .bin — бинарный формат, часто используется в проектах на базе PyTorch. Простой, но небезопасный: может содержать произвольный код.
• .safetensors — безопасный формат, разработанный Hugging Face. Не поддерживает выполнение кода, что снижает риски при загрузке моделей из интернета.
• .pt / .pth — формат PyTorch, может содержать не только веса, но и архитектуру модели.
• .h5 — формат Keras/TensorFlow.
• .gguf — формат, оптимизированный для запуска на CPU и встраиваемых устройствах (используется в llama.cpp).

Выбор формата зависит от фреймворка, целевого устройства и требований к безопасности. Например, для запуска на слабом железе часто используют квантизацию — уменьшение точности весов (например, с float32 до int8), что сокращает размер файла в 4 раза при небольшой потере качества.

Практические аспекты: как выбрать способ хранения для своей задачи

Выбор того, где и как хранить данные для нейросети, зависит от конкретной задачи:

• Чат-бот с актуальными ответами — используйте RAG с векторной базой, регулярно обновляйте документы.
• Генерация кода — модель может хранить знания в весах, но для свежих библиотек потребуется дообучение или RAG.
• Обработка больших документов — выбирайте модель с большим контекстным окном (например, Gemini 1.5 или GPT-4-32k).
• Автономное устройство — используйте квантизованные модели в формате .gguf, храните их локально.
• Высокая безопасность — избегайте загрузки моделей из ненадёжных источников, используйте .safetensors.

Также важно учитывать скорость доступа: оперативная память (RAM) и видеопамять (VRAM) работают в сотни раз быстрее, чем SSD. Поэтому для быстрой генерации модель должна целиком помещаться в VRAM. Если это невозможно, используют частичную загрузку (offloading) или распределённые вычисления.

Ограничения и будущее памяти нейросетей

Современные нейросети имеют фундаментальные ограничения в области памяти:

• Фиксированный размер контекстного окна — даже у самых больших моделей он ограничен (1 млн токенов у Gemini — исключение, но и это не бесконечность).
• Неспособность к долговременному запоминанию — модель не помнит пользователя между сессиями, если только это не реализовано через внешние базы.
• Забывание при дообучении — если дообучать модель на новых данных, она может «забыть» старые (катастрофическое забывание).
• Энергопотребление — хранение и обработка больших моделей требуют значительных вычислительных ресурсов.

Будущее связано с развитием архитектур, способных к динамическому расширению памяти, например, с использованием внешних модулей памяти (Neural Turing Machines, Differentiable Neural Computers) или гибридных систем, где нейросеть комбинируется с классическими базами данных.

Вопросы и ответы