Токены в нейросетях: что это, как считаются и почему важны
Автор: Анна Кленова, Автор AI Vision: нейросети для бизнеса и дизайна. Обновлено 2026-11-05.
В маркетинге я однажды вставила в чат-модель выгрузку отзывов клиентов на сорок страниц и получила вежливое «текст слишком длинный». Тогда я впервые разобралась, что такое токены, и с тех пор экономлю их почти автоматически.
Если коротко: токен — это кусочек текста, с которым работает нейросеть. Обычно это часть слова, целое короткое слово или знак препинания. От количества токенов зависят скорость ответа, стоимость запроса и объём текста, который модель может удержать в памяти. Расскажу, почему русский текст «дороже» английского, что такое контекстное окно и как тратить токены экономнее без потери качества.
Нейросеть не видит буквы и слова так, как мы. Перед обработкой текст разбивается на токены — фрагменты из словаря модели. Частые слова часто становятся одним токеном, редкие и длинные делятся на несколько частей.
Условный пример: слово «нейросеть» может разбиться на «ней», «рос», «еть». Слово «the» в английском почти всегда один токен. Пробелы, знаки препинания и цифры тоже становятся токенами.
По оценке OpenAI для английского текста, один токен — это в среднем около четырёх символов, или примерно три четверти слова.
Словари большинства моделей исторически строились с упором на английский. Поэтому русские слова в среднем делятся на большее число токенов, чем английские. Один и тот же смысл на русском может занимать заметно больше токенов, чем на английском. Точное соотношение зависит от модели: новые модели разбивают кириллицу эффективнее старых.
На практике это значит:
- длинный русский документ быстрее заполняет лимит модели;
- запрос на русском может стоить дороже такого же на английском, если оплата идёт за токены;
- ответ на русском генерируется чуть дольше.
Писать запросы на английском ради экономии обычно не нужно: современные модели хорошо понимают русский, а лишняя ошибка перевода обойдётся дороже.
Контекстное окно — это максимальное количество токенов, которое модель может учитывать одновременно. В него входят:
- ваш запрос;
- вся предыдущая переписка в диалоге;
- загруженные документы;
- инструкции сервиса;
- ответ модели.
Когда диалог превышает окно, старые сообщения перестают учитываться или сжимаются. Отсюда эффект «забывания»: модель не помнит договорённости, которые вышли за пределы окна.
У современных флагманских моделей контекстные окна огромные — сотни тысяч, а у некоторых моделей и больше миллиона токенов. Это сотни страниц текста. Актуальные цифры для каждой модели публикуют разработчики в документации.
Сервисы и разработчики обычно считают отдельно:
- входные токены — всё, что вы отправили, включая историю диалога и файлы;
- выходные токены — то, что написала модель.
Выходные токены, как правило, дороже входных. Модели с режимом рассуждений тратят дополнительные токены на «размышления» перед ответом. Зато они реже ошибаются в сложных задачах.
- Начинайте новый диалог для новой темы. Длинная история тянется за каждым сообщением и расходует токены.
- Отправляйте только нужное. Не весь документ, а нужный раздел; не весь проект, а нужный файл. Подробнее о работе с кодом — в статье про нейросеть для кода.
- Ограничивайте длину ответа: «ответь в 5 пунктах», «до 500 знаков».
- Выбирайте модель под задачу. Для простых вопросов подходят лёгкие и быстрые модели, флагманы с рассуждениями нужны для сложных.
- Пишите точные запросы. Понятная задача с первого раза экономит токены на переспрашивания. Подробнее — в статье как писать промпты.
Мой главный приём родом из работы с отзывами: не загружать всё подряд. Прежде чем отправить сорок страниц, я убирала дубли, служебные строки и подписи — объём сокращался почти вдвое без потери смысла. Второй приём — разбивать работу на этапы. Сначала просишь модель выделить темы, потом по каждой теме отдельный разбор. Третий — начинать новый чат, когда задача поменялась, и в первом сообщении коротко пересказывать главное.
Дома я объясняла это дочери на примере школьного реферата: не нужно копировать в чат всю главу учебника, если вопрос про один параграф.
Даже если документ помещается в контекстное окно, модель может хуже учитывать детали из середины очень длинного текста. Поэтому:
- важные инструкции повторяйте ближе к концу запроса;
- для длинных документов просите сначала составить краткое содержание, а потом работайте с ним;
- проверяйте, не упустила ли модель важные условия.
Если модель уверенно отвечает то, чего нет в документе, это может быть не нехватка контекста, а галлюцинация. Подробнее — в статье про галлюцинации нейросетей.
В сервисах, которые объединяют много нейросетей, «токенами» часто называют ещё и внутреннюю единицу баланса. Это не то же самое, что токены модели. Баланс списывается за генерации — текст, картинки, видео, музыку, — и стоимость зависит от модели и объёма работы. Такой подход позволяет пользоваться разными моделями с одного счёта. Подробнее — в статье про агрегаторы нейросетей.
Читайте такженейросеть бесплатно.
Частые вопросы
Сколько слов в одном токене?
Для английского — около трёх четвертей слова. Для русского одно слово в среднем занимает больше токенов.
Что будет, если превысить лимит токенов?
Сервис откажется принять запрос или начнёт «забывать» ранние сообщения диалога.
Какая модель понимает больше всего текста за раз?
У разных разработчиков есть модели с очень большим контекстом. Сравнение моделей — в статье про ChatGPT, Claude, Gemini и DeepSeek.
Можно ли посчитать токены заранее?
Да, у многих разработчиков есть счётчики токенов, например у OpenAI.
Токены в AI Vision
В AI Vision токены — это единый баланс для всех моделей: чатов, генерации изображений, видео и музыки. Стоимость каждой генерации зависит от выбранной модели, поэтому простые задачи можно решать лёгкими моделями, а флагманы оставлять для сложных.
Посмотреть модели в AI Vision