Что такое токены и как их считать?

Токен — единица расчёта: кусок слова, знак препинания или служебный маркер. Русские слова дробятся сильнее английских: одно русское слово — это часто 2–3 токена. Точный счёт даёт только ответ API в поле usage.

Для оценки делите текст на слова и умножайте: русский — на 2.5, английский — на 1.3, код — на 2. Это прикидка; факт всегда из usage.