Token

Definición

Unidad mínima de texto que procesa el modelo. Afecta al contexto disponible, velocidad y coste. Palabras largas o técnicas pueden consumir varios tokens.

Ejemplo

Un párrafo de 500 palabras puede equivaler a unos 650–800 tokens según idioma y formato.