El otro día abrí la factura mensual de la API de IA que uso en algunos proyectos y me llevé un susto honesto. No era un valor absurdo, pero había crecido mucho más de lo que esperaba — y la cuenta venía detallada en una unidad que, seamos sinceros, casi nadie entiende de verdad: tokens. “Usaste 4,2 millones de tokens de entrada y 1,1 millón de salida.” Vale. ¿Y qué es un token, al final?
Intenté explicárselo a un cliente en una reunión y noté que faltaba la parte visual. Decimos “un token es un pedazo de palabra” y todos asienten, pero nadie lo ve suceder. Así que hice lo que siempre hago cuando una idea no se me va de la cabeza: abrí el editor y construí la cosa. Hay un tokenizador corriendo aquí abajo, en tu navegador, sin ningún servidor. Pega un texto y mira, en vivo, cómo el modelo parte tus palabras en pedacitos de colores. Pero antes deja que te cuente por qué esto importa para tu bolsillo.
El modelo no lee letras. Ni palabras. Lee tokens.
Cuando le mandas “Buenos días, ¿qué tal?” a una IA, el modelo no lo ve como letras ni como palabras enteras. Antes que nada, un programita llamado tokenizador parte el texto en una secuencia de pedazos — los tokens — y cada pedazo se vuelve un número. El modelo solo conversa con números.
La regla práctica que vale la pena guardar: en inglés, 1 token ≈ 4 caracteres ≈ ~¾ de una palabra. Las palabras comunes (“the”, “dog”, “casa”) suelen ser un único token. Las palabras raras, los nombres propios y los términos técnicos se rompen en varios pedazos. Y es justo en esa ruptura donde vive la parte que afecta tu factura.
Por qué “coração” cuesta más que “heart”
Aquí está el truco que sorprende a mucha gente: el portugués, y sobre todo los acentos, cuestan más caro. Los tokenizadores de los grandes modelos se entrenaron mayoritariamente en inglés, así que el inglés “cabe” mejor: cada token aprovecha más letras. Cuando escribes con acentos, cedilla y tilde, el modelo a menudo necesita más tokens para representar la misma idea.
- Acentos. Una letra como “ç” o “ã” puede, internamente, volverse más de un pedazo — porque el texto se procesa en bytes UTF-8, y esos caracteres ocupan más de un byte.
- Emojis. Ese 🚀 lindo que pegaste en el correo puede valer 2 o 3 tokens por sí solo. El emoji es caro.
- Código y URLs. Llenos de símbolos, indentación y nombres raros, suelen fragmentarse bastante — lo que explica por qué pedirle a la IA que “lea” un archivo grande de código pesa tanto.
- Idioma. El mismo texto traducido puede tener conteos muy distintos. El portugués y el español casi siempre gastan más tokens que el inglés equivalente.
O sea: tu cuenta de IA tiene un leve “impuesto de idioma” incorporado. No puedes escapar del todo de él, pero sí puedes verlo — y cuando lo ves, empiezas a tomar mejores decisiones sobre prompts, contexto y qué vale o no la pena mandar al modelo.
Un token no es una palabra, ni una letra, ni una sílaba. Es un pedazo estadístico que el modelo aprendió a reconocer porque aparece mucho junto. “ción” se vuelve un pedazo porque el español está lleno de él. “ing” se vuelve un pedazo en inglés por la misma razón.
Cómo decide la máquina dónde cortar: BPE
La técnica más común se llama BPE (Byte Pair Encoding), y la idea es deliciosamente simple. Empiezas tratando cada carácter como un pedazo separado. Luego miras qué par de pedazos vecinos aparece con más frecuencia en todo el texto de entrenamiento y fusionas los dos en un solo pedazo. Repites eso miles de veces.
Al final, los pedazos que aparecen mucho (“ción”, “mente”, “the”) se vuelven tokens únicos, y los raros siguen fragmentados en letras. Por eso una palabra común cuesta 1 token y una rara cuesta varios: el vocabulario del modelo “memorizó” los pedazos frecuentes e improvisa el resto letra por letra.
El tokenizador que armé aquí abajo es una versión simplificada y didáctica de ese proceso: tiene un diccionario pequeño de fusiones comunes del portugués y del inglés incorporado, y cuando no reconoce un pedazo, recurre a cortar por carácter. No es el tokenizador exacto de OpenAI ni de Anthropic — cada modelo tiene el suyo — pero la intuición que te da es la misma: ves al instante dónde ocurren los cortes y por qué los acentos y los emojis cuestan caro.
Mi visión honesta
Después de aquella factura, cambié algunas cosas en cómo construyo funciones de IA para los clientes. Empecé a medir tokens antes de mandar a producción, a recortar contexto que no aportaba nada, y a explicarle al cliente, con número en mano, por qué “mandar el PDF entero cada vez” sale caro. No se trata de ahorrar centavos — se trata de entender la unidad económica del producto que estás construyendo. Quien trata el token como un detalle técnico algún día se lleva un susto en la factura. Quien lo trata como una decisión de producto duerme tranquilo.
Basta de teoría. Pega un texto aquí abajo — un correo tuyo, un trozo de código, una frase llena de acentos — y mira la magia (y el costo) suceder 👇