juangmuelas

En la publicación anterior, hablábamos acerca de los parámetros en la IA y de su importancia.

Uno de los detalles que quedaban en el aire, era el porqué del tamaño fijo en un embedding. Así que hoy te cuento todo sobre este detalle tan importante.

Cuando le preguntamos algo a una IA, como siempre decimos, no «lee» letras. Cada palabra, cada concepto, se transforma en una lista de 4.096 números. Esto se llama embedding, y es la clave para que la IA entienda el mundo.

🌐 Tu palabra, es un punto en un universo de 4.096 dimensiones.

Imagina que cada palabra que conoces (desde «Manzana» hasta «Ciberseguridad») no es más que un punto en un espacio abstracto. Pero este espacio no es 2D ni 3D 😁… tiene 4.096 dimensiones.

Cada uno de esos 4.096 números es una «coordenada» que define un matiz específico de esa palabra: su sabor, su emoción asociada, su contexto técnico o tecnológico (manzana=Apple), etc.
La IA «entiende» porque, si «Manzana» y «Pera» están cerca en este espacio de 4.096 dimensiones, sabe que están relacionadas.

Vamos ahora, tras reforzar lo anterior, con el meollo.

💡 ¿Por qué exactamente 4.096 y no otro número?

No es un número arbitrario, sino una decisión de ingeniería inteligente:
✅ Potencias de Dos: Los chips de computadora y el hardware en general están optimizados para trabajar con potencias de dos (2, 4, 8, 16…). Esto hace que los cálculos sean exponencialmente más rápidos y eficientes.
✅ El «Sweet Spot» de la Ingeniería: Después de muchas pruebas, los ingenieros de LLMs descubrieron que 4.096 (2 elevado a la 12 🤗) ofrece el equilibrio perfecto:
👉🏼 Capacidad: Permite que la IA capte matices complejos del lenguaje (ironía, sarcasmo, jerga técnica) que modelos con menos dimensiones no podrían diferenciar.
👉🏼Eficiencia: Ir más allá (ej. 8192 dimensiones) sería hoy día prohibitivamente caro, lento de entrenar y consumiría demasiados recursos computacionales y energéticos para la mejora marginal obtenida.

Como vemos seguimos sin mostrar magia, solo matemáticas increíblemente sofisticadas.

Es fascinante ver cómo las decisiones de hardware influyen directamente en la capacidad lingüística de los modelos de IA. ¿Verdad?

En esta guerra por estar en la cima del mercado de la Inteligencia Artificial, a menudo escuchamos cifras astronómicas: modelos con 70.000 millones, 175.000 millones, o incluso en el caso de Gemini 3 (al momento de este artículo), ya se hablaba públicamente de 1 billón de parámetros (aunque se comenta que en realidad eran unos 7 billones) y con GPT-4.5 se dice que ronda los 10 billones 😮.
Pero, ¿Qué significa esto? ¿Más parámetros son siempre un sinónimo de «más inteligente»? Pues como decimos muchas veces con los modelos: no es el tamaño, sino como se usa. Es geometría 🤔.

🔍 1. El concepto:
Voy a tomar un ejemplo que leí en su día y que creo que lo explica bien. Imaginemos que el cerebro de una IA es una red gigantesca de mandos o diales de volumen. Cada uno de esos diales es un parámetro. Durante el entrenamiento, la IA ajusta estos billones de diales para que, cuando tú le preguntes algo, la información fluya por los ajustes correctos y entregue la respuesta adecuada.

📋 2. De la palabra al número (Embeddings)
Para una IA, las palabras no existen; solo existen las coordenadas.

Cuando escribes «Manzana», la IA la traduce a una incrustación (embedding): una lista fija de 4.096 números (vectores).
👉🏼 Estos números sitúan a la palabra en un espacio multidimensional.
👉🏼 Si dos palabras tienen listas numéricas similares, la IA «sabe» que están relacionadas (como «Manzana» y «Pera») por su cercanía matemática.

⚙️ 3. ¿Qué hacen realmente los Parámetros?
Los parámetros son entonces, las reglas matemáticas que deciden cómo esos 4.096 números cambian a medida que la frase avanza. Son los que calculan la probabilidad de que, tras la palabra «Comer», la siguiente sea «Manzana» y no «Coche». Es la unidad básica de su «conocimiento».

⚠️ 4. El problema del Sesgo (Bias)
¿Lo recordáis de una publicación anterior? Los parámetros no se ajustan al azar; lo hacen según los datos de entrenamiento.
👉🏼 Sesgo por asociación: Si en los datos la palabra «Médico» aparece siempre cerca de «Hombre», los parámetros fortalecerán esa conexión matemática.
👉🏼 El sesgo no es un error de código, es un reflejo matemático de nuestros prejuicios capturados en esos billones de ajustes.

💡 Conclusión:
Al final, es Eficiencia vs. Fuerza Bruta 😅. Estamos viendo que modelos más pequeños (SLM), si están mejor entrenados, pueden superar a gigantes de 100B parámetros. Por ello, entiendo que el futuro de la IA no es solo crecer en tamaño (que seguirán creciendo), sino en densidad de inteligencia y en la corrección de esos sesgos heredados. Y más cuando se unan computación cuántica y modelos. Aunque eso (y porqué los 4096 que apuntaba antes 😛), será para otra publicación.

La IA, como vemos, no «entiende» conceptos. Al final, calcula distancias y probabilidades 😁.