Google volvio a quedar expuesto por errores basicos en sus respuestas generadas con IA. Segun TechCrunch, AI Overview dio respuestas incorrectas al contar letras dentro de palabras simples, incluyendo el propio nombre Google.
El problema parece absurdo: si un modelo puede escribir codigo, resumir documentos o resolver tareas complejas, por que falla al contar letras? La respuesta esta en como funcionan los modelos de lenguaje.
Los modelos no leen como humanos
Los LLM no procesan texto como una persona que mira letras una por una. Muchos trabajan con tokens, que pueden representar palabras completas, partes de palabras, silabas o caracteres segun el caso.
Cuando un usuario escribe una pregunta, el modelo convierte el texto en representaciones numericas. Luego predice una respuesta probable segun patrones aprendidos. Esa arquitectura es muy potente para generar lenguaje fluido, pero no siempre es buena para tareas exactas de conteo o manipulacion de caracteres.
Por eso preguntas aparentemente simples, como contar cuantas letras tiene una palabra, pueden fallar. El modelo no necesariamente “ve” cada letra de la forma en que un humano lo haria.
El problema no es nuevo
La dificultad de los modelos para contar letras se ha convertido casi en una prueba informal. Durante anos se ha usado el ejemplo de preguntar cuantas letras “r” tiene la palabra strawberry. Muchos modelos fallan, incluso cuando son capaces de hacer tareas mucho mas avanzadas.
En el caso de Google, el error es mas visible porque ocurre dentro del buscador, un producto asociado a respuestas confiables. Cuando una IA se equivoca en una tarea simple dentro de Search, el dano reputacional es mayor que en una herramienta experimental.
Google dijo a TechCrunch que contar dentro de palabras es un desafio conocido para los LLM y que trabaja en corregir ese caso especifico.
Por que importa para usuarios y empresas
Estos errores no significan que la IA generativa sea inutil. Significan que no debe tratarse como una fuente infalible. Los modelos pueden sonar seguros incluso cuando responden mal.
Para empresas, la leccion es directa: toda salida de IA que afecte decisiones, publicaciones, analisis o atencion a clientes debe tener mecanismos de verificacion. Especialmente cuando la tarea requiere exactitud, calculo, conteo, citas o cumplimiento normativo.
Los buscadores con IA estan cambiando la forma de acceder a informacion. Pero mientras los modelos mantengan estas limitaciones, la experiencia debe dejar claro cuando una respuesta es generada y cuando requiere validacion adicional.
La paradoja es util: una IA puede parecer sofisticada en problemas complejos y fallar en algo que un nino resolveria. Esa tension deberia hacer mas prudente, no mas ciego, nuestro uso de estas herramientas.
Fuente original: TechCrunch.
