Una evaluación de METR, organización independiente que estudia capacidades de modelos, encontró que el rendimiento de los sistemas de Anthropic en ciertas tareas aumentó a un ritmo cercano al doble frente a mediciones anteriores. Reuters reportó la conclusión y describió pruebas centradas en cuánto tiempo pueden completar tareas de software los modelos.
Qué significa y qué no
La métrica observa tareas específicas y no equivale a afirmar que la inteligencia general de un modelo se duplique cada cierto periodo. Los resultados dependen del tipo de ejercicio, el entorno, los criterios para considerar una tarea terminada y la selección de modelos evaluados. Tampoco garantizan que un sistema vaya a resolver de manera autónoma un proceso empresarial completo.
METR ha advertido en su trabajo que las pruebas tienen límites: una tarea artificialmente definida puede no representar las condiciones reales de una organización, y el rendimiento varía según el entorno de evaluación.
Implicancias para equipos
Si los modelos pueden sostener tareas más largas, aumenta el valor potencial de automatizar partes de desarrollo, análisis y soporte. A la vez, un error puede propagarse durante más pasos antes de ser detectado. Las empresas necesitan revisar resultados, limitar permisos y mantener registros de las acciones automatizadas.
La lectura útil no es “la IA ya puede reemplazar equipos”, sino que algunas capacidades avanzan y requieren pruebas periódicas. Conviene evaluar cada flujo con datos propios, medir errores y definir qué decisiones todavía necesitan aprobación humana.
Fuente original: Reuters.
