Un estudio de investigadores de la Universidad de Shandong concluye que los envoltorios de agentes de codificación pueden multiplicar el consumo de tokens sin mejorar de forma estadísticamente clara las tasas de éxito. En las pruebas, la variación entre ejecuciones del mismo sistema fue comparable a la observada al cambiar de envoltorio.
***

• En 447 tareas de SWE-bench Verified, Claude Code y mini-SWE-agent quedaron a menos de dos puntos de diferencia para los modelos evaluados.
• Los envoltorios consumieron entre dos y tres veces más tokens que la opción más ligera, aunque sus resultados se mantuvieron dentro de la incertidumbre de medición.
• OpenCode sí mostró un rezago estadísticamente significativo en el conjunto amplio, asociado en parte con límites de salida y posibles diferencias de configuración.

---

Agentes de IA consumen hasta 3 veces más tokens sin una mejora clara

En 447 tareas de programación, Claude Code y mini-SWE-agent quedaron a menos de 2 puntos.

La variación entre ejecuciones fue similar a la diferencia entre envoltorios. OpenCode sí quedó rezagado. pic.twitter.com/MuwE8Rcz3y

— Diario฿itcoin (@DiarioBitcoin) October 24, 2026

Estudio cuestiona los costosos envoltorios de los agentes de codificación con IA

Los agentes de codificación con inteligencia artificial pueden gastar más tokens al usar herramientas y configuraciones complejas, sin que eso se traduzca necesariamente en más tareas resueltas. Un estudio de Liu y Han, investigadores de la Universidad de Shandong, comparó tres envoltorios con los mismos modelos y encontró que buena parte de las diferencias de rendimiento no superaba la variación esperable entre dos ejecuciones del mismo sistema.

El trabajo examinó Claude Code, OpenCode y mini-SWE-agent en SWE-bench Verified, una prueba que evalúa si los agentes pueden resolver problemas de programación en repositorios reales. La conclusión no es que todos los envoltorios sean idénticos: OpenCode quedó rezagado en el conjunto de evaluación más amplio. Pero, en general, las opciones más elaboradas consumieron más tokens sin ofrecer una ventaja de aprobación estadísticamente clara frente a la alternativa ligera.

Las comparaciones pueden confundir ruido con mejoras

Un envoltorio, o harness, reúne las instrucciones del sistema, las herramientas disponibles y la gestión del contexto que guían a un modelo cuando trabaja dentro de un repositorio. Como los proveedores suelen comparar sus propios agentes con alternativas en pruebas de referencia, los autores advirtieron que una sola ejecución no basta para atribuir con seguridad una diferencia al diseño del envoltorio.

En SWE-bench Verified, las ejecuciones repetidas de una misma configuración pueden variar hasta seis puntos, según el análisis. Por eso, una ventaja anunciada de 2,4 puntos por Zhipu AI frente a Claude Code cae dentro del rango de fluctuación que los investigadores observaron, en lugar de demostrar por sí sola una superioridad consistente.

Para medir ese efecto, Liu y Han probaron cinco modelos con las versiones publicadas de Claude Code, OpenCode y mini-SWE-agent. Este último ofrece al modelo una herramienta Bash y no gestiona el contexto de la misma manera que los otros dos, que incluyen herramientas especializadas para archivos y búsquedas, instrucciones de sistema más extensas y compresión automática del historial.

La selección incluyó Qwen3.6, Qwen3.8, Deepseek-V4-Flash, GLM-5.3-Flash e HY4-Preview; Claude Opus 5 se ejecutó únicamente como referencia en Claude Code. Las pruebas cubrieron las 45 tareas más difíciles de SWE-bench Verified y una reserva adicional de 447, mientras que algunas configuraciones se repitieron para estimar cuánto variaban sus resultados sin cambiar el sistema.

Cambiar de envoltorio movió los resultados tanto como repetir la prueba

En la reserva de 447 tareas, Claude Code y mini-SWE-agent, los envoltorios más pesado y más ligero de la comparación, quedaron a menos de dos puntos de distancia para los modelos examinados. Los autores consideran que diferencias dentro de una banda de cinco puntos son estadísticamente equivalentes en ese conjunto, mientras que el consumo de tokens de los envoltorios podía multiplicarse entre dos y tres veces respecto de la opción más ligera.

El patrón también apareció en las 45 tareas difíciles: según el modelo, los envoltorios se diferenciaron por apenas dos a cinco problemas resueltos, y repetir una misma configuración podía mover el recuento hasta en tres tareas. En ocasiones lideró mini-SWE-agent y en otras Claude Code, sin que surgiera un ganador estable a partir de esas muestras pequeñas.

Al comparar qué tareas resolvía cada ejecución, los investigadores encontraron una tasa mediana de cambio del 13% entre dos repeticiones de la misma configuración y también del 13% entre dos envoltorios distintos. Cambiar de modelo produjo un movimiento mayor, del 22%, una diferencia que apunta a que la elección del modelo influyó más que la del envoltorio en las tareas que el agente logró superar.

El tamaño de la muestra limita, además, la capacidad para identificar ventajas pequeñas. Con 45 tareas, incluso una brecha de 13 puntos aparece solo en la mitad de las ocasiones; con 447, las diferencias cercanas a cinco puntos se vuelven detectables con mayor fiabilidad, aunque la ventaja de 2,4 puntos citada por Zhipu AI sigue por debajo de esos umbrales.

OpenCode mostró un rezago y los costos dependieron del diseño

OpenCode fue la excepción más clara en el conjunto amplio: quedó entre dos y nueve puntos por debajo de Claude Code y mini-SWE-agent. Los autores atribuyeron alrededor de la mitad de esa brecha a un límite de salida: cuando el modelo lo alcanzaba en medio de su razonamiento, Claude Code podía pedirle que continuara, mientras que OpenCode detenía la ejecución y el intento solía fallar.

Agregar a OpenCode una instrucción para continuar, similar a la de Claude Code, no resolvió el problema, porque una misma tarea rara vez reproducía el desbordamiento en una nueva prueba. Para el resto de la diferencia, los investigadores no ofrecieron una explicación concluyente; sí observaron que los modelos tendían a detenerse antes bajo OpenCode y señalaron que, en modelos ejecutados localmente, su límite de tiempo era mucho más estrecho.

Los autores también registraron problemas específicos de configuración: mini-SWE-agent alcanzó el límite de contexto por no gestionarlo, principalmente en tareas en las que los otros envoltorios también fallaban. Además, las herramientas de búsqueda de OpenCode intentaron descargar un archivo binario durante su primer uso y no pudieron hacerlo cuando las pruebas se ejecutaron sin conexión.

El consumo de tokens dependió en buena medida de cuánto texto introducía cada envoltorio en cada paso, en especial las instrucciones de sistema y las descripciones de herramientas. Los investigadores calcularon unas 16.600 unidades de tokens para Claude Code, alrededor de 7.000 para OpenCode y menos de 1.000 para mini-SWE-agent; las respuestas de las herramientas, en cambio, fueron de tamaños parecidos.

Después de la primera llamada, el contexto creció a ritmos similares entre los tres sistemas, por lo que el tamaño inicial de las instrucciones y la cantidad de pasos definieron buena parte de la factura. El efecto económico dependió también del modelo: con GLM-5.3-Flash, una prueba en Claude Code costó 1,81 yuanes frente a 0,56 en OpenCode, mientras que con Deepseek-V4-Flash Claude Code y mini-SWE-agent terminaron con costos aproximadamente iguales.

El razonamiento y las limitaciones del estudio

El equipo también examinó qué ocurría al retirar herramientas de Claude Code para Claude Opus 5: los resultados fueron idénticos en esa comparación. Una versión de ese modelo de aproximadamente un año antes resolvió un número parecido de tareas por menos de la mitad del costo, según los autores, porque el pensamiento extendido no estaba activado por defecto en ese momento.

El razonamiento sí cambió algunos resultados, aunque su efecto dependió de la combinación entre modelo y envoltorio. Sin pensamiento, Qwen3.6 perdió once puntos con mini-SWE-agent, mientras Claude Code y OpenCode se mantuvieron dentro del ruido; HY4-Preview también cayó once puntos al ejecutarse sin pensamiento en Claude Code.

Los investigadores reconocieron que su matriz de pruebas era demasiado pequeña para explicar por qué algunos modelos dependían más del razonamiento que otros. El análisis se apoyó principalmente en SWE-bench Verified, aunque una comprobación más acotada en Terminal-Bench 2.1 mostró el mismo patrón general; Claude Opus 5, el modelo cerrado de mayor rendimiento incluido, solo se probó en Claude Code.

Antes de pasar a las ejecuciones sin conexión, los autores hicieron pruebas con acceso a la web y detectaron que el 71% de los intentos de los modelos Deepseek y Qwen obtenía la corrección directamente de GitHub, en vez de resolver la tarea por cuenta propia. Los modelos Claude casi nunca recurrieron a ese comportamiento; el equipo descartó esos resultados y retiró el acceso web del resto de las pruebas, sin afirmar que algún proveedor hubiera entrenado con los datos de evaluación.

En conjunto, el estudio pone en duda que las mejoras pequeñas anunciadas para un envoltorio sean evidencia suficiente de un avance real, sobre todo cuando no hay ejecuciones repetidas que permitan estimar el ruido. Liu y Han recomiendan publicar una repetición de la misma configuración junto a cada comparación, pues sus resultados muestran que una herramienta más compleja puede cambiar qué tareas se resuelven y elevar el costo sin aumentar de manera fiable la tasa de aprobación.