Cómo detectar un backtest de cripto falso: 7 señales de alarma

Un backtest es lo más fácil de falsear en finanzas, no mediante fraude, sino mediante autoengaño. No necesitas mentir sobre un solo número. Puedes correr una simulación honesta sobre datos reales, reportar el output con fidelidad y aun así producir un track record que es pura fantasía. El gráfico muestra +900% con una curva de equity suave; la estrategia pierde dinero en cuanto toca un exchange real. Abajo están las siete señales de alarma que separan un edge operable de un espejismo estadístico, y las preguntas exactas que destapan un track record fabricado en menos de un minuto.

Por qué los backtests mienten aunque nadie mienta

Una estrategia de trading tiene un puñado de parámetros libres: qué señal, con qué fuerza, cuánto aguantar, cuándo salir. Un dataset histórico tiene una cantidad fija de estructura genuina y repetible, y una cantidad mucho mayor de ruido que nunca se repetirá. Cuando buscas entre parámetros la combinación que produjo el mejor retorno histórico, estás, por construcción, ajustando a ese ruido. Cuantas más combinaciones pruebas, mejor luce tu mejor resultado, y menos parte de él es real.

Por eso un backtest puede ser a la vez honesto e inútil. Los números son outputs reales de un cálculo real. Solo que describen un patrón que existió una vez, por azar, y no volverá a existir. Detectar un track record falso consiste, sobre todo, en discernir si el número describe estructura o ruido.

Señal de alarma 1: sin costes de transacción (o irrealmente bajos)

Este es el fallo que más veces arruina un backtest. Una estrategia que rebalancea con frecuencia puede mostrar un retorno bruto precioso y ser profundamente negativa después de costes. En perpetuos de cripto, el coste realista de ida y vuelta en un par líquido es de en torno al 0,1% en comisiones más spread y slippage: pongamos 0,2-0,5% por ida y vuelta en cualquier cosa fuera de los nombres top, y peor en small-caps.

La prueba: pregunta qué fricción se asumió por operación y luego cómo cambia el resultado al doblar esa fricción. Un edge real se degrada con elegancia: puede pasar de +40% a +25%. Un espejismo se hunde: pasa de +28% a −51% a −81% a medida que subes la fricción. Hemos descartado varias señales internamente prometedoras justo con esta prueba: el edge bruto por rebalanceo era menor que el coste de ejecutarlo, lo que significa que solo un market-maker que cobra el spread podría cosecharlo, no un taker que lo paga.

Señal de alarma 2: un Sharpe demasiado bueno

El ratio de Sharpe mide el retorno por unidad de volatilidad. El Sharpe de por vida de Warren Buffett ronda 0,8. Los mejores fondos quant del mundo sostienen Sharpes de 2-3. Si un backtest de cripto reclama un Sharpe de 8, 10 o 13, no es un descubrimiento: es una luz de alarma.

Los Sharpes extremadamente altos casi siempre vienen de uno de dos artefactos: una frecuencia de rebalanceo muy alta (que infla el número anualizado antes de restar costes) o look-ahead bias filtrando información futura en la entrada. Cuando veas un Sharpe por encima de ~4 en una estrategia accesible al minorista, asume que es un error de medición hasta que se demuestre lo contrario. La reacción honesta ante un Sharpe de 13 no es emoción: es "¿qué hice mal?".

Señal de alarma 3: look-ahead bias y campos contaminados

El look-ahead bias significa que el backtest usó información que no habría estado disponible en el momento del trade simulado. Es insidioso porque suele ser invisible en el código. Una columna del dataset etiquetada como "precio máximo en las próximas 4 horas" está bien para medir resultados, pero si tu lógica de entrada referencia por accidente la ventana que incluye el movimiento que intentas predecir, todos los trades parecen ganadores.

Cazamos exactamente esto en nuestra propia investigación de recuperación tras caídas: un campo precalculado de "máxima excursión favorable" se medía desde una ventana que empezaba antes del punto de entrada, así que estaba contaminado en el 100% de los eventos. La versión fabricada de la estrategia mostraba un 81% de acierto; el re-test honesto, volviendo a descargar velas reales desde el punto de entrada en adelante, mostró un 53%. Misma estrategia, mismos datos, un solo bug, y una casi duplicación del edge aparente. Si un track record no puede decirte con precisión qué se sabía en la entrada frente a qué se midió después, trátalo como contaminado.

Señal de alarma 4: ventanas solapadas y un único periodo afortunado

Si una estrategia se testea deslizando una ventana hacia delante de hora en hora y contando cada una como un resultado independiente, el "tamaño de muestra" es falso. Las ventanas adyacentes comparten casi todos sus datos, así que mil observaciones solapadas pueden contener solo unas pocas docenas genuinamente independientes. Una estrategia que parece estadísticamente a prueba de balas sobre ventanas solapadas a menudo se desmorona en cuanto la re-testeas sobre periodos estrictos y no solapados.

La trampa relacionada es el único periodo afortunado. Una estrategia que ganó todo su retorno en una ventana de tres semanas en un solo régimen de mercado no ha sido validada: ha sido curva-ajustada a un momento. Pide ver la curva de equity partida en tercios. Si dos de los tres tercios son planos o negativos y uno es un cohete, el cohete es el régimen, no el edge.

Señal de alarma 5: sin test out-of-sample ni walk-forward

La validación creíble mínima es un split train/test: afinas la estrategia sobre una porción de la historia y luego la testeas, intacta, sobre una porción que nunca vio. Una estrategia que es rentable in-sample y se desmorona fuera de muestra está sobreajustada, punto. Un edge real sobrevive al holdout.

Walk-forward es la versión más fuerte: afinas sobre el pasado, testeas sobre el futuro inmediato y ruedas hacia delante, una y otra vez. Imita cómo se habría desplegado la estrategia de verdad. Si un track record se produjo optimizando sobre la totalidad de la historia de golpe y sin holdout, no te dice nada sobre el rendimiento futuro: solo te dice que el autor encontró los parámetros que mejor encajan con el pasado.

Señal de alarma 6: supervivencia y selección en el universo

Si un backtest solo opera monedas que aún existen hoy, ha excluido en silencio todo proyecto que se deslistó, colapsó o fue a cero. En cripto, donde la tasa de fracaso de los tokens es enorme, este sesgo de supervivencia favorece sistemáticamente a cualquier estrategia con sesgo largo. Los perdedores fueron borrados del dataset antes de que corriera el test.

La imagen especular es la selección de universo: testear sobre los 1.000 pares más líquidos hace plausibles los supuestos de fricción; testear sobre micro-caps ilíquidas hace que los retornos parezcan enormes mientras oculta que nunca habrías podido llenar las órdenes. Un track record creíble declara su universo de forma explícita y testea sobre instrumentos que de verdad habrías podido operar al tamaño que reclama.

Señal de alarma 7: faltan los intervalos de confianza por bootstrap

Una única estimación puntual ("+113% en 90 días") no te dice nada sobre la incertidumbre. Remuestrea la secuencia de operaciones miles de veces (un bootstrap) y obtienes una distribución: puede que la estrategia sea positiva en el 96% de los remuestreos, o quizá solo en el 60%. Un track record que cita un único número y ningún intervalo de confianza esconde su propia fragilidad. La versión honesta dice "+36% mediano, pero la probabilidad bootstrap de un resultado positivo es del 96%, con un intervalo amplio", y te deja juzgar.

El test de 30 segundos

No siempre podrás auditar el código de alguien. Pero puedes hacer cinco preguntas, y las respuestas (o la incomodidad que provocan) te dicen casi todo:

1. ¿Qué fricción asumiste y qué pasa al doblarla?
2. ¿Cuál es el resultado fuera de muestra, sobre datos que la estrategia nunca vio durante el afinado?
3. Enséñame la curva de equity en tercios: ¿el retorno está repartido por todo el periodo o concentrado en una ventana?
4. ¿Cuál era el universo, e incluye monedas que desde entonces se han deslistado?
5. ¿Cuál es la probabilidad bootstrap de que el resultado sea positivo, no solo el número de titular?

Un operador con un edge real responde a esto de inmediato y sin que se lo pidan, porque ya se ha hecho a sí mismo las mismas preguntas y ha descartado las versiones que fallaron. Un operador que vende un espejismo se pone a la defensiva, cambia de tema o repite el número de titular más alto. Las preguntas son las mismas tanto si evalúas un servicio de señales, un fondo o tu propia investigación.

Por qué publicamos la versión honesta

La mayor parte de nuestra investigación interna se descarta. Hemos corrido cientos de configuraciones de factores y visto colapsar a los candidatos más atractivos bajo la fricción, la corrección del look-ahead y los re-tests no solapados. Eso no es un fallo del proceso: eso es el proceso. El puñado de estrategias que sobreviven a todas y cada una de estas pruebas son las únicas detrás de las que ponemos capital real, y las únicas que reciben nuestros miembros. Nuestro track record de mercados de predicción y nuestras señales de trading se reportan con la misma disciplina que usamos para descartar nuestras propias ideas: fricción honesta, validación fuera de muestra e intervalos de confianza en lugar de números de titular.

Si quieres señales de un desk que trata sus propios backtests como culpables hasta que se demuestre lo contrario, y que te avisa cuando un resultado es incierto en vez de disfrazarlo, consigue acceso aquí. Un track record solo vale lo que sobrevive a las siete preguntas de arriba.

← Volver a todos los posts · Cursos gratis por email · IA para mercados de predicción