Cómo detectar backtests falsos: guía práctica para escépticos

Casi todos los servicios de señales de cripto de pago publican un backtest. La mayoría de esos backtests son fraudulentos, a propósito o por accidente, de formas visibles para cualquiera que sepa dónde mirar. Esta es una guía práctica sobre los cinco trucos más comunes (sesgo de supervivencia, fills vectorizados, look-ahead, sobreajuste y cherry-picking de periodos) y cómo detectarlos en unos minutos de inspección.

Por qué esto importa

El sector de las señales de cripto es más o menos un 95% ruido y un 5% real. Ese 95% incluye estafas descaradas, aficionados honestos que son fraudulentos sin saberlo porque no entienden lo que hacen, y ex-traders que venden herramientas que funcionaron una vez y ya no. Ninguno de esos servicios es ilegal en la mayoría de jurisdicciones: se venden bajo la cobertura legal de descargos de "contenido educativo".

La asimetría económica es brutal. El vendedor no arriesga capital: cobra la suscripción pase lo que pase con el resultado. El comprador arriesga el 100% del capital, aplica las señales a tamaño y timing de minorista y se come las pérdidas reales. Todo servicio de señales de cripto que muestra un backtest positivo y una base de suscriptores creciente se beneficia de esta asimetría. El escepticismo no es opcional: es gestión de riesgo.

Lo que sigue es una checklist de los patrones de deshonestidad más comunes. Si un backtest los pasa todos, puede que sea real. Si falla en uno solo, casi con seguridad no vale nada.

1. Sesgo de supervivencia

El truco: la estrategia se backtestea sobre el universo de monedas que cotizan hoy , no el que existía en cada momento histórico. Las monedas deslistadas, retiradas del exchange o expulsadas por incumplir los términos quedan excluidas en silencio. Los perdedores literalmente no existen en los datos.

Es la forma más común de deshonestidad en los backtests falsos de cripto, en parte porque conseguir datos honestos es genuinamente difícil. La mayoría de las APIs de los exchanges no devuelven klines históricas de los símbolos deslistados. Construir un dataset libre de sesgo de supervivencia es un proyecto de ingeniería de semanas. La mayoría de los servicios de señales se lo saltan.

Cómo detectarlo:

• Pide al vendedor la lista de operaciones. Busca trades en monedas como FTM, USTC, ANC, MIR, LUNC, CWAR, AGIX (las que se deslistaron, rebautizaron o colapsaron en el periodo del backtest). Si la lista no contiene ninguna de estas, el dataset tiene sesgo de supervivencia.
• Revisa la frecuencia de señales a lo largo del tiempo. Los datasets reales tienen frecuencia no uniforme: periodos de mucha actividad, periodos de calma. Los datasets solo-supervivientes suelen verse raramente limpios durante años porque faltan los activos que fracasaron.
• Ojo con las promesas de "small-caps diversificadas". Las small-caps son justo donde el sesgo de supervivencia más distorsiona los resultados. Una estrategia centrada en small-caps sin ninguna moneda deslistada en su dataset es básicamente ciencia ficción.

Nota interna: nuestro propio track record tuvo este problema en una versión anterior. Reconstruimos el dataset para incluir más de 90 símbolos deslistados con sus klines previas al deslistado. El retorno reportado bajó de forma notable. Ese es el número honesto.

2. Fills vectorizados (sin dependencia de trayectoria)

El truco: el backtest calcula los retornos con matemática vectorizada (precio de entrada menos precio de salida) sin simular la trayectoria real del trade tick a tick. Esto significa que los stops y los targets nunca se ejecutan de forma realista; la matemática simplemente escoge el precio favorable dentro de la ventana del trade.

Mecánicamente: si una estrategia fija la entrada en $100, el target en $110 y el stop en $95, y el precio durante la ventana del trade va $100 → $94 → $111, un fill vectorizado registra la operación como salida en $111 (el precio final o el mejor), ignorando que el stop de $95 se habría ejecutado antes. Matemáticamente, un backtest vectorizado no puede perder.

Cómo detectarlo:

• Pregunta si el simulador es path-dependent (dependiente de la trayectoria) o vectorizado. Si el vendedor no conoce la diferencia, eso ya es la respuesta. Si dice "vectorizado", el backtest está probablemente inflado un 30-60% respecto a la realidad.
• Revisa la peor pérdida en una sola operación. Si la estrategia dice tener un stop-loss del -5% pero la lista de trades no muestra ninguna pérdida mayor de -4,5%, el simulador no modela de forma realista el slippage ni el riesgo de gaps. Los stops reales en cripto volátil suelen ejecutarse un 0,5-2% por debajo del nivel del stop.
• Compara el drawdown máximo con la tasa de acierto. Una estrategia con 65% de acierto y ratio riesgo:beneficio 1:1 debería tener drawdowns más o menos proporcionales a la peor racha perdedora en N operaciones. Si el max DD reportado es inverosímilmente pequeño (pongamos, 3-4% con más de 200 trades), la dependencia de trayectoria está rota.

Escribimos un análisis a fondo sobre la simulación path-dependent aparte, por si quieres el detalle de ingeniería.

3. Look-ahead bias / data snooping

El truco: el backtest usa información que no estaba disponible en el momento del trade. Las formas más comunes:

• Fuga de datos futuros: p. ej., la estrategia usa "el máximo del día" o "el cierre de la vela" como input de la señal, pero entra en la apertura de esa misma vela. La señal no puede existir antes de que el dato se realice.
• Datos revisados: algunos datos de funding rate o de open interest los revisan los exchanges horas después (correcciones, reconciliación tardía). Los backtests que usan la cifra final ya revisada tienen acceso a información que no era visible en el momento del trade.
• Índices compuestos: una estrategia usa un "precio índice BTC-USD" que es el precio ponderado por volumen entre exchanges. Si el índice se calcula de forma que incluye pesos de volumen realizados en el futuro, el indicador es parcialmente consciente del futuro.
• Supervivencia en las features: "filtramos a monedas con fundamentales estables": los fundamentales se evalúan a día de hoy. Una moneda pudo considerarse fundamentalmente débil en el momento del trade y verse hoy como estable en retrospectiva. El filtro codifica información futura.

Cómo detectarlo:

• Pregunta exactamente qué campos lee la estrategia en el momento de la señal. Si la respuesta menciona cualquier feature cuyo valor solo queda definido tras el cierre de la vela (cierre, máximo, mínimo, volumen, funding del periodo que contiene la señal), el look-ahead está en juego.
• Busca estrategias que ganan de forma consistente en periodos de gran cambio de régimen de mercado. Las estrategias reales tienen rendimiento dependiente del régimen. Las que muestran retornos sospechosamente estables en mercados bajistas, alcistas y laterales suelen tener fuga de look-ahead suavizando la curva.
• Pregunta si el backtest usa datos de streaming en vivo o klines históricas para las entradas. Los streams en vivo no pueden tener look-ahead; las klines históricas suelen contener valores revisados en silencio.

4. Sobreajuste de parámetros

El truco: la estrategia se optimizó sobre los mismos datos con los que reporta su rendimiento. Los parámetros están afinados para encajar con el ruido histórico y los resultados in-sample lucen genial. Fuera de muestra, el ruido es distinto y la estrategia falla.

La cantidad de sobreajuste es más o menos proporcional al número de parámetros por la granularidad de la búsqueda por la falta de validación fuera de muestra. Las estrategias de cripto suelen tener 5-10 parámetros, cada uno con 10-20 valores candidatos, optimizados por grid search sobre el mismo periodo que se reporta. Eso son de 10^7 a 10^10 combinaciones de parámetros probadas contra una sola muestra de la historia. La probabilidad de encontrar un conjunto falso-positivo es altísima.

Cómo detectarlo:

• Pide el split train/test. Un backtest real usa una parte de la historia (pongamos el 70%) para diseñar y afinar, y luego evalúa sobre el 30% reservado. Los números fuera de muestra serán visiblemente peores que los in-sample. Si el vendedor no tiene un número fuera de muestra, todo el backtest es in-sample y está sobreajustado.
• Pregunta cuántas combinaciones de parámetros se probaron. Si son más de 100, el problema de comparaciones múltiples ya es grave incluso con buena metodología. Si son más de 10.000, el resultado es esencialmente ruido, se mire como se mire.
• Pide resultados en vivo. Fuera de muestra es la prueba más simple posible: ¿siguió funcionando la estrategia después de que terminara el periodo del backtest? Un servicio de señales con tres meses de resultados en vivo que cuadran con su backtest es mucho más creíble que uno con cinco años de backtest y cero datos en vivo.

5. Cherry-picking de periodos

El truco: el periodo del backtest se elige para abarcar solo los momentos en que la estrategia funcionó. Los periodos de mal rendimiento se excluyen con distintas excusas: "el activo aún no era líquido", "el régimen era distinto", "cambiamos las reglas y la versión antigua no aplica".

Cómo detectarlo:

• Pide el rendimiento sobre toda la historia. Si la estrategia se diseñó en 2024, pregunta cuáles fueron sus retornos de 2020 a 2023. Si aparece la excusa "la estrategia no existía entonces", pregunta por una estrategia similar o por la lógica subyacente. Los edges reales generalizan en el tiempo; los edges de truco no.
• Ojo con las fechas de inicio raras. Los backtests que empiezan en noviembre de 2022 (tras el suelo de FTX) capturan solo la recuperación alcista. Los que empiezan en enero de 2024 capturan solo el rally alcista. La selección de periodo es el patrón de deshonestidad de aspecto más inocente.
• Pide un desglose año por año. Las estrategias con retorno positivo en todos los años son extremadamente raras y estadísticamente sospechosas. Las estrategias reales tienen al menos un año perdedor en cualquier ventana de 5 años.

Cómo son de verdad los buenos track records

Los backtests honestos de cripto comparten varias propiedades:

• Números más bajos que los de los fakes. Una estrategia real que busca exposición neutral al mercado rara vez produce más de 30-100% de APY. Una estrategia direccional real que busca alpha rara vez produce más de 50-200% de APY de forma consistente. Cualquier cosa que reclame 500%+ en periodos de varios años casi con seguridad esconde algo.
• Drawdowns visibles. Toda curva de equity honesta tiene drawdowns de al menos 10-25%. Las curvas suaves son banderas rojas.
• Periodos malos claramente revelados. "Tuvimos un drawdown del -18% en mayo de 2024 por el desarme de la liquidez en altcoins" es lo que quieres ver. "Ganancias estables en todas las condiciones de mercado" es ficción.
• Transparencia metodológica. Simulación path-dependent con supuestos explícitos de slippage y comisiones, dataset libre de sesgo de supervivencia, split train/test, comparación en vivo vs backtest. Si el vendedor puede describir todo esto en detalle, probablemente hizo el trabajo. Si lo despacha con vaguedades, no lo hizo.
• Evidencia en vivo. La señal más fuerte es un track record en vivo público que empezó antes de que se publicara el backtest. Si el rendimiento en vivo cuadra a grandes rasgos con el del backtest durante 6+ meses, la metodología probablemente es sólida. Si el rendimiento en vivo es notablemente peor, el backtest tenía un bug o un truco.

La checklist honesta para cualquier track record

Antes de suscribirte o hacer copy-trading de cualquier servicio, pregunta:

1. ¿El dataset está libre de sesgo de supervivencia? ¿Puedes señalar monedas deslistadas o fracasadas en la lista de operaciones?
2. ¿El simulador es path-dependent? ¿Se modelan los stops con slippage realista?
3. ¿Qué features se usan como inputs de la señal? ¿Alguna de ellas solo queda definida tras el cierre de la vela del trade?
4. ¿Cuál es el rendimiento in-sample vs fuera de muestra? ¿Cuántas combinaciones de parámetros se buscaron?
5. ¿Cuál es el desglose año por año? ¿Hay algún año perdedor? ¿Cuál fue el peor drawdown?
6. ¿Existe un track record en vivo, auditable por terceros, que empezara antes de publicarse el backtest?

Si el vendedor puede responder a las seis con honestidad, el track record probablemente es real. Si no puede responder a la mayoría, o se pone evasivo, el track record probablemente es falso.

Dónde te deja todo esto

Probablemente escéptico ante alrededor del 95% de las estrategias de cripto que se anuncian. Ese es el nivel de escepticismo correcto. La tasa base de "estrategia de cripto anunciada que de verdad funciona después de costes" está en el rango de un dígito bajo por ciento. La mayoría de las estrategias que funcionan no se anuncian en absoluto, porque las gestionan fondos o quants individuales que no necesitan ingresos por suscripción.

Los servicios de señales que sí son creíbles tienden a revelar sus defectos. Publican drawdowns. Explican qué no funcionó. Muestran comparaciones fuera de muestra incluso cuando esas comparaciones no les favorecen. La incomodidad honesta es la marca del trabajo real.

Si ya estás pagando por un servicio, pásale esta checklist. Si la mayoría de las casillas no se marcan, tu dinero está financiando ruido. Si estás considerando uno, pasa la checklist antes de suscribirte. La checklist lleva 10-15 minutos. El coste de saltártela es lo que pagues durante los próximos 6 meses.