Home » Actualidad » El Excel de Reinhart y Rogoff. ¿Un problema de transparencia en el discurso académico (y/o económico)? (Borrador)

El Excel de Reinhart y Rogoff. ¿Un problema de transparencia en el discurso académico (y/o económico)? (Borrador)

excel

Fuente: Washington Post

1.- La distinción entre cronología y temporalidad

La Comisión Europea reconoció que se había servido del análisis de Reinhart y Rogoff (2010) en el que se afirmaba que unos niveles de deuda pública por encima del 90% del PIB tenían un impacto negativo en el crecimiento, aunque señalando que sólo había sido uno de los estudios utilizados (el artículo de Reinhart y Rogoff puede leerse en este enlace).

Thomas Herndon, Michael Ash y Robert Pollin publicaron un análisis el 15 de abril de 2013 (puede leerse en este enlace) en el que señalaban que el trabajo de Reinhart y Rogoff contenía “errores de codificado”, una “exclusión selectiva de datos disponibles”, y una “ponderación no convencional de estadísticas sumarias”, que llevaron a “graves errores que representan de manera imprecisa la relación entre la deuda pública y el crecimiento del PIB en 20 economías avanzadas en el periodo postguerra” (entre 1946 y 2009).

Por otra parte, afirmaban que la tasa media de crecimiento del PIB para países con un nivel de deuda superior al 90 % es realmente del 2,2 % durante el periodo analizado y no del -0,1 % como afirmaban en su estudio Reinhart y Rogoff.

Corregir el error de codificación varía el resultado en 0,3 puntos (gráfico revisado).

comparativa

Fuente: NYT

El 5 de mayo Reinhart y Rogoff publicaban un documento donde corregían sus errores (puede verse aquí), además de explicar la secuencia de su trabajo.

– En 2008, publican el primero de tres papers en la American Economic Review Papers and Proceedings.

– También señalan, por ejemplo, los problemas para encontrar datos fiables sobre España entre 1959 y 1980 y como consecuencia su exclusión.

El 26 de abril habían respondido en el NYT que “hemos compartido nuestros datos con cientos de investigadores y desde 2011 hemos publicado en línea la difícil reconstrucción histórica de la deuda con respecto al PIB a través de hojas de cálculo bien documentadas. El proyecto de publicar nuestro conjunto de datos relativos a las crisis financieras es una tarea de enormes proporciones. Fue la base para nuestro libro de 2009 (…) Así que simplemente estamos asombrados cuando los bloggers y comentaristas irresponsables dicen que no hemos compartido nuestros datos de la deuda. El acceso abierto a nuestros datos ha sido central en todo nuestro proyecto”.

En el artículo original señalaban que la base de datos incorporaba más de 3.700 observaciones anuales cubriendo un amplio rango de sistemas políticos, instituciones, regímenes de tipos de cambio y circunstancias históricas. Además agradecían a Olivier Jeanne (profesor de la Johns Hopkins y miembro durante 10 años del FMI) y Vincent R. Reinhart (miembro durante 6 años de la Reserva Federal).

Por su parte, Herndon, Ash y Pollin señalan en su análisis: “En su website Reinhart y Rogoff ofrecen acceso público a los datos históricos de los países para la deuda pública y el crecimiento del PIB en hojas de cálculo con la documentación completa de las fuentes. Sin embargo, en las hojas de cálculo no se incluyen orientaciones sobre las series exactas de datos, año, y los métodos utilizados”.

En este enlace al website de Reinhart y Rogoff se pueden encontrar las bases de datos por país y tema.

Errores de codificación. Transparencia en el proceso

Reinhart y Rogoff escribieron en el excel AVERAGE (L30:L44) en vez de AVERAGE (L30:L49) y dejaron fuera del análisis a Australia, Austria,Bélgica, Canadá y Dinamarca (su proximidad en el alfabeto ha hecho indicar que fue más una omisión involuntaria).

El material completo fue compartido con Herndon, Ash and Pollin cuando éstos intentaron replicar la investigación y no lo consiguieron.

Exclusión selectiva de datos disponibles (transparencia en los motivos)

Aunque existían datos de países de 110 años, utilizaron96 de estos años.

Por otra parte, excluyen los datos de Australia en periodo de postguerra (1946-1950), Nueva Zelanda (1946-1979) y Canadá (1946-1950). Los resultados de Nueva Zelanda parecen los más significativos puesto que Rogoff y Reinhart usan el dato de 1951, cuando la deuda pública en este país superó el 90% (como de 1946 a 1949) y el PIB bajó un 7,6%. Sin embargo, señalan Herndon, Ash y Pollin que entre 1946 y 1949 el PIB creció un 2,6%.

Reinhart y Rogoff afirmaron que aunque en ese momento no disponían de esos datos sobre Nueva Zelanda, desde que los obtuvieron los han incorporado a estudios posteriores.

Ponderación no convencional de estadísticas sumarias (transparencia en el proceso)

Se ha cuestionado la metodología empleada, la de dar el mismo peso a cada país. Aunque se podían haber empleado “técnicas estadísticas más sofisticadas”,  no lo hicieron. Herndon, Ash y Pollin señalan por ejemplo una valoración de país/años.

De esta forma, Reinhart y Rogoff decidieron hacer la media del crecimiento de todos los años en los que un país superaba el 90% de deuda, independientemente de que esta situación se diera en un país una vez o veinte veces en el periodo de tiempo analizado.

Problema de publicación de los datos utilizados (transparencia en los resultados).

Si no hay transparencia ni en los motivos ni en el proceso, en algún momento pueden aparecer dudas sobre los resultados.

1.- El estudio se publicó en un número especial de la American Economics Association que no tiene peer review (revisión de pares). Como señaló Jesús Fernández-Villaverde, catedrático de la Universidad de Pensilvania, en El País “la AER es muy estricta en sus normas de publicación. Además de una evaluación previa de los artículos, siempre obliga a hacer públicos los datos y el software que utilizas (…) Es un número (…) para plantear ideas provocadoras, aunque estén a medio desarrollar”.

 2.- El uso del Excel no parece ser el más utilizado por los académicos (En este artículo de Gonzalo Rivero pueden encontrarse algunas alternativas).

3.- Factores ideológicos.

Ambos estuvieron en el pasado vinculados al Fondo Monetario Internacional (FMI).

El marido de Carmen Reinhart es Vincent Reinhart es economista jefe para EEUU del banco de inversión Morgan Stanley.

4.- Problema de causalidad y casualidad

Reinhart y Rogoff señalan que tienen mucho cuidado en hablar de asociación y no de causalidad desde la publicación de su libro en 2009, This Time is different (en español Esta vez es distinto. Ocho años de necedad financiera)

Según Paul Krugman “el artículo se publicó justo después de que Grecia entrase en crisis y apelaba directamente al deseo de muchos funcionarios de virar del estímulo a la austeridad” (había tenido una disputa con Rogoff por la crítica que el premio Nobel hizo del FMI en su libro El malestar en la globalización, 2002).

5.- Problema de visibilidad versus influencia. Auctoritas versus autoridad

El estudio ha sido defendido por  Olli Rehn (comisario europeo de Asuntos Económicos y Monetarios), George Osborne (ministro del Tesoro británico) o Paul Ryan (congresista republicano que optó  a la vicepresidencia de EE UU).

Los autores habían adquirido gran credibilidad por el libro This Time is different del que Joaquín de Estefanía dirá en El País: “La historia económica es una de las ciencias sociales que más ha avanzado. A través de la evidencia empírica que proporciona (datos, series largas, interpretaciones fundadas…) es posible arriesgar, con mayores seguridades, qué puede suceder en el futuro, sin falsos determinismos”.

Como explica Miquel Roig, “De las siete Previsiones Económicas publicadas desde 2010, solo en una no se ha citado el estudio polémico de Reinhart y Rogoff, ni tampoco se ha usado el nivel de deuda pública del 90% del PIB como referencia”.

En este enlace se pueden encontrar citas del trabajo en los principales medios desde que fue publicado hasta febrero de 2011 (y que fueron recogidas por los autores).

Por su parte,Thomas Herndon es un estudiante de 28 años que está realizando su doctorado en Economía en la Universidad de Massachusetts y que buscó el apoyo de dos profesores para publicar su investigación.

 6.- Lenguaje

Las siglas con las que los tres autores firman el trabajo, HAP, tomada de la inicial de sus apellidos, ha inspirado ya una expresión entre los estudiantes: “To get happed”, que alguien te señale los errores.

Por su parte, Bradford DeLong (ex secretario adjunto del Tesoro de EE UU, profesor de Economía en la Universidad de California en Berkeley e investigador asociado en la Oficina Nacional de Investigaciones Económicas) señaló que “El principal error que cometieron Reinhart y Rogoff en su análisis —de hecho, el único error significativo—fue su uso de la palabra umbral”.

Reinhart y Roggof hablan de asociación frente a causalidad. La derivación hace que se utilice el término correlación.

7.- Problema de reversibilidad temporal y memoria multimedia

Hay estudios que, a medida que crece su importancia, son revisitados y necesitan reproducir el análisis desde el principio. Se trata de iniciadores de prácticas discursivas.

Cuestiones por resolver

1.  Un discurso que evoluciona y que se pierde porque no se acude a las fuentes originales. Relación entre autor y texto.

2.  Un discurso que evoluciona y se pierde porque nadie intenta emularlo desde el inicio. Relación entre desinformación voluntaria y falta de seguimiento por parte de medios y lectores de la historia.

3.   Problemas para manejar tal cantidad de datos por sólo dos personas

4.- Muchas veces hay más información en lo no dicho que en lo dicho. ¿Qué se puede sacar de esas bases de datos?

5.- Hipótesis del refuerzo. Tendencia a no ver errores cuando se van reforzando nuestras hipótesis previas.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s