Verifying the internal validity of a flagship RCT : a review of Crépon, Devoto, Duflo and Pariente : rebutting the rebuttal

4 : otherWe reply to CDDP's response to our replication of their published article in AEJ:AE. They reject most of the errors we documented in our replication paper. We provide a detailed answer to each objection they raise. We find that almost all of their rebuttals are driven by mistakes on their part. Once all these mistakes in CDDP's answer have been rectified, we find that all the coding, measurement and sampling errors documented in our replication still hold. All that remains then of the rejoinder is CDDP's argument that the issues we raised are not relevant because they do not substantially modify their impact estimates, and the use made by CDDP of additional sophisticated econometric tests to argue that their original results are robust. We disagree, as we find that correcting the rectifiable errors we identified does indeed show that the impact on assets and profits is not significant, and that the main results are to be found in increasing turnover from self-employment, which is trivial and generates very different conclusions to the original paper’s findings. CDDP also omit to mention that the core conclusion of our replication was that, irrespective of the revised impact estimations, these results must be considered as lacking validity due to the massive inconsistencies found in the data, the substantial imbalances at baseline, the flaws in the experiment’s integrity and the signs of probable contamination by other utility-related interventions. We are unable at this stage to assess the validity of the double post lasso procedure, the Benjamini-Hochberg False discovery rate correction of multiple testing, or the machine learning analysis put forward by CDDP, as they have not disclosed the related statistical scripts. Yet we fail to understand how even the most sophisticated methods could solve the "garbage in-garbage out" issue characteristic of this study. At this stage, we can only say that we have a very different notion of what underpins the internal validity of empirical research. We encourage CDDP to submit their answer to a peer-reviewed journal for a third-party appraisal of this debate

Verifying the internal validity of a flagship RCT : a review of Crépon, Devoto, Duflo and Pariente : rebutting the rebuttal

We reply to CDDP's response to our replication of their published article in AEJ:AE. They reject most of the errors we documented in our replication paper. We provide a detailed answer to each objection they raise. We find that almost all of their rebuttals are driven by mistakes on their part. Once all these mistakes in CDDP's answer have been rectified, we find that all the coding, measurement and sampling errors documented in our replication still hold. All that remains then of the rejoinder is CDDP's argument that the issues we raised are not relevant because they do not substantially modify their impact estimates, and the use made by CDDP of additional sophisticated econometric tests to argue that their original results are robust. We disagree, as we find that correcting the rectifiable errors we identified does indeed show that the impact on assets and profits is not significant, and that the main results are to be found in increasing turnover from self-employment, which is trivial and generates very different conclusions to the original paper’s findings. CDDP also omit to mention that the core conclusion of our replication was that, irrespective of the revised impact estimations, these results must be considered as lacking validity due to the massive inconsistencies found in the data, the substantial imbalances at baseline, the flaws in the experiment’s integrity and the signs of probable contamination by other utility-related interventions. We are unable at this stage to assess the validity of the double post lasso procedure, the Benjamini-Hochberg False discovery rate correction of multiple testing, or the machine learning analysis put forward by CDDP, as they have not disclosed the related statistical scripts. Yet we fail to understand how even the most sophisticated methods could solve the "garbage in-garbage out" issue characteristic of this study. At this stage, we can only say that we have a very different notion of what underpins the internal validity of empirical research. We encourage CDDP to submit their answer to a peer-reviewed journal for a third-party appraisal of this debate

Lies, damned lies, and RCT : une expérience J-PAL sur le microcrédit rural au Maroc

Comment expliquer le succès académique d'une étude randomisée dont la validité, tant interne qu'externe, est pourtant très problématique ? Prenant l'exemple d'une étude menée par le laboratoire J-PAL sur le microcrédit rural marocain, cet article mobilise les outils analytiques de la statistique, de l'économie politique et de la sociologie des sciences pour répondre à cette question. Il décrit l'ensemble de la chaîne de production de l'étude, depuis l'échantillonnage jusqu'à la publication et la dissémination des résultats, en passant par la collecte de données, la saisie et le recodage, les estimations et les interprétations. Il met en évidence une stratégie particulièrement offensive qui permet aux chercheurs de J-PAL de faire table rase du passé, y compris en s'affranchissant d'une "culture de la donnée", de refuser la critique et de contourner les règles de base de l'exercice scientifique tout au long du processus de recherche. Bien au-delà de J-PAL, nos analyses questionnent la supposée supériorité des méthodes randomisées tout en reflétant un malaise grandissant au sein du champ académique, qui parvient de moins en moins à faire respecter les règles de base de l'éthique et de la déontologie scientifique

La création monétaire, outil fondamental du convivialisme

International audienceLes enjeux monétaires demeurent trop peu discutés quand il s’agit de penser la transition vers une société plus conviviale. Cet article propose une discussion du rôle de la création de monnaie. Il défend l’idée que la rareté d’argent, qui est si souvent invoquée pour justifier des mesures néolibérales d’austérité, est une fiction politiquement construite. À l’opposé de cette fiction, la Modern Money Theory (MMT) offre aujourd’hui un cadre théorique et pratique solidement charpenté pour concevoir un système monétaire à la fois plus démocratique et libéré du « mythe du déficit public ». Non, une nation souveraine au plan monétaire n’a à se soumettre ni à la fiction du surendettement, ni aux sirènes de l’austérité, ni aux diktats des marchés financiers. Cependant, beaucoup de pays ne jouissent pas de la pleine souveraineté monétaire. Il faut également éviter que, dans les pays pleinement souverains, ne se développe un fétichisme de l’État. C’est pourquoi, dans cet article, une combinaison entre une émission de monnaie nationale inspirée par la MMT et l’émission de monnaies locales complémentaires est envisagée comme « optimum » collectif. De la sorte, un sentier serein vers la convivialité peut être imaginé, du moins au plan monétaire et financier

Le microcrédit au péril du néolibéralisme et de marchands d'illusions : manifeste pour une inclusion financière socialement responsable

S'appuyant sur des travaux de recherche empiriques menés dans des contextes variés, cet article aborde tout à tour les hypothèses qui sous-tendent le lien entre la microfinance et la réduction d'une pauvreté qui ne serait la conséquence que du manque d'accès au marché financier. L'article suggère finalement d'extraire la microfinance de l'idéologie néolibérale qui la transcende ainsi que de la force normative des discours qui la présentent comme le remède contre la pauvreté. (Résumé d'auteur