Hoe zou succes eruitzien?

President Trump ontsloeg de commissaris van het Bureau of Labor Statistics, Erika McEntarfer, nadat het banenrapport van juli een zeer geringe banengroei in het afgelopen kwartaal liet zien. Aanvankelijk beschuldigde de president haar ervan de cijfers te 'manipuleren' om hem in een kwaad daglicht te stellen . Recenter hebben leden van zijn regering geprobeerd de kritiek te beperken tot alleen die van substantiële herzieningen (een voorbeeld van zo'n representatief geval is de tweet van Casey Mulligan hier ).

Laten we de minder opruiende reden (onbetrouwbare cijfers over werkgelegenheid) als de echte motivatie nemen om hier een prikkelende vraag te stellen: Hoe zou een succesvolle verandering van het statistiekprogramma eruitzien?

Het zou niet zo zijn dat revisies zouden verdwijnen. Met statistieken zullen er altijd revisies zijn. Elk statistisch rapport is noodzakelijkerwijs gebaseerd op verschillende aannames. Uiteindelijk verzamelt u een steekproef die u gebruikt om, op basis van aannames en gestileerde feiten, beweringen te doen over de gehele populatie. Idealiter zou men de gehele populatie ondervragen, maar dat is te kostbaar, zowel qua geld als tijd. Daarom gebruikt men een (idealiter) representatieve steekproef van de populatie. Als die aannames en gestileerde feiten veranderen of niet langer bruikbaar zijn, moet het model worden herzien. Revisie zal op zijn beurt de resultaten veranderen van de beweringen die de steekproef kan ondersteunen. In zo'n geval is de aanwezigheid van herziene gegevens een teken van een verbetering van het model. Zonder revisies zal het model na verloop van tijd minder bruikbaar worden.

Hoe zit het met de omvang van de revisies? Dat is natuurlijk een punt van zorg. Als de revisies van het model vaak enorm schommelen, dan is het model fundamenteel gebrekkig. Maar econoom Jeremy Horpedahl van de University of Central Arkansas laat zien dat de revisies van de data van het BLS in de loop der tijd zijn afgenomen (zie ook deze blogpost van econoom Gary Wagner van de University of Louisiana). Daar is weinig ruimte voor verbetering.

De omvang en frequentie van revisies zijn afhankelijk van de steekproef en, nog belangrijker, van de respons van de steekproef. Een groot probleem met de BLS-gegevens in het algemeen is dat de responspercentages dalen . Dalende responspercentages betekenen dat er steeds grotere imputaties moeten worden gedaan met minder gegevens. Niet ideaal. Verbetering van de responspercentages zou een teken kunnen zijn van betere datakwaliteit.

We konden ook zien hoe de BLS-gegevens overeenkomen met andere bronnen. ADP, het payrollbedrijf, publiceert maandelijks een eigen enquête naar banen . Deze is niet helemaal identiek aan het BLS-rapport (zie hun FAQ onderaan voor verschillen), maar het is een handig hulpmiddel om te vergelijken. De herzieningen van de BLS-gegevens (en de herzieningen van ADP zelf) brengen de twee datasets inderdaad dichter bij elkaar. Na verloop van tijd verschillen de cijfers van het BLS over particuliere werkgelegenheid en die van ADP over particuliere werkgelegenheid, waarbij het ADP-rapport gemiddeld 1.000 banen lager ligt dan het BLS-rapport. Aangezien we het hebben over banengroei/-verlies in de tienduizenden, zo niet honderdduizenden, per maand, is zo'n discrepantie helemaal niet slecht.[1] Een kleinere discrepantie tussen de twee datasets zou een teken van verbetering zijn.

Verbeteringen in economische gegevens zijn een goede zaak. Maar elke verbetering zal een moeilijk proces zijn. Je moet heel, heel voorzichtig zijn met hoe je beoordeelt of een verandering een verbetering is.

— [1] Opmerking: Alle gegevens zijn gebaseerd op cijfers die niet zijn gecorrigeerd voor seizoensinvloeden. Omdat seizoensinvloeden afhankelijk zijn van de door elk agentschap gekozen modellen, biedt de NSA de beste vergelijking. Het gebruik van cijfers die wel zijn gecorrigeerd voor seizoensinvloeden verandert hier echter weinig aan. De discrepantie loopt op tot 5.000 werknemers per maand.