:: 5/2019

Ist Aktualität wichtiger als Genauigkeit?

Dieser Beitrag befasst sich mit der Frage, ob die Termineinhaltung bei der Veröffentlichung von Statistiken wichtiger als die Qualität der Ergebnisse ist und arbeitet das Thema in einem etwas größerem Zusammenhang auf:

Untersucht wird das Spannungsverhältnis zwischen Pünktlichkeit (bis hin zu Aktualität1) und Genauigkeit2. Schwerpunkte der Analyse bilden folgende Fragestellungen:

  • 1. Wo begegnen uns diese und sinnverwandte Begriffe? Was bedeuten sie?
  • 2. Wie ist es um das Verhältnis zwischen der Genauigkeit und der möglichst hohen Aktualität einer Statistik bestellt?
  • 3. Gibt es Ansätze, das Spannungsverhältnis zwischen Aktualität und Genauigkeit zu lösen?
  • 4. Gibt es eine Richtschnur im Verbund der Statistischen Ämter des Bundes und der Länder (Statistischer Verbund)?

Die einzelnen Abschnitte können alleine für sich gelesen werden. Für eilige Leserinnen und Leser ist an den Schluss des Aufsatzes ein knappes Fazit angehängt.

Wo begegnen uns diese und sinnverwandte Begriffe? Was bedeuten sie?

Der Begriff »Qualität« begegnet uns in nahezu allen Institutionen und Unternehmen, auch in der amtlichen Statistik. Er stammt aus dem Lateinischen »qualis« = »wie beschaffen«. Er bezeichnet also zunächst wertneutral die Summe aller Eigenschaften eines Objektes. Üblicherweise liegt aber eine Wertung darin. Qualität bezeichnet also die Güte der Gesamtheit aller Eigenschaften eines Objektes. Der Gegenbegriff zur Qualität ist die »Quantität« (wie viel?), mit der wir es in der Statistik zumeist zu tun haben. Das Gabler Wirtschaftslexikon definiert Qualität als »Übereinstimmung von Leistungen mit Ansprüchen. Ansprüche stellen Kundinnen und Kunden, Verwenderinnen und Verwender (Konsumentinnen und Konsumenten/Produzentinnen und Produzenten), Händlerinnen und Händler und Herstellerinnen und Hersteller«. Im Qualitätsmanagement der amtlichen Statistik ist »Qualität« eines der Hauptschlüsselwörter und steht für die Gesamtheit an Leitlinien und Maßnahmen aus unterschiedlichen Perspektiven, die einem Ziel, nämlich der »Sicherung des Vertrauens in die Arbeit der statistischen Ämter« dienen.

Der Qualität statistischer Daten wird schon immer eine große Bedeutung beigemessen. Eine systematische Beleuchtung in seinen unterschiedlichen Facetten erfährt der Begriff »Qualität« jedoch erst seit der Formulierung des Verhaltenskodex für europäische Statistiken (Code of Practice, kurz CoP3) im Jahr 2011. Der CoP konsolidiert in systematischer Form die Hauptleitlinien der Qualität – aktuell umfasst er 16 Qualitätsgrundsätze. Nicht alle Grundsätze gehen Hand in Hand, teilweise konkurrieren sie scheinbar miteinander. Der Kontext der Fragestellung deutet eine Zielrivalität zwischen den Leitlinien »Genauigkeit/Zuverlässigkeit« und »Aktualität/Pünktlichkeit« an. Beide Leitlinien sind Teile der Qualität: Der Grundsatz 12 des CoP erhebt den Anspruch, dass die amtliche Statistik die realen Verhältnisse genau und zuverlässig widerspiegelt. Der Grundsatz 13 formuliert den Anspruch der Aktualität einer Statistik und fordert deren termingetreue Veröffentlichung.

Wie ist es um das Verhältnis zwischen der Genauigkeit und der Sicherstellung einer möglichst hohen Aktualität einer Statistik bestellt?

Das Spannungsverhältnis zwischen den Anforderungen an die Aktualität einerseits, an die Genauigkeit andererseits ist nicht etwas, was nur der amtlichen Statistik eigen ist. Diesem Grundproblem sind alle Institutionen ausgesetzt, die sich mit der Beschaffung, Analyse und Verbreitung von Informationen befassen. Jeder Wetterbericht, jede Tageszeitung steht vor demselben Problem. Neu ist die Tatsache, dass die Forderung der Nutzerinnen und Nutzer nach einer immer frühzeitigeren Verfügbarkeit der Daten (am besten: Datenlieferung in Echtzeit) bis hin zur Veröffentlichung von vorläufigen Zahlen und Prognosewerten zunehmend häufiger und offensiver geäußert wird. Diese Stimmen der Nutzerinnen und Nutzer nimmt die amtliche Statistik als Informationsdienstleister ernst (siehe CoP Grundsatz 11 Relevanz).

Allgemein gilt: Aktuelle Daten sind wertlos, wenn sie falsch sind, aber auch genaue Daten sind wertlos, wenn sie zu spät vorliegen.

Gibt es Ansätze, das Spannungsverhältnis zwischen Aktualität und Genauigkeit zu lösen?

Eine Universallösung gibt es leider nicht. Die 100 %-Erfüllung jedes einzelnen Qualitätsleitgedankens ist wünschenswert. Es erscheint aber unrealistisch, die beiden Grundsätze gleichzeitig in aller Vollständigkeit für alle Statistiken schablonenhaft zu erfüllen. Je nach Statistik kann der Zielkonflikt mal stärker mal schwächer ausgeprägt sein, weil er sehr stark vom Bedarf der Nutzerinnen und Nutzer sowie den zugrundeliegenden Prozessen und Abhängigkeiten zum Beispiel gesetzlicher und finanzieller Art determiniert ist. Es handelt sich letztendlich um ein sogenanntes Optimierungsproblem, das durch die Fachbereiche der Statistischen Ämter des Bundes und der Länder im Zusammenspiel mit den Hauptnutzerinnen und -nutzern und ihren Erkenntnisinteressen gelöst werden muss. Dabei müssen weitere Grundsätze der Qualität, wie zum Beispiel Wirtschaftlichkeit und angemessene Belastung der Auskunftgebenden, berücksichtigt werden. Die amtliche Statistik bedient mannigfaltige Interessen und hat deshalb ein vielseitiges Produktportfolio. Das Rivalitätsproblem zwischen Aktualität und Genauigkeit aufzulösen, ist daher eine Herausforderung. Es gibt aber schon folgende Lösungsansätze:

Fachstatistikerinnen und Fachstatistiker nehmen in Orientierung an den Nutzerbedarf eine Priorisierung der beiden Kriterien vor: Bei den monatlichen Konjunkturstatistiken, wie zum Beispiel dem Verbraucherpreisindex (Bestimmung der Inflationsrate) oder dem Auftragseingangsindex, wird dem Anspruch an die Aktualität und Termintreue ein höheres Gewicht beigemessen als an den der Genauigkeit der Daten.4 Umgekehrt wird für die Strukturstatistiken, wie zum Beispiel die Bevölkerungsstatistik, die Verdienststrukturerhebung oder die Jahresrechnungsstatistik, die Genauigkeit der Ergebnisse wichtiger sein als eine schnelle, aber ungenauere Ergebnisbereitstellung. Je nach Erhebung findet eine Abwägung zwischen Genauigkeitsverlusten und Aktualitätsgewinnen und umgekehrt statt.

Für die Qualitätskriterien werden statistik-individuell Mindestanforderungen und Zielwertkorridore festgelegt:

  • Welche Fehlerwahrscheinlichkeit (Genauigkeitsverlust) kann noch als vertretbar angesehen werden?
  • Wo liegt die statistisch akzeptierte Antwortausfallquote, Imputations- und Schätzquote insgesamt bzw. für die Kernmerkmale?
  • Wann werden die Ergebnisse von den Hauptnutzerinnen und -nutzern spätestens benötigt?
  • Wann können die Ergebnisse frühestmöglich bereitgestellt werden?
  • Ist es aus eventuell übergeordneten Gründen nützlich, vorläufige Ergebnisse von akzeptabler Gesamtgenauigkeit zu veröffentlichen?
  • Wie soll das Erhebungsdesign aussehen?

Die sogenannten Qualitätsdatenblätter im Verbund5 sowie der Erfahrungsaustausch mit den Nutzerinnen und Nutzern statistischer Daten auf regionaler, nationaler und internationaler Ebene dienen als Kompass.

In den neuesten Untersuchungen werden Datenqualität und Prozessqualität als untrennbare und gleichermaßen bestimmende Elemente für den Erfolg einer Institution angesehen. Im statistischen Verbund wird verstärkt geprüft, ob Aktualitätsgewinne infolge der Optimierung der Statistikproduktion und -verbreitung erzielt werden können, und der Frage nachgegangen, ob das Potenzial der Informations- und Kommunikationstechnologie optimal ausgeschöpft ist.

Gibt es eine Richtschnur im Statistischen Verbund?

Im Statistischen Verbund wurde im März 2018 eine sogenannte Aktualitätsoffensive gestartet: Die Referentenbesprechungen der Statistischen Ämter des Bundes und der Länder wurden gebeten, weitere Anstrengungen zu unternehmen, um eine Verbesserung der Aktualität der Statistiken zu erreichen. Anforderungen an die Genauigkeit sollen dabei angemessen berücksichtigt werden. Es soll eine Ist-Analyse über mögliche Hindernisse (zeitaufwändige Arbeitsschritte) durchgeführt und – falls möglich – die Aktualität verbessernde Maßnahmen vorgeschlagen werden. Diese können insbesondere liegen in der …

  • Optimierung der Prozesse (zum Beispiel maschinelle Geheimhaltung),
  • Standardisierung der Prozesse (zum Beispiel verstärkter Einsatz von IDEV, Einführung eines zentralen Eingangskontrollsystems),
  • Automatisierung der Prozesse (zum Beispiel automatisierte Plausibilitätsprüfung, maschinelles Lernen),
  • Änderung der Veröffentlichungspraxis (zum Beispiel Schätzungen, Veröffentlichung nur der bloßen Daten im Internet ohne textliche Kommentierung),
  • Vorverlegung der (Plan-)Termine.

Fazit

Ist Aktualität wichtiger als Genauigkeit? Es kommt darauf an. Der Anspruch der amtlichen Statistik ist, kein Qualitätskriterium gänzlich zu vernachlässigen: Beide Kriterien sind wichtige Teile der Qualität und für alle Institutionen, die sich mit der Beschaffung, Analyse und Verbreitung von Informationen befassen, unabdingbar. Auch von einer Tageszeitung erwarten wir, dass ihre Informationen aktuell sind, und dass sie stimmen.

Zu Recht wird von der amtlichen Statistik erwartet, dass sie qualitativ hochwertige, stimmige Daten aktuell bereitstellt. »Schnell und schlecht« kommt genauso wenig in Betracht wie »super genau, aber viel zu spät«. Ob Genauigkeit oder Aktualität besonders im Vordergrund steht, und wie das Spannungsverhältnis bestmöglich zu lösen ist, muss für jede Erhebung überlegt und entschieden werden: Dabei sind Prioritäten, Mindestanforderungen und Zielwertkorridore festzulegen, aktuelle Bedürfnisse der Nutzerinnen und Nutzer sowie finanzielle Möglichkeiten zu berücksichtigen.

Dabei erscheint folgender Gedanke nützlich: Nur wer Datenqualität und Prozessqualität gleichermaßen im Blick hat, hat in einer digitalisierten Welt gute Zukunftsaussichten und Überlebenschancen. Zu diesem Ergebnis kommt zum Beispiel das Forschungsprojekt »World Management Survey«, das Führungspraktiken in über 12 000 Unternehmen aus 34 Ländern analysiert und folgende Erkenntnis zieht: »Gut geführte Unternehmen sind profitabler, wachsen schneller und haben bessere Überlebenschancen«.

In einer Welt, die sich in einigen Bereichen inzwischen durch viele Datenanbieter mit gutem Renommee auszeichnet, erscheint es sinnvoll, bestehende Statistikabläufe kritisch zu hinterfragen und zu optimieren.

Mittel sind zum Beispiel die Änderung des Erhebungsdesigns, die Nutzung von Registern und neuer digitaler Daten, der Einsatz von maschinellem Lernen bei der Prüfung der Plausibilität etc. (siehe Ausführungen zur Aktualitätsoffensive im Abschnitt 4). Dies geschieht nicht zuletzt, um das stärker werdende Bedürfnis nach schnellverfügbaren und gleichwohl stimmigen Informationen zu bedienen.

Ein systematisches lösungsorientiertes Befassen mit scheinbar rivalisierenden Qualitäts­aspekten kann für die amtliche Statistik nachhaltige Wettbewerbsvorteile sichern.

1 Entsprechend der Anforderungen des Europäischen Statistischen Systems (ESS) wird Aktualität von statistischen Produkten im Allgemeinen als »die Zeitdauer zwischen dem Ende des Ereignisses bzw. der Phänomene, die das Produkt beschreibt, und der Verfügbarkeit der Daten« definiert. Dabei wird unterschieden zwischen der Zeitspanne zwischen Referenzzeitraum und vorläufiger Veröffentlichung einerseits und der Zeitspanne zwischen Referenzzeitraum und endgültiger Veröffentlichung andererseits.

2 Stellvertretend für die Zielrivalität zwischen dem Grundsatz 13 und 12 des Code of Practice, siehe Abschnitt 1.

3 Die Amtsleitungen der Statistischen Ämter des Bundes und der Länder erklärten in ihrem Selbstverständnis den CoP für ihre Arbeit als richtungweisend. Er ist im LSN-Internetangebot unter www.statistik.niedersachsen.de > Über Statistik > Qualität abrufbar (Abruf: 18.04.2019).

4 Zum Spannungsverhältnis zwischen Aktualität und Genauigkeit in den regionalen Volkswirtschaftlichen Gesamtrechnungen siehe auch: Thalheimer, Frank: »Im Spannungsfeld zwischen Aktualität und Genauigkeit«, in: »Statistisches Monatsheft Baden-Württemberg 10/2008«, S. 15 ff.

5 Nähere Informationen erhalten Sie im LSN-Internetangebot unter www.statistik.niedersachsen.de > Über Statistik > Qualität (Abruf: 18.04.2019).

Die Erstveröffentlichung dieses Beitrags erfolgte in: Statistische Monatshefte Niedersachsen, Heft 11/2018, Landesamt für Statistik Niedersachsen.

Wir danken Frau Tanja Eichhorn für die freundliche Genehmigung zum Nachdruck in redaktionell leicht modifizierter Form.