:: 10/2018

»Wir bleiben nicht gut, wenn wir nicht immer besser zu werden trachten« (Gottfried Keller)

Qualitätsmanagement in der amtlichen Statistik

Gemäß dem Grundsatz 4 des Verhaltenskodex für europäische Statistiken1 (Code of Practice, kurz CoP) sind »… die statistischen Stellen zur Qualität verpflichtet. Sie ermitteln systematisch und regelmäßig Stärken und Schwächen mit dem Ziel der kontinuierlichen Verbesserung der Prozess- und Produktqualität.« In dem zugehörigen Indikatorenset werden die Erfordernisse an die Qualitätspolitik der amtlichen Statistik formuliert und damit die Notwendigkeit, ein Qualitätsmanagement zu pflegen und Verfahren zur Planung und regelmäßigen Überwachung der Qualität der amtlichen Stellen zu implementieren.

Dieser Beitrag soll Einblicke in das Vorgehen der amtlichen Statistik gewähren, diesen hohen Ansprüchen adäquat Rechnung zu tragen. Sämtliche in diesem Beitrag zitierten Dokumente sind öffentlich und unentgeltlich zugänglich.

Neue Herausforderungen

In Zeiten von »fake news« und »alternativen Fakten« werden die Produkte der amtlichen Statistik immer wichtiger für die Demokratie. Die Anforderungen an die amtliche Statistik wachsen und unterliegen national und international einem tiefgreifendem Wandel:

Die statistischen Informationen sollen qualitativ hochwertig, belastbar, EU-weit vergleichbar sein, digital, in immer kürzeren zeitlichen Abständen, aktueller, passgenauer, nach Möglichkeit georeferenziert und stärker nach raum- und siedlungsstrukturellen Merkmalen differenziert vorliegen.

Das statistische Angebot soll ein breites Spektrum an teilweise divergierenden Wünschen der Nutzerinnen und Nutzer abdecken – angefangen von der Kurzinformation auf dem Smartphone oder Tablet, über ein flexibles interaktives Angebot im Internet bis hin zum umfassenden Datenangebot für Wissenschaft, Forschung einerseits, den Medien andererseits.

Zudem sollen die Lücken im Statistischen Programm geschlossen und neue Datenbedürfnisse befriedigt werden (zum Beispiel durch jährliche Berechnung des Gender Pay Gap, Betriebs-/Beschäftigtenpanel).

Die Anforderungen sind also mannigfaltig, und teilweise stehen sie zueinander in Konkurrenz, wie zum Beispiel zuverlässige, genaue Daten versus schnelle Verfügbarkeit (bis hin zu Daten in Echtzeit). Dennoch müssen auch konkurrierende Bedarfe befriedigt werden:

Aktuelle Daten nützen nichts, wenn sie falsch sind, aber auch richtige Daten nützen nichts, wenn sie zu spät vorliegen.

Zudem sind die personellen und finanziellen Ressourcen begrenzt und dem berechtigten Wunsch nach Reduktion von übermäßiger Belastung der Auskunftgebenden muss ebenfalls soweit wie möglich entsprochen werden.

Systematisches Qualitätsmanagement als Reaktion auf den Wandel

Die Statistischen Ämter des Bundes und der Länder reagierten auf den Wandel und auf die gestiegenen Anforderungen: Sie entwickeln in gemeinsamer Arbeit und unter Berücksichtigung der Interessen Dritter ganzheitliche Konzepte im Rahmen des statistikübergreifenden Qualitätsmanagements. Einige davon sind in Vorbereitung, einige werden – wie weiter unten ausgeführt – bereits implementiert. In ihrer Gesamtheit tragen diese Ansätze dazu bei, die amtliche Statistik nutzerorientiert weiterzuentwickeln, und das Wort »amtlich« als herausragendes Gütesiegel zu sichern. Mit dem Wort »amtlich« werden Begriffe wie objektiv, unabhängig und qualitativ hochwertig assoziiert.

Die amtliche Statistik legt auf die Gewährleistung einer hohen Qualität ihrer Arbeit besonderen Wert. Dabei verfolgt sie einen umfassenden Qualitätsansatz, der sich nicht nur auf die Güte der von ihr bereitgestellten statistischen Informationen bezieht, sondern unter anderem auch auf den institutionellen Rahmen (fachliche Unabhängigkeit), die Qualität ihrer internen Prozesse, den Datenschutz und auf die möglichst geringe Belastung von Berichtspflichtigen. Der Begriff »Qualität« hat daher viele Facetten und steht in diesem Beitrag stellvertretend für die Gesamtheit der im Code of Practice (CoP) dargelegten Qualitätsgrundsätze.

Der Kodex wird regelmäßig evaluiert und falls nötig angepasst, zuletzt im November 2017. Er legt den Qualitätsrahmen fest, der aktuell 16 Leitlinien zur Qualitätssicherung (Grundsätze 1,1a bis 6 betreffen den institutionellen Rahmen, 7 bis 10 die statistischen Prozesse und 11 bis 15 die statistischen Produkte) mit über 80 Indikatoren2 umfasst. Wesentliche Änderungen gegenüber der Fassung vom September 2011 sind:

Der Grundsatz »Koordinierung und Zusammenarbeit« wurde als neuer Grundsatz 1a aufgenommen. Dort heißt es: »Die nationalen statistischen Ämter und Eurostat gewährleisten die Koordinierung aller Aktivitäten für die Entwicklung, Erstellung und Verbreitung europäischer Statistiken auf der Ebene des nationalen statistischen Systems bzw. des Europäischen Statistischen Systems. Die statistischen Stellen kooperieren aktiv innerhalb der Partnerschaft des Europäischen Statistischen Systems, um so die Entwicklung, Erstellung und Verbreitung europäischer Statistiken zu gewährleisten. (Arbeitsübersetzung)«

Die von allen Amtsleitungen der Mitgliedstaaten des Europäischen Statistischen Systems (ESS) im Jahr 2017 unterzeichnete Qualitätserklärung3 ist integraler Bestandteil des Verhaltenskodex. In dieser Qualitätserklärung bekräftigen sie, dass die Grundwerte des CoP den Geist und Inhalt ihrer Arbeit bestimmen4.

Die im CoP bzw. im Artikel 12 der revidierten EU-Statistikverordnung 223/2009 aus dem Jahr 20155 verankerten Qualitätskriterien sind für die Arbeit der Statistischen Ämter des Bundes und der Länder richtungweisend:

Statistische Informationen und Produkte werden unter Wahrung der wissenschaftlichen Unabhängigkeit, Neutralität und Objektivität entwickelt, erstellt und verbreitet.

Die statistischen Ergebnisse sollen aktuell, in sich kohärent und regional und zeitlich vergleichbar sein.

Sie sollen für alle zugänglich, klar präsentiert, pünktlich und unverzüglich veröffentlicht werden.

Die angewandten statistischen Methoden sollen solide und transparent sein.

Die Informationsangebote und Serviceleistungen sollen sich an Bedürfnissen der Nutzerinnen und Nutzer sowie Entwicklungen und den Belangen der Auskunftgebenden orientieren.

Das Statistikgeheimnis und die Sicherheit der der amtlichen Statistik überlassenen Einzeldaten6 sollen gewahrt werden, um das Vertrauen der Eigner von Daten zu bewahren und zu stärken.

Um dem CoP im Rahmen der Statistikdurchführung nach außen wie nach innen das erforderliche Gewicht zu verleihen, bekannten sich im Jahr 2015 die Leiterinnen und Leiter der Statistischen Ämter des Bundes und der Länder zum Verhaltenskodex und seinen Werten und hielten dies in ihrem Selbstverständnis7 fest.

Rolle der Qualitätsbeauftragten

Die Umsetzung der übergreifenden Qualitätsvorgaben des CoP in den einzelnen statistischen Ämtern wird von den Qualitätsbeauftragten begleitet und vorangetrieben. Sie unterstützen die Fachdezernate in der Erfüllung der für sie relevanten Qualitätsnormen.

Im Verbund der Statistischen Ämter des Bundes und der Länder kommt dem Arbeitskreis »Qualität der statistischen Prozesse und Produkte« (AK Qualität), der sich aus den Qualitätsbeauftragten der Ämter zusammensetzt, die Aufgabe zu, statistikübergreifende Fragen zum Management der Datenqualität zu beraten und zu beantworten:

Wie können wir das gemeinsame Qualitätsbewusstsein noch weiter stärken?

Wie organisieren wir den Austausch von Erfahrungen und vorbildlichen Praktiken?

Wie steuern wir die Entwicklung, kontinuierliche Verbesserung und Betreuung von Methoden und Instrumenten zur systematischen Sicherung der Prozess- und Produkt­qualität?

Was wurde bisher erreicht?

Im Rahmen des Qualitätsmanagements hat die amtliche Statistik auf den Wandel unter anderem mit folgenden Maßnahmen reagiert:

Qualitätshandbuch8: Im Jahr 2017 wurde das Qualitätshandbuch verabschiedet. Es stellt ähnlich wie das Quality Assurance Framework9 einen systematischen Zusammenhang zwischen den Grundsätzen und Indikatoren des CoP und den Praktiken der Qualitätssicherung in den Statistischen Ämtern des Bundes und der Länder her. Das Qualitätshandbuch ist ein Kompendium, das u.a.

Methoden, Verfahren und Instrumente des Qualitätsmanagements und deren Wechselwirkungen in der deutschen amtlichen Statistik darlegt,

den Nutzerinnen und Nutzern den Umfang der zur Sicherstellung der Datenqualität durchgeführten Maßnahmen verdeutlicht und

den Mitarbeiterinnen und Mitarbeitern im Statistischen Verbund die angestrebten Qualitätsstandards darlegt10 und aufzeigt, mit welchen konkreten Methoden und Werkzeugen die Qualität der Produktionsprozesse und Produkte bewahrt bzw. weiter verbessert werden kann.

Die im Kapitel 5 entlang des Geschäftsprozessmodells für amtliche Statistik (vergleiche Übersicht) formulierten Qualitätsrichtlinien ermöglichen eine zielgerichtete und effiziente Steuerung der Gesamtqualität in der Statistik. Ebenso bilden sie die Grundlage für die Durchführung von sogenannten Bestandsaufnahmen, die Erkenntnisse zum aktuellen Stand der Qualität und zu Verbesserungsmöglichkeiten liefern. Für dezentral durchgeführte Bundesstatistiken11 werden sie im Zeitraum 2019 bis 2021 durchgeführt.

Qualitätsberichte12: Für die Nutzerinnen und Nutzer liegen zu jeder Statistik standardisierte Qualitätsberichte vor. Diese geben Auskünfte zu Rechtsgrundlagen, den verwendeten Methoden und Definitionen wie auch zu verschiedenen Teilaspekten der Qualität statistischer Ergebnisse. Sie sollen helfen, amtliche Daten sachgerecht zu interpretieren und die Aussagefähigkeit der ermittelten Daten besser beurteilen zu können. Die Struktur der Qualitätsberichte ist einheitlich und an die Grundsätze des Verhaltenskodex angelehnt.

Qualitätsdatenblätter im Verbund (QuiV) 13: Die sogenannten QuiV sind ein wichtiger Teil einer umfassenden systematischen prozessorientierten Qualitätsdokumentation einer Statistik und werden für die Qualitätsberichterstattung an Eurostat (ESS Quality and Performance Indicators14) herangezogen15. Sie werden hauptsächlich eingesetzt zur …

Dokumentation der Qualität einer Statistik bezogen auf die Genauigkeit der Ergebnisse (Quote der Überabdeckung, Quote der gemeinsamen Einheiten, Antwortausfallquoten bei Einheiten und Merkmalen, Imputationsquote),

Steuerung der Qualität im laufenden Erhebungs- und Aufbereitungsprozess sowie

Schaffung der Transparenz über die Qualität der Prozesse und statistischen Ergebnisse.

Die konzeptionelle Phase der Erstellung von QuiV im Verbund der statistischen Ämter ist abgeschlossen. Einige Informationen können bereits jetzt automatisiert erzeugt werden. Für den umfassenden Einsatz muss die vorhandene IT-Infrastruktur aber noch weiter ertüchtigt werden, zum Beispiel durch Einbindung der Schnittstelle in die Fachanwendungen der Statistiken und Eingangskontrollsysteme. Als Implementierungszeitraum sind die Jahre 2018 bis 2020 vorgesehen.

Richtlinie zum Umgang mit Veröffentlichungsfehlern im LSN16: Trotz vielfältiger qualitätssichernder Maßnahmen können in allen Phasen der Statistikerstellung Fehler auftreten. Fehler können sich allerdings auf die Glaubwürdigkeit der amtlichen Daten negativ auswirken und dem Anspruch der amtlichen Statistik, zuverlässiger Datenlieferant zu sein, entgegen laufen. Daher sind im Verbund der Statistischen Ämter des Bundes und Länder, so auch im LSN, sogenannte Fehlerrichtlinien entwickelt worden, die ein (nochmaliges) Auftreten von Fehlern unwahrscheinlicher machen sollen. Damit wird vor allem folgenden Qualitätsstandards entsprochen:

Grundsatz 6 des Verhaltenskodex (Unparteilichkeit und Objektivität), Indikator 6.3 (»Werden in veröffentlichten Statistiken Fehler festgestellt, so werden sie zum frühestmöglichen Zeitpunkt berichtigt, und die Öffentlichkeit wird davon in Kenntnis gesetzt«) und

Qualitätsrichtlinie 8 (»Die Statistischen Ämter des Bundes und der Länder verfügen über Richtlinien zum Umgang mit Veröffentlichungsfehlern. Diese beschreiben detailliert das Verfahren zur Berichtigung der Fehler und zur Information der Öffentlichkeit. Wird ein Fehler in veröffentlichten Statistiken festgestellt, so wird dieser schnellstmöglich berichtigt, und die Öffentlichkeit wird davon in Kenntnis gesetzt. Die Einordnung und die Behandlung erfolgen gemäß der Richtlinie zum Umgang mit Veröffentlichungsfehlern (Fehlerrichtlinie). Dabei spielt es keine Rolle, ob der Fehler im Arbeitsbereich, im statistischen Verbund oder von den Nutzerinnen und Nutzern festgestellt wurde. Die Fehlerursache wird ermittelt, und es werden Vorkehrungen zur zukünftigen Vermeidung solcher Fehler getroffen.«) unter Teilprozess 7.3 (Verbreitung organisieren).

Der Umgang mit Veröffentlichungsfehlern hängt vom Schweregrad des Fehlers (zum Beispiel formal oder inhaltlich schwerwiegend) und der Art der Verbreitung (zum Beispiel Pressemitteilung oder Online-Datenbanken) ab.

Die Fehlerrichtlinie soll einen Beitrag zur konstruktiven Fehlerkultur im LSN leisten, indem offen und konstruktiv über Fehler und deren Vermeidungsmöglichkeiten gesprochen wird und Fehler als Chance gesehen werden, aus ihnen zu lernen, um die Arbeit künftig noch besser zu erledigen und die gleichen Fehler nicht zu wiederholen.

Die Zukunft der amtlichen Statistik ist digital

Die amtliche Statistik ist weit, aber noch nicht am Ziel. Das Ziel ist eine noch stärker bedarfsorientierte, wirtschaftliche und leistungsfähige amtliche Statistik. Es ist sicher, dass die Digitalisierung alle Handlungsfelder der amtlichen Statistik, von der Konzeption über die Datenerhebung bis zur Verbreitung von Ergebnissen, noch stärker prägen wird.

Das Qualitätsmanagement der Statistischen Ämter des Bundes und der Länder wird in diesem Prozess weiterhin gefordert sein. Es werden zum Beispiel sogenannte Digitale Assessments durchgeführt, um den Prozess der Statistikerstellung und -verbreitung auf mögliche Verbesserungspotentiale systematisch zu untersuchen. Dabei sollen aus der Gegenüberstellung des Idealzustandes und des Status Quo konkrete Maßnahmen abgeleitet werden, die zur Steigerung der Aktualität der Veröffentlichungsergebnisse sowie der Effizienz des Statistiksystems beitragen.

Die Erstveröffentlichung dieses Beitrags erfolgte in Ausgabe 6/2018 der Statistischen Monatshefte Niedersachsen. Wir danken für die freundliche Genehmigung zum Nachdruck.

1 Verfügbar unter: https://ec.europa.eu/eurostat/quality/ (Abruf: 07.06.2018).

2 Die Indikatoren beschreiben anzustrebende Qualitätsnormen, die als Referenz für die Überprüfung der Einhaltung des Kodex bzw. eines bestimmten Grundsatzes dienen. Beispiel: Grundsatz 8 – Geeignete statistische Verfahren (Geeignete statistische Verfahren – von der Erhebung bis zur Validierung der Daten – bilden die Grundlage für qualitativ hochwertige Statistiken), dazugehöriger Indikator 8.1 »Falls europäische Statistiken auf Verwaltungsdaten basieren, werden die für administrative Zwecke verwendeten Definitionen und Konzepte den Erfordernissen der Statistik soweit wie möglich angepasst.«

3 Deutsche Fassung verfügbar unter: http://ec.europa.eu/eurostat/web/products-catalogues/ (Abruf: 07.06.2018).

4 Auszug aus der Qualitätserklärung »… Unsere Arbeit ist geprägt von fachlicher Unabhängigkeit, Unparteilichkeit gegenüber allen unseren Nutzern, Objektivität, Zuverlässigkeit, statistischer Geheimhaltung und Wirtschaftlichkeit. Die Entwicklung, Erstellung und Verbreitung unserer Statistiken basieren auf einer soliden Methodik, den besten internationalen Standards und geeigneten Verfahren, die gut dokumentiert und transparent sind. Unsere Qualitätsgrundsätze sind Relevanz, Genauigkeit, Aktualität und Pünktlichkeit, Zugänglichkeit und Klarheit sowie Vergleichbarkeit und Kohärenz. …«.

5 Verordnung (EU) 2015/759 des europäischen Parlaments und des Rats vom 29. April 2015 zur Änderung der Verordnung (EG) Nr. 223/2009 über europäische Statistiken, Amtsblatt der Europäischen Union L123/90 vom 19. Mai 2015.

6 Vergleiche https://www.statistik.niedersachsen.de/wir_ueber_uns/datenschutz/ (Abruf: 07.06.2018).

7 Vergleiche http://www.statistik.niedersachsen.de/ueber_statistik/qualitaet/verhaltenskodex/ (Abruf: 07.06.2018).

8 Verfügbar unter: https://www.destatis.de/DE/Methoden/Qualitaet/Qualitaet.html (Abruf: 07.06.2018).

9 Vergleiche Eurostat: Qualitätssicherungsrahmen des ESS, verfügbar unter: http://ec.europa.eu/eurostat/web/quality/overview (Abruf: 07.06.2018).

10 Siehe Kapitel 5 des Qualitätshandbuches. Dort werden für jeden Teilprozess des Geschäftsprozessmodells Amtliche Statistik (GMAS) handlungsleitende Qualitätsrichtlinien formuliert, die von allen Statistiken – soweit relevant – erfüllt sein sollen.

11 In der Regel führen entsprechend Art. 84 GG die Statistischen Ämter der Länder die Bundesstatistiken als eigene Angelegenheit durch.

12 Verfügbar unter: https://www.destatis.de/DE/Publikationen/Qualitaetsberichte/Qualitaetsberichte.html (Abruf: 07.06.2018).

13 Verfügbar unter: http://www.statistik.niedersachsen.de/ueber_statistik/qualitaet (Abruf: 07.06.2018).

14 Vergleiche Eurostat, ESS Standardqualitäts-Indikatoren 2014, verfügbar unter: http://ec.europa.eu/eurostat/web/quality/quality-reporting (Abruf: 07.06.2018).

15 Vergleiche Art. 12, Absatz 3 der Verordnung (EG) Nr. 223/2009 über europäische Statistiken, geändert durch die Verordnung (EU) 2015/759: http://www.eur-lex.europa.eu/legal-content/DE/TXT/PDF/?uri=CELEX:02009R0223-20150608&from=EN (Abruf: 07.06.2018).

16 Verfügbar unter: http://www.statistik.niedersachsen.de/ueber_statistik/qualitaet (Abruf: 07.06.2018).