In den letzten Jahren ist das Monitoring der Arbeitsmarktpolitik zu einem bedeutenden Bestandteil der Programmumsetzung geworden. Dies gilt sowohl für die einzelnen EU-Mitgliedsländer als auch auf europäischer Ebene. Politik und Programmbehörden in den einzelnen Mitgliedsländern bemühen sich mehr denn je um eine leistungsfähige Verwaltung und die strengere Kontrolle von Beschäftigungsmaßnahmen. Zu den Gründen hierfür zählen unter anderem die zunehmenden Ausgaben für die Maßnahmen der Arbeitsmarktpolitik, die angespannte Situation der öffentlichen Haushalte und die Tendenz zu einem schlankeren und leistungsfähigeren ,neuen" öffentlichen Dienst - oft mit weitgehender Dezentralisierung/Dekonzentration der Programmumsetzung und einer verstärkten, mit Kontrollauflagen verknüpften (Ko-)Finanzierung durch den Europäischen Sozialfonds. Der folgende Beitrag, die Kurzfassung eines ausführlicheren Berichts über das Thema, beschreibt den derzeitigen Stand des Monitoring von Arbeitsmarktpolitik (AMP) in den EU-Mitgliedsländern. Er bietet einen Überblick über das Monitoring in den EU-Ländern, und die Schwierigkeiten, denen diese Länder beim Aufbau von Monitoring-Systemen begegnen, werden ebenso wie ein Monitoringmodell diskutiert.1
Obwohl die genaue Grenzlinie zwischen Monitoring und Evaluierung (und auch zwischen Monitoring, ,Controlling" und ,Reporting") nur schwer zu ziehen ist, gibt es offenbar ein pragmatisches Verständnis dessen, was Monitoring-Tätigkeiten sind: regelmäßig durchgeführte Beobachtung statistischer Indikatoren der Inputs (Finanzmittel) und Outputs (im wesentlichen Teilnehmer) der AMP sowie ihrer Ergebnisse zwecks Verbesserung vor allem der Programmumsetzung (aber auch, in geringerem Maße, der Programmkonzeptualisierung).
In allen hier behandelten Ländern besteht eine deutliche Tendenz zu solchem leistungsorientierten Monitoring der finanziellen (Haushaltsmittel) und physischen Indikatoren (z. B. Teilnehmer) aktiver AMP, das wiederum dazu dient, die Effizienz der Programmumsetzung zu steigern. Monitoring wird meist als ein Werkzeug zur Dokumentation des Erfolgs oder Mißerfolgs beim Erreichen vordefinierter Ziele betrachtet, nicht aber zur Erklärung des Gelingens oder Mißlingens, was eher Aufgabe der Evaluierung ist. Ebenfalls zur Evaluierung gehört die Untersuchung der Ergebnisse von AMP-Maßnahmen auf einer Makroebene, z. B. beim Bestimmen indirekter Wirkungen, wie beispielsweise Mitnahme-, Verdrängungs- oder Substitutionseffekte, während Monitoring eher mit den direkten Wirkungen von Maßnahmen zu tun hat. Man muß auch zwischen Input-Output-Monitoring und Ergebnis-Monitoring unterscheiden: Während ersteres ein Instrument für Programmadministratoren auf allen Ebenen ist und z. B. eine Kontrolle über den Abfluß von Haushaltsmitteln sowie eine gewisse Kosten-Nutzen-Analyse gestattet, liefert letzteres auch Information, die über die bloße Programmverwaltung und -implementierung hinausgeht und das Programmdesign beeinflussen kann.
Zwar verfügen einige Länder bereits über Erfahrungen mit dem Monitoring, doch wird es in allen Mitgliedstaaten immer wichtiger. Einige der Gründe dafür sind:
Aus den Antworten auf die Fragebögen und aus den Interviews ausgewählter Experten geht hervor, daß einige der EU-Mitgliedstaaten bereits über Erfahrungen mit Monitoring-Systemen verfügen und alle EU-Mitgliedstaaten gegenwärtig Monitoring-Systeme auf- oder ausbauen. Die Arbeitsverwaltungen versuchen generell, die Umsetzung der AMP strikter als früher üblich zu verfolgen, allerdings ist es schwierig, einzelne Länder eindeutig auf einer Skala einzuordnen, die von ,kein System" bis zu ,voll implementiertes System" reicht. Selbst Schweden, das wir an die Spitze einer solchen Liste stellen würden, muß im Aufbau des Systems immer wieder Rückschläge hinnehmen. Der Stand der Monitoring-Technik ist auch innerhalb der einzelnen Länder noch ziemlich heterogen, und leistungsfähiges Monitoring bestimmter Maßnahmen kann mit dem Fehlen von Überwachungsverfahren für andere einhergehen. Tabelle 1 gibt einen Überblick über einige Variablen und gestattet ein begrenztes ,Monitoring des Monitoring" in den Mitgliedsländern der Europäischen Union. Die Tabelle beruht auf dem uns zur Verfügung gestellten empirischen Material (Fragebögen, Interviews mit ausgewählten Experten, Dokumente); sie wurde den Ländern überdies zur Validierung zur Verfügung gestellt.
Mit Monitoring befaßte Institutionen: In den meisten Ländern sind das Ministerium für Arbeit und die Arbeitsverwaltung, die bei den Monitoring-Aktivitäten zusammenarbeiten, die wichtigsten für Monitoring zuständigen Institutionen. Während die Ministerien im allgemeinen die Gesamtverantwortung für Monitoring und Evaluierung tragen, besorgt die Arbeitsverwaltung durch ihre regionalen und lokalen Arbeitsämter die laufende Monitoring-Tätigkeit, ist häufig der wichtigste Datenlieferant und ist auch, was die tägliche Arbeit betrifft, der Hauptanwender der Daten. Weil Monitoring insbesondere zur Programmumsetzung gehört, ist die Arbeitsverwaltung oft der wichtigste Akteur auf diesem Gebiet. Es gibt jedoch auch in dieser Hinsicht Unterschiede zwischen den einzelnen Ländern (z. B. spielt in Frankreich das Arbeitsministerium eine wichtige Rolle). Schritte zur Veränderung, Einführung oder Beendigung von Programmen, die gewöhnlich politische (nicht allein verwaltungsmäßige) Entscheidungen beinhalten, finden hauptsächlich auf Ministeriumsebene und meist in enger Zusammenarbeit mit der Arbeitsverwaltung statt. In vielen Ländern versehen auch weitere Akteure (insbesondere im Berufsbildungsbereich) Monitoring-Tätigkeiten.
Koordinierung zwischen diesen Institutionen: Selbst wenn die Teilnahme vieler verschiedener Akteure
an Monitoring-T,tigkeiten Abstimmungsschwierigkeiten und Kompetenzstreitigkeiten hervorrufen und zu suboptimalen Gesamtmonitoring führen kann, k"nnen Monitoring-T,tigkeiten auch zu vermehrter Zusammenarbeit zwischen den Akteuren führen. W,hrend beide F,lle in den untersuchten L,ndern anzutreffen sind, zeichnet sich doch ein schwaches Nord-Süd-Muster ab, an dem unter anderem deutlich wird, daá in einigen der südlichen L,nder der Europ,ischen Union Monitoring-Aktivit,ten erst vor verh,ltnism,áig kurzer Zeit eingeführt wurden und daá die Arbeitsteilung zwischen den verschiedenen Akteuren noch nicht voll entwickelt sein dürfte.
Dezentralisierung/Dekonzentration: Dieses Nord-Süd-Gefälle zwischen den Ländern ist viel deutlicher bezüglich der Frage der Dezentralisierung/Dekonzentration. Während viele der nördlichen Länder heute einen ziemlich hohen Grad von Dezentralisierung (Dekonzentration) bei der Umsetzung der Arbeitsmarktpolitik aufweisen, ist in manchen südlichen Ländern die Umsetzung immer noch eher zentralisiert, und die lokalen Ämter sind weniger autonom. Weil Monitoring und Dezentralisierung eng zusammenhängen, ist die Entwicklung des Monitoring in Ländern mit stärkerer Dezentralisierung gewöhnlich auch weiter fortgeschritten. Die Frage der Dezentralisierung ist auch mit dem nächsten Indikator eng verbunden.
Ermessensspielraum der örtlichen Verwaltung hinsichtlich der Verwendung von Haushaltsmitteln: Unter solch dezentralisierten Bedingungen wie in Schweden haben die Bediensteten der örtlichen Arbeitsämter viel Freiheit hinsichtlich der Zuweisung von Mitteln zu verschiedenen Maßnahmen. Dieser Ermessensspielraum ist in vielen anderen Ländern erheblich enger und in einigen der südlichen Mitgliedsländer sehr gering. Aus den Befragungen ging unter anderem hervor, daß ,Klientelismus" (d. h. die Befriedigung der Bedürfnisse einiger wichtiger örtlicher Akteure ohne durchgängige Rücksicht auf das öffentliche Interesse und auf Gleichheit bei der Umsetzung von Maßnahmen) insbesondere im Süden bisweilen die weitreichende Dezentralisierung verhindert.
Anreize/Sanktionen: Obwohl man annehmen sollte, daß Dezentralisierung, Freiheit beim Einsatz von Mitteln und Autonomie der Verwaltung durch die Prämierung guter Ergebnisse unterstützt werden, sind leistungsabhängige Bonuszahlungen selten. Die Umsetzungssysteme sowohl in Finnland als auch in Schweden, wo Dezentralisierung mit MbR (Management by Results) einhergeht, bieten einige Anreize, aber sie spielen keine große Rolle für die Ergebnisse. Einige Anreize existieren auch in dem auf den TECs (Training and Enterprise Councils) basierenden britischen Umsetzungssystem. Das einzige andere Land, das einige Anreize (für Arbeitsamtsleiter) hat, ist Frankreich. Während in den anderen Ländern auch Anreize fehlen, gibt es mit Ausnahme von Großbritannien nirgends Sanktionen. Es wurde bereits erwähnt, daß die meisten Monitoring-Systeme noch nicht so weit entwickelt sind, daß sie eine genaue Messung von Indikatoren erlauben, die dann als objektive Kriterien für Sanktionen benutzt werden könnten - dies auch wegen des Fehlens von Kontrollvariablen, die Unterschiede der örtlichen Arbeitsmarktsituationen berücksichtigen würden. Deshalb gibt es in den untersuchten Ländern auch nirgends ein echtes "Bonus-Malus-System".
Tabelle 1: Monitoring in den EU-Mitgliedsstaaten im Überblick
| Organisation | Kontinuierliche Informationen über *: | Monitoring | ||||||||||||||
| Land | Monitoring | Koordi- | Dezentra- | Lokale | Anreize | Sank- | Budget | Teil- | Nach | Teilnahme | Berufs- | Beschäf- | Entwick- | Tendenz | Bemerkungen | |
| Institutionen | nation | lisierung | Befugnis | tionen | nahme | bildungs- | tigungs- | lungs- | ||||||||
| zwi- | (Dekon- | zur Mittel- | pro- | förde- | stand | |||||||||||
| schen | zentra- | zuteilung | gramm** | rung** | ||||||||||||
| Institu- | tion) | |||||||||||||||
| tionen | ||||||||||||||||
| Beschäf- | Qualifika- | Einkünfte | ||||||||||||||
| tigung | tion | |||||||||||||||
| Belgien | MfA, ONEM, VDAB, | + | +++ | + | - | - | k.A. | k.A. | k.A. | k.A. | k.A. | k.A. | k.A. | + | Regionaler Partikularismus verhin- | |
| FOREM, ORBEM | dert landesweites Monitoring | |||||||||||||||
| Dänemark | k.A. | |||||||||||||||
| Deutschland | BA, IAB | +++ | ++ | ++ | - | - | ++ | ++ | ++ | - | - | ++ | + | ++ | Starke Systementwicklung; nicht | |
| alle Maßnahmen durch Monitoring | ||||||||||||||||
| erfaßt | ||||||||||||||||
| Griechen- | MfA, OAED, PIEKA | + | + | + | - | - | ++ | + | - | - | - | ++ | + | + | Entwicklung regionaler | |
| land | Beschäftigungsobservatorien | |||||||||||||||
| Spanien | MfA, INEM, | ++ | + | + | - | - | ++ | + | + | - | - | ++ | + | + | ||
| FORCEM | ||||||||||||||||
| Finnland | MfA | +++ | ++ | ++ | - | - | +++ | +++ | ++ | - | - | ++ | ++ | +++ | Hoher Entwicklungsstand | |
| (Management by Results) | ||||||||||||||||
| Frankreich | MfA, ANPE | ++ | ++ | ++ | + | - | ++ | ++ | + | - | - | ++ | ++ | ++ | Nicht alle Maßnahmen durch | |
| Monitoring erfaßt; ANPE und | ||||||||||||||||
| MfA entwickeln Monitoring | ||||||||||||||||
| Irland | DEE, DSW, FAS | ++ | ++ | + | - | - | ++ | ++ | ++ | + | + | ++ | ++ | ++ | ||
| Italien | k.A. | |||||||||||||||
| Luxemburg | k.A. | |||||||||||||||
| Niederlande | LBA, CBA, RBA | ++ | +++ | ++ | - | - | ++ | ++ | + | + | - | ++ | ++ | ++ | ||
| Österreich | MfA, AMS | ++ | ++ | + | - | - | ++ | ++ | + | - | - | ++ | ++ | ++ | Neuer AMS entwickelt | |
| gegenwärtig Monitoring | ||||||||||||||||
| Portugal | MfA, IEFP | + | + | + | - | - | ++ | ++ | ++ | + | - | ++ | + | + | Entwicklung regionaler | |
| Beschäftigungsobservatorien | ||||||||||||||||
| Schweden | MfA, AMS | +++ | +++ | +++ | + | - | +++ | +++ | ++ | + | - | ++ | ++ | +++ | Hoher Entwicklungsstand | |
| (management by results) | ||||||||||||||||
| Vereinigtes | DEE, ES, IC | ++ | ++ | ++ | + | (+) | +++ | +++ | +++ | ++ | + | ++ | ++ | ++ | ||
| Königreich |
** Berufsbildungsprogramm und Beschäftigungsförderung ++ = gründlicher und + = weniger gründlich überwacht
Quellen: Fragebogen, Befragungen ausgewählter Experten und einschlägige Dokumente, eigene Klassifikation. Vereinigtes Königreich: direkt vom MISEP-Korrespondenten mitgeteilt.
Was die ständige Beobachtung ausgewählter Indikatoren angeht, so gaben die meisten Befragten an, daß Informationen über Haushaltsmittel und Teilnehmer (Niveau und Struktur) zur Verfügung stehen, manchmal allerdings nur für bestimmte Programme. Jedoch besteht das größte Problem im Fehlen ,kompatibler" Informationen sowohl über Haushaltsmittel als auch über Teilnehmer, die die Zuordnung von Haushaltsmitteln zu Teilnehmerinformationen erlauben und damit einen ersten Schritt zu einer Kosten-Nutzen-Analyse der einzelnen Beschäftigungsmaßnahmen darstellen würden. Aber nur solche Informationen würden ein effektives Monitoring gestatten. Auch die zeitliche Abfolge des Monitoring unterscheidet sich: In einigen Ländern (Schweden, Finnland) sind die meisten Information im Prinzip ,online" verfügbar, in anderen gibt es nur Monats- und/oder Quartalsdaten. Alle Länder haben mindestens jährliche Berichte, aber sie sind für Monitoring-Zwecke von begrenztem Wert, da die Jahresdaten gewöhnlich zu spät kommen, um beispielsweise die Bedingungen für wenig erfolgreiche Programme rechtzeitig zu ändern. Für die in den einzelnen Ländern bevorzugten Beobachtungsintervalle zeichnet sich kein konsistentes Bild ab. Jedoch ist der Trend klar: Je besser entwickelt das Monitoring ist, um so kürzer wird das Zeitintervall, in dem Monitoring im Prinzip möglich ist. Die Länge des Beobachtungsintervalls von Information ist generell eine wichtige Frage, besonders relevant ist sie aber für Budgetinformationen: Die Haushaltsmitteldaten sind oftmals nicht kontinuierlich verfügbar, sondern werden oft ad hoc nach Bedarf produziert. Ein derartiger Informationsfluß bringt aber bedeutende Nachteile für die effiziente Verwaltung von Programmen mit sich. Einerseits geschieht es oft, daß die Verwalter ganz plötzlich erkennen, daß die Mittel erschöpft sind und daher die Programmumsetzung abrupt ausgesetzt werden muß. Andererseits könnten aber auch genügend Gelder übriggeblieben sein, die dann eilig ausgegeben werden müssen. So kommt es z. B. zu der üblichen Hektik vor dem Jahresultimo: Es muß rasch Geld für Programme ausgegeben werden, die in diesem Fall häufig weder die besten Ergebnisse liefern noch die geeignetsten Zielgruppen treffen. Dieses generelle Problem jährlicher Budgetierung, das auch ein Argument für eine längerfristige Finanzplanung ist, könnte durch ein kontinuierliches Monitoring der Haushaltsmittel weithin behoben werden. So werden z. B. in einer schwedischen Region seit der Einführung des Monitoring-Systems die bewilligten Mittel gewöhnlich auch plangemäß ausgegeben.
Während den Budgetinformationen zugeordnete Teilnehmerinformationen Kern eines Input-Output-Monitoring sind, müssen darüber hinaus auch Ergebnisindikatoren eingeführt werden, um eine Bewertung von Maßnahmen zu erlauben.
Die Beobachtung des Beschäftigungsstatus, der erlangten Qualifikation und/oder des Verdienstes nach der Teilnahme an einer Maßnahme erfolgt in den einzelnen Ländern in unterschiedlicher Weise:
Generell ist der Beschäftigungsstatus ein in vielen Ländern häufig analysierter Indikator, obwohl Beobachtungsintervall und Umfang (das heißt, ob die Kontrolle nach drei, sechs oder zwölf Monaten erfolgt und alle Maßnahmen oder nur ausgewählte Maßnahmen betrifft) in den einzelnen Ländern durchaus verschieden sind. Auch die Kontrollmethoden sind unterschiedlich; entweder erfolgt eine Briefumfrage, oder es werden Verwaltungsdaten (z. B. Meldung der Teilnehmer an das Arbeitsamt) benutzt.
Die durch die Teilnahme an Berufsbildungsmaßnahmen erreichten Qualifikationsniveaus werden nicht häufig festgestellt. Teilinformation steht in einigen Ländern (siehe Tabelle 1) zur Verfügung, aber im allgemeinen ist dies kein wichtiger Monitoring-Indikator. Ein Grund hierfür ist offenbar, daß in Berufsbildungskursen oft keine anerkannten formalen Qualifikationen erreicht werden. Ist dies allerdings das spezifische Ziel des Kurses, dann ist diese Information im allgemeinen verfügbar (wie z. B. bei den ,National Vocational Qualification Certificates" im Vereinigten Königreich), was es erschwert, die Teilnehmer nach den erreichten Qualifikationsniveaus zu klassifizieren. Auch bei Berufsbildungskursen ist meist die Beschäftigung nach Teilnahme der Hauptindikator für den Erfolg.
Im Gegensatz zu der Praxis in den USA (und überhaupt in den angelsächsischen Ländern, wo eine Erhöhung der Einkünfte infolge einer Teilnahme an Maßnahmen ein wichtiger Indikator für Erfolg ist), den Verdienst nach der Teilnahme an einer Beschäftigungsmaßnahme zu erheben, benutzen Monitoring und Evaluierung in Europa diesen Indikator selten zur Erfolgsmessung. Irland ist in dieser Hinsicht eine Ausnahme, denn dort werden sechs und zwölf Monate nach dem Abschluß stichprobenweise Erhebungen durchgeführt, die jährlich veröffentlicht werden. Auch in Schweden gab es solche Erhebungen über den Verdienst. Ende 1995 wurde durch das AMS eine solche Erhebung durchgeführt, aber sie sind selten und jedenfalls nicht in die Monitoring-Praxis der Verwaltung eingebunden.
Es scheint, daß Berufsbildungsprogramme gründlicher als Beschäftigungsförderungs-(Arbeitsplatzbeschaffungs-)Programme kontrolliert werden (siehe Tabelle 1). Dies könnte einfach daran liegen, daß Berufsbildungsprogramme in fast allen Ländern wichtiger als Beschäftigungsprogramme sind.
Insgesamt zeigt unser Überblick über den Stand und den Entwicklungstrend des Monitoring in den EU-Ländern ein ziemlich deutliches Nord-Süd-Gefälle. Zwar haben die meisten der Länder noch keine vollentwickelten Monitoring-Systeme, doch bestehen überall Teile solcher Systeme. Allerdings sind es gerade die stärker entwickelten Länder im Norden und in der Mitte Europas mit ihrer langen Tradition der Umsetzung von Beschäftigungsmaßnahmen, die in der Entwicklung ihrer Monitoring-Systeme weiter fortgeschritten sind. Schweden, Finnland und auch Großbritannien haben weit fortgeschrittene Systeme, und auch Irland, Deutschland, Frankreich, Österreich und die Niederlande (und auch Dänemark, das hier nicht behandelt wird) haben für einen Teil ihrer Maßnahmen Monitoring-Erfahrung und arbeiten intensiv an der Entwicklung solcher Systeme. Belgien bildet wegen seines regionalen Partikularismus eine Ausnahme hiervon: Während das landesweite Monitoring unterentwickelt ist, wird jedoch versucht, Monitoring auf den verschiedenen regionalen Ebenen einzuführen. Griechenland und Portugal (und auch Spanien und unseres Wissens nach Italien ebenfalls) haben aus diversen Gründen noch nicht ein hohes Maß von Monitoring-Erfahrung erreicht. Während auch dort Aktivitäten auf diesem Gebiet zunehmen, scheint gegenwärtig der Abstand zwischen südlichen und nördlichen Ländern Europas nicht kleiner zu werden. Um einen homogeneren Entwicklungsstand des Monitoring innerhalb der gesamten Europäischen Union zu erreichen, ist daher ein Erfahrungsaustausch auf der Basis erfolgreicher Monitoring-Modelle erforderlich.
Alle Länder begegnen jedoch Schwierigkeiten beim Aufbau von Monitoring-Systemen. Obwohl manche Probleme allen gemeinsam sind, sehen sich einige Länder auch mit Komplikationen konfrontiert, die aus ihrer besonderen Verwaltungsstruktur und anderen spezifischen Faktoren erwachsen. Außer Problemen der Koordinierung zwischen den verschiedenen für das Monitoring verantwortlichen Behörden ist es der Mangel an klaren Zielen der arbeitsmarktpolitischen Maßnahmen, die das Monitoring bisweilen erschweren. Hier spielt das oft widersprüchliche Verhältnis zwischen kurzfristigen quantitativen Zielen (bei Politikern besonders im Wahlkampf beliebt) und langfristigen qualitativen Zielen (deren Erfüllung oft von jenen angestrebt wird, die für die Klientel direkt verantwortlich sind) eine Rolle. So verursachen z. B. gegenwärtig zentral gesetzte quantitative Volumenvorgaben in der traditionell eher von unten nach oben orientierten Entscheidungsfindung der schwedischen Arbeitsmarktpolitik einige Probleme. Ein eher technisches Problem, über das berichtet wurde, war auch der Mangel an angemessenen Daten (oder der schwierige Zugang zu solchen Daten), die man zur Konstruktion von Indikatoren benötigt. Auch der Mangel an ausreichenden Ressourcen an Personal und Geldmitteln wurde als ein Problem gesehen, ebenso die Akzeptanz des Monitoring durch jene Mitarbeiter, deren Arbeit beobachtet wird. Wegen der mit dem Monitoring verknüpften Kontrollaspekte ist es wichtig, die Mitarbeiter zu überzeugen, daß Monitoring kein Instrument zu ihrer Kontrolle ist, sondern ein Werkzeug zur Steigerung der Effizienz der Organisation.
Ein Monitoring-System sollte folgende Entwicklungsschritte umfassen:
1. Durch verantwortliche Politiker und Verwaltung auf nationaler, regionaler und lokaler Ebene werden in einem von unten nach oben (und zurück) gehenden Verfahren Input-, Output- und Ergebnisziele spezifiziert.
2. Indikatoren, die eine Messung der Zielerreichung erlauben, werden definiert.
3. Das eigentliche Monitoring-Verfahren, das auf 1. und 2. sowie auf Datensammlung (statistischen Informationen über finanzielle und physische Indikatoren bezüglich 1. und 2.) beruht, wird spezifiziert und entwickelt, und
4. Feedback-Schleifen, die sicherstellen, daß beobachtete Unregelmäßigkeiten angemessen behandelt werden, werden etabliert.
Abbildung 1 illustriert ein solches Monitoring-Modell. Es beginnt mit der Politikformulierung, in der Programme und einzelne Maßnahmen ausgewählt werden. Jedoch bereits in diesem Frühstadium müssen klare Programmziele definiert werden, und es sind Indikatoren einzuführen, die es ermöglichen, den Fortschritt in der Zielerreichung zu messen, falls das Monitoring wirksam sein soll. Mit anderen Worten: Monitoring muß in Gesetzen und Verordnungen als Auflage enthalten sein, um effektiver zu sein (wie dies bei dem französischen Fünfjahres-Beschäftigungsgesetz von 1994 und vielen britischen Programmen der Fall ist). Nachdem die Programme implementiert sind, muß ein kontinuierlicher Prozeß der Beobachtung beginnen, dessen Zeitintervall von Maßnahme zu Maßnahme wechseln kann. Eine vierteljährliche Beobachtungsperiode scheint ein vernünftiger Kompromiss zu sein, aber für Kurzzeitprogramme könnten kürzere Perioden angemessen sein. Die Kernfunktionen des Monitoring ist die Überwachung von Indikatoren. Erreichen diese bei der Messung einen kritischen Wert, so sollte idealtypischerweise ein Rückkopplungsmechanismus ausgelöst werden, der die Werte wieder in den nicht kritischen Bereich bringt. Die Rückkopplung zwischen Monitoring und Programmumsetzung ist generell stärker als das zwischen Monitoring und Politikformulierung. Allerdings sollten die Ergebnisse eines Monitoring, das die Standardleistung von Programmen mißt, auch zur Politikformulierung rückgekoppelt werden. Die Evaluierung, bei der auch Mitnahme- und Verdrängungseffekte und andere Faktoren berücksichtigt werden, ermöglicht eine gründlichere Abschätzung der Programmwirkungen als Monitoring und beeinflußt daher die Politikformulierung stärker als bloßes Monitoring.
Jedoch sollte das Monitoring der Evaluierung nur die Untersuchung jener Indikatoren überlassen, die nicht direkt und regelmäßig beobachtet werden können. Ein verhältnismäßig einfaches Monitoring-System gestattet eine nationale, regionale und lokale Aufschlüsselung, um Vergleiche zwischen den beteiligten Behörden zu erleichtern. Für ein bestimmtes Programm auf einer bestimmten Verwaltungsebene sollte ein solches System mindestens auf der regelmäßigen (monatlichen, vierteljährlichen) Beobachtung folgender Größen beruhen:
1. zugewiesene Mittel und verbrauchte Mittel (Aufschlüsselung nach Art der Leistung, Zielgruppen und Zielsektoren);
2. geplante Teilnahme und tatsächliche Teilnahme (Aufschlüsselung nach Zielgruppen und Zielsektoren);
3. Kosten pro Kopf (aufgrund von 1. und 2.) und Aufschlüsselung nach Art der Leistung, Zielgruppen/Zielsektoren.
Somit würden Monitoring-Systeme nützliche Information über die finanzielle und physische Inanspruchnahme und Kosten liefern, und ,Ausreißer" könnten durch den Vergleich aller regionalen/örtlichen Ämter entdeckt werden, wobei allerdings unterschiedliche Arbeitsmarktbedingungen in den einzelnen lokalen Bereichen berücksichtigt werden sollten.
Die oben angeführten einfachen Indikatoren erlauben das Monitoring des Abflusses von Mitteln und der Teilnahme unter Messung an den vordefinierten Zielen; sie gestatten ferner Vergleiche zwischen verschiedenen Amtsbezirken und sogar der Pro-Kopf-Kosten verschiedener Maßnahmen. Diese Indikatoren sind vor allem für Programmadministratoren wichtig. Sie sind im wesentlichen Input-Output-basiert und bedürfen deshalb der Ergänzung durch Resultatsmessung, wie z. B. den Beschäftigungsstatus der Teilnehmer nach der Teilnahme oder die in Berufsbildungsprogrammen erreichten Qualifikationsniveaus (vgl. Affholter 1994).
Abbildung 1 zeigt auch einen Zusammenhang zwischen Arbeitsmarkt-Monitoring und Arbeitsmarktpolitik-Monitoring: AMP-Ergebnisse haben eine Wirkung auf den Arbeitsmarkt, und ein ideales Monitoring-Modell muß diesen Zusammenhang aufzeigen.
Dieser Beitrag hat einige der Probleme im aktuellem Prozeß der Errichtung von AMP-Monitoring-Systemen in den Mitgliedstaaten der EU erörtert, hat die Gründe umrissen, warum das Monitoring der AMP an Bedeutung gewinnt, hat einen Überblick über den Stand des Arbeitsmarktpolitik-Monitoring in den EU-Mitgliedstaaten gegeben und die Funktionen eines Monitoring-Systems kurz skizziert. Während einige der Mitgliedstaaten bereits längere Erfahrungen mit Monitoring-Systemen haben, befinden sich die meisten Mitgliedstaaten derzeit noch im Prozeß des Aufbaus solcher Systeme. Daher ähnelt der Forschungsgegenstand noch einem empirisch schwer zu erfassenden ,beweglichen Ziel". Jedoch zeichnen sich einige Haupttendenzen ab. Einerseits wird Monitoring an den routinemäßige Verwaltungsprozeß der Programmimplementierung gebunden sein und die kombinierte Beobachtung finanzieller und physischer AMP-Indikatoren gestatten. Zum anderen wird Monitoring die kontinuierliche Einschätzung von Ergebnissen umfassen. Schließlich wird eine Kombination von Input- (Ausgaben-), Output- (Teilnehmer-) und Ergebnis- (Leistungs-)Indikatoren den Inhalt solcher Monitoring-Systeme bilden.
Es mag erstaunen, daß in vielen Ländern ein einfaches, aber umfassendes Monitoring auf der Verwaltungsebene nicht schon früher eingeführt wurde, aber es scheint, daß der Umgang mit staatlichen Geldern vor allem in zentralisierten Verwaltungen nicht immer solchen Zwängen unterworfen war wie heute. In mehreren der untersuchten Länder war es gerade das Fehlen eines effektiven finanziellen Monitoring, das Probleme mit der Programmumsetzung zur Folge hatte. Somit besteht eines der wichtigsten Ziele von Monitoring-Systemen darin, einen stetigen und kontrollierten Abfluß der zugewiesenen Mittel vor Ort zu ermöglichen. Beschaffung von Information darüber, wohin öffentliche Gelder fließen und wie Budgets am wirksamsten zum Erreichen vordefinierter Ziele eingesetzt werden können, ist natürlich ein Hauptzweck eines Monitoring-Systems. Die kombinierte Beobachtung von bewilligten Mitteln/ausgegebenen Mitteln und geplanter Teilnahme/tatsächlicher Teilnahme nach Umsetzungsgebiet/-sektor usw. ist das charakteristische Merkmal jedes Systemes für das Monitoring aktiver Arbeitsmarktpolitik. Diese ziemlich einfachen Input-Output-Daten können durch Ergebnisindikatoren ergänzt werden, um ein umfassendes System der AMP-Beobachtung zu produzieren, das der Verwaltung auf allen Ebenen erlauben würde, AMP-Maßnahmen beobachtend zu verfolgen.
Die Tatsache, daß vor allem Einsparungsgründe die Diskussion um eine Ausgabenkontrolle gegenwärtig dominieren, gibt Anlaß zur Befürchtung, daß das Interesse an der effizienteren Allokation öffentlicher Mittel letztlich bedeutet, daß Programme hauptsächlich nach ihrem unmittelbaren Erfolg (z. B. niedrige Pro-Kopf-Ausgaben) bewertet werden und daß längerfristige und qualitative Ziele kaum eine Rolle dabei spielen.
Erfahrungen mit Monitoring-Systemen zeigen, daß Monitoring von vordefinierten finanziellen und Teilnahmezielen es ermöglicht, die Übereinstimmung von Planung und tatsächlichen Ergebnissen zu verbessern. Wenn Ziele darüber hinaus von unten nach oben verhandelt werden und örtliche Verwaltungsstellen beteiligt sind, wachsen auch die Aussichten auf ihre Verwirklichung.
Zwar ist Monitoring nur ein ,neutrales" Instrument, doch scheint die Beteiligung derjenigen, die die Zielerreichung kontrollieren, an der Planung von Zielen für die Effizienz des Instruments wichtig zu sein. Angesichts der Erfahrung mit Beschäftigungsprogrammen in den USA scheint es, daß die Wirksamkeit eines Programms ansteigt, wenn darin eine Monitoring-Funktion ,eingebaut" ist. Um mit dem amerikanischen Department of Labor (1994) zu sprechen:
,Vielleicht die wichtigste Lehre aus unserer Erfahrung mit der Anwendung eines leistungsorientierten Management-Systems ist, daß örtliche Programme bemerkenswert gut auf die geforderten Leistungsindikatoren reagieren. Sobald die Leistungsmaßstäbe implementiert waren, stiegen die Beschäftigungsquote und das Lohnniveau der Programmabsolventen und wuchsen von Jahr zu Jahr weiter" (ebenda, S. 1).
Daher ist der Einbau von Leistungsindikatoren in die Programme ein Schritt in der richtigen Richtung.
Monitoring setzt voraus, daß für alle regionalen und lokalen Verwaltungen Indikatoren verfügbar sind, die somit Vergleiche zwischen diesen zulassen. Dies könnte die Wirksamkeit der Programmumsetzung steigern. Ein Problem bildet dabei jedoch eine Tendenz zur Angleichung der Ergebnisse von AMP-Programmen in Gebieten, die sich in ihren Ausgangsbedingungen (z. B. hinsichtlich der Zielgruppenanteile oder der Situation der örtlichen Wirtschaft) manchmal stark unterscheiden. Die lokale Anpassung der Leistungsindikatoren ist daher wesentlich (vgl. auch Barnow 1995): Bei empfindlichen Daten, wie z. B. den Pro-Kopf-Kosten der Maßnahmen, müssen diese lokalen Ausgangsbedingungen berücksichtigt werden.
Zusammenfassend läßt sich sagen, daß festumrissene Ziele, klare finanzielle und physische Leistungsindikatoren, konzise Statistiken, angemessene Beobachtungsintervalle sowie Rückkopplung auch als Steuerungshilfe für die untersten Ebenen der umsetzenden Organisation und zur Programmkorrektur bei ungenügender Leistung Anreize für gute Leistung und größere lokale Freiheit bei der Umsetzung sämtlicher Teile eines optimalen ,Paketes" wären und den Weg zu einem leistungsfähigen AMP-Monitoring ebnen würden. Schließlich ist ein sehr wichtiger Aspekt des Monitoring, das deutliche Kontrollaspekte hat, die Akzeptanz: Nur ein Dialog zwischen den Beobachtern und den Beobachteten, besonders, wenn es um die Definition der zu setzenden und zu überwachenden Ziele geht, bietet Aussicht auf befriedigende Ergebnisse.
Affholter, P. D. (1994): ,Outcome Monitoring." In: J. S. Wholey, H. P. Hatry & K. E. Newcomer (Hg.): Handbook of Practical Program Evaluation. San Francisco, S. 96-118
Auer, P. (1994): ,Further Education and Training for the Employed: Systems and Outcomes." In: G. Schmid (Hg.): Labor Market Institutions in Europe. Berlin
Barkema, H. G. (1995): ,Do Top Managers Work Harder When They Are Monitored?" In: KYKLOS, 48, S. 19-42
Barnow, B. S. (1995): Performance Management and Programme Impact in the Job Training Partnership Act: Exploring the Relationship between Them. Zwischenbericht. John Hopkins University. Baltimore, MD
Bellmann, L. & U. Walwei (1994): Public Employment Services and Labour Market Information. Labour Administration Branch Document 40-3. Genf: ILO
Blaschke, D., H. E. Plath & E. Nagel (1992): Konzepte und Probleme der Evaluation aktiver Arbeitsmarktpolitik am Beispiel Fortbildung und Umschulung. MittAB 3/92. Nürnberg: IAB
Chastand, A. (1994): ,Statistiques et Politiques de l'Emploi." In: Courrier des Statistiques, 70
Courty, P. & G. R. Marschke (1995): Moral Hazard under Incentive Systems: The Case of a Federal Bureaucracy. Paper für ,Business/Academic Dialogue, Reinventing Government and the Problem of Bureaucracy: Implication for Regulation and Reform", Juni 1995, University of Chicago
DEE (Department of Enterprise and Employment) (1994): Evaluation Report: Recording and Reporting Systems. Dublin: ESF Evaluation Unit
DOL (US Department of Labor) (1994): ,Performance Standards: Lessons Learned." Washington, DC (unveröff. Ms.)
European Commission (Hg.) (1994): Growth, Competitiveness and Employment. White paper. Brüssel
Fama, E. F. & M. C. Jensen (1983): ,Separation of Ownership and Control." In: Journal of Law and Economics, 26, S. 301-351
Gautié, J., B. Gazier & R. Silvera (1994): Les Subventions à l'Emploi: Analyses et Expériences Européennes. Paris: La Documentation Française
Hasan, A. (1991): ,Evaluation of Employment Training and Social Programmes: An Overview of Issues." In: OECD (Hg.): Evaluating Labour Market and Social Programmes - The State of a Complex Art. Paris: OECD, S. 21-42
Höcker, H. (1994): ,Die Organisation der Umsetzung der Arbeitsmarktpolitik in der Europäischen Union." In: inforMISEP Maßnahmen, 48, S. 27-35
Kuhlmann, S. & D. Holland (1995): Evaluation von Technologiepolitik in Deutschland. Heidelberg: Physica
Melchior, A. (1992): ,Performance Standards and Performance Management." In: US Department of Labor (Hg.): Dilemmas in Youth Employment Programming. Findings from the Youth Research and Technical Assistance Project. Research and Evaluation Report Series 92c, Vol. 2. Washington, DC: Department of Labor, S. 77-142
Meyer-Krahmer, F. (1990): ,Evaluation der Wirksamkeit von Instrumenten der Forschungs- und Technologiepolitik." In: H. Krupp (Hg.): Technikpolitik angesichts der Umweltkatastrophe. Heidelberg: Physica, S. 210-214
Mikkonen, I. & H. Räisänen, H. (Hg.) (1995): Evaluating Labor Market Training - Outcome and Effectiveness. Labor Policy Studies 122. Helsinki: Ministry of Labor
MISEP (Mutual Information System on Employment Policies) (1989): Rapport Final du Groupe de Travail sur les Evaluations des Mesures de Politique d'Emploi. European Centre for Work and Society, Maastricht, NL: European Center
OECD (1991/1994): Employment Outlook. Paris: OECD
Räisänen, H. (1994): What Kind of Policy Instrument is Labor Market Training? Helsinki: Ministry of Labor
Schmid, G. (1980): Strukturierte Arbeitslosigkeit und Arbeitsmarktpolitik. Königstein: Athenäum
Schmid, G. (1994): Reorganisation der Arbeitsmarktpolitik. Märkte, politische Steuerung und Netzwerke der Weiterbildung für Arbeitslose in der Europäischen Union. WZB discussion paper FS I 94-213. Berlin: Wissenschaftszentrum Berlin für Sozialforschung
Schmid, G., J. O'Reilly & K. Schömann (Hg.) (1996): International Handbook of Labour Market Policy and Evaluation. Aldershot: Edward Elgar
|
Zurück | Seitenanfang | Was gibt’s Neues? | Über das EEO | Europäische Beschäftigungsstrategie | Nationale Arbeitsmarktpolitiken | Publikationen | Weitere Links | Suche | Kontakt | Home page |
 |
EU – Europäische Kommission DG EMPL/A/2 J
II 27, |
 |