Psychologische Evaluation

Qualitätssicherung - Probleme 

• Lassen sich Methoden und Konzepte vom Profit- auf den Non-Profit Bereich übertragen?
• Weitere Probleme [2]

Lassen sich Methoden und Konzepte vom Profit- auf den Non-Profit Bereich übertragen?

1. Fehlende Gewinnorientierung --> komplexere Zielsysteme, beeinflusst Qualitätsbegriff
2. Profit-Bereich agiert unter Wettbewerbsbedingungen (Preise vs. kollektive Entgelte) 
3. Profit-Bereich - > Waren, Non-Profit - > Dienstleistungen (Probleme der Materialisierung von Dienstl.) 
4. Kunden vs. Klienten (Freiwilligkeit, Wechselmöglichkeiten, ein- vs. mehrdimensionales Verhältnis) 

Weitere Probleme:

1. Einheitliche Qualitätskriterien - Wer legt Qualitätskriterien fest? 
2. Monitoring - Wer kontrolliert die Einhaltung dieser?

              ► Konflikte zw. Interessensvertretern 

              ► Interne vs. externe QS

Häufige Methoden der Qualitätssicherung [3]

Häufige Methoden der Qualitätssicherung

1. Basisdokumentation 
2. Routinemonitoring 
3. Qualitätszirkel 

Evaluation - Qualitätssicherung

• Struktur-, Prozess- und Ergebnisqualität - Definition 

Strukturqualität:

• Voraussetzungen für die Versorgung (z.B. Qualifikation, Ausbildung, bauliche und technische Ausstattung)

Prozessqualität 

• konkretes Handeln (z.B. Durchführung diagn. und therap. Maßnahmen/ Leistungen)

Ergebnisqualität

• Outcome (z.B. Veränderungen des Gesundheitszustandes, Depressivität, Zufriedenheit)  

► Strukturqualität und Prozessqualität sind notwendige, nicht hinreichende Bedingungen der         Ergebnisqualität 

► Ergebnisqualität ist eigentliche Zielgröße der QS 

Maßnahmen zur Qualitätssicherung

•  empirische & nicht-empirische Strategien

Maßnahmen zur Qualitätssicherung
 

Nicht-empirische Strategien

1. Standards der Fachausbildung 
2. Richtlinien Fort- & Weiterbildung 
3. Zertifizierungen, Akkreditierungen, Begutachtungen 
4. Supervision & Qualitätszirkel 

Empirische Strategien

1. Kunden-/ Patientenbefragungen 
2. Mitarbeiterbefragungen - > MA-Zufriedenheit 
3. Basisdoku 
4. Aktenanalysen 
5. Routinekatamnesen 

Summative Evaluationen

• konkrete Analysen/ Bestandteile nennen (Schaubild) [7]

Summative Evaluationen

1. Wirksamkeitsanalysen 
2. Kundenzufriedenheit 
3. Prozess-/ Verlaufsforschung 
4. Prozess-Erfolgsforschung 
5. Meta-Analysen 
6. Kosten-Effektivitäts-Analysen 
7. Kosten-Nutzen-Analysen 

                ► Ergebnisse/ Effizienz 

Formative Evaluationen

• konkrete Analysen/ Bestandteile nennen (Schaubild) [5]

Formative Evaluationen

1. Bedarfsanalysen 
2. Beurteilung der Programmtheorie 
3. Machbarkeitsstudien 

              ► Planungsanalysen 

1. Implementationsanalysen 
2. Qualitätssicherung 

              ► Monitoring/ Programmüberwachung 

Summative Evaluationen - Effektivitätsforschung

• Aspekte/ Zielgrößen nach Flay [3]

Aspekte der Effektivitätsforschung

1. Efficacy 
   1. Wirksamkeit unter kontrollierten (idealisierten) Rahmenbedingungen 
2. Effectiveness 
   1. Wirksamkeit unter praktisch repräsentativen Rahmenbedingungen
3. Dissemination 
   1. Wirksamkeit unter Bedingungen der Regelversorgung (fließender Übergang zur Qualitätssicherung)
       

Wirksamkeitsanalysen (Summativ) - Konsumentenbefragung

• Zweck/ Ziel 
• Aufgabenstellung 
• Häufige Methoden 
• Probleme [5]
   

Wirksamkeitsanalysen - Konsumentenbefragung

1. Zweck/ Ziel 
   1. Überpr. der Zufriedenheit (Produkte, Interventionen) 
   2. zumeist in Kombination mit Bedarfs- und Versorgungsforschung oder QS
2. Aufgabenstellung
   1. Wie zufrieden sind die Klientel mit einer Intervention?
3. Häufige Methoden
   1. große repräsentative Umfragen (meist Online oder Telefon) 
4. Probleme  
   1. große repräs. SP nötig
   2. unklare subj. Bewertungsmaßstäbe 
   3. Validitätsprobleme von von Zufriedenheitsratings (Kognitive Dissonanz) 
   4. z.T. sehr hohe Selektivität der SP 
   5. eindimensionale Erfolgsmessung 

Evaluationsforschung - Definition 

Evaluationsforschung

• bezeichnet eine Bewertung unter expliziter Verwendung anerkannter (sozial-) wissenschaftlicher Methoden und Techniken auf Basis systematisch erfasster Daten 
• dient allg. Zweck der Reduktion von Unsicherheit bei Entscheidungsprozessen
• multidisziplinäres Fach in sehr unterschiedlichen Traditionen (tlw. gravierende Untersch. in Zielsetzung, Methoden) 

Programmevaluation

• Definition 
• Drei Aspekte nach Rossi 

Programmevaluation - Definition 

• systematische (forschungsbasierte) Bewertung eines sozialwiss. erstellten Interventionsprogramms. 

Drei Aspekte nach Rossi 

1. Analyse der Programmentwicklung (z.B. Notwendigkeit, Legitimierung) 
2. Analysen zur Programmdurchführung (z.B. Implementationsbedingungen) 
3. Analysen zur Programmwirkung (z.B. Effektivität, Effizienz) 

Legitimation von Evaluationsforschung [3]
 

Legitimation von Evaluationsforschung

1. Wissenschaftliche Fundierung 
   1. Überlegenheit wissenschaftlicher Strategien ggü. anderen Handlungsheuristiken 
2. Ethische und rechtliche Argumente 
   1. Verpfl. zur Anwendung der besten Verfahren 
3. Materielle Argumente 
   1. bestmgl. Ausnutzung von begrenzten Ressourcen
       

Funktionen systematischer Evaluationen [5]
 

Funktionen systematischer Evaluationen

1. Erkenntnisfunktion
   1. Aufbau von Wissensbeständen über den zu bewertenden Sachverhalt (z.B. Wissen über Entw. einer Intervention)
2. Kontrollfunktion 
   1. Überprüfung von Effektivität und Qualität (auch Kontrolle der Handlungen von Personen)
3. Dialogfunktion 
   1. Verbesserung von Austauschprozessen zw. beteiligten Personen/ Institutionen
4. Legitimitätsfunktion 
   1. von Handlungsstrategien, Aufgaben- und Ressourcenverteilung, Institutionen 
5. Taktische Funktion 
   1. Außendarstellung

Summative Evaluationen - Verlaufs- und Prozessforschung 

• Definition 

Verlaufs- und Prozessforschung 

• Beschreibung und Beurteilung von Veränderungsprozessen im Verlauf der Intervention (z.B. Verlauf & Qualität der therap. Beziehung in PT) 
• zumeist in Kombination mit Implementations- und Wirkanalysen 

Summative Evaluationen - Prozess-Erfolgsforschung 

• Definition 
• Aspekte [2]

Prozess-Erfolgsforschung 

• Analyse des Zsh. zw. Interventionsprozessen und den Erfolgen (z.B. welchen Einfluss hat spezifische Verlaufsform auf Ergebnisse der Intervention) 
• d.h. welche spezifischen Prozesse innerhalb der Intervention wie mit Ergebnissen zusammenhängen 

Aspekte:

1. Identifikation signif. Moderatoren (z.B. Geschlecht) 
2. Zsh. zw. Prozessparametern und Ergebnisvariablen (z.B. Qualität der therapeutischen Beziehung mit Erfolg)

Summative Evaluationen - Meta-Analysen 

Meta-Analysen 

• systematische Integration von Wirksamkeitsbefunden zu einer best. Intervention 

Summative Evaluation - Effizienzanalysen 

• Kosten-Nutzen Analysen 
  • ​Definition 

Kosten-Nutzen Analysen - ​Definition

•  systematische Gegenüberstellung von monetären Kosten und monetärem Nutzen einer Intervention (z.B. Kosten = Personal, material vs. Nutzen = geringere Krankheitskosten, Lohn-/ Steuerzahlungen) 
• z.B. xx€ pro investiertem €

Summative Evaluation - Effizienzanalysen 

• Kosten-Effektivitäts Analysen 
  • ​Definition 

Kosten-Effektivitäts Analysen - Definition

• systematische Gegenüberstellung von monetären Kosten und Parametern der Effektivität 
• z.B. Heilung eines Pat. kostet mit dieser Intervention xx €
• zumeist personenorientierte Auswertung 

Problemorientierte Taxonomie - Probleme

• alle Probleme nennen [8]
• kurz erläutern oder Fragestellung nennen 

Problemorientierte Taxonomie - Probleme

1. Konzeptionelle Probleme 
   1.  betreffen wissenschaftstheoretische Fragen zur Evaluation selbst
      1. Welche Methoden zur Eval. einer best. Intervention? 
         1. Formativ (prozessbegleitend) oder Summativ? 
         2. Qualitativ oder Quantitativ? 
2. Kontext-Probleme 
   1. Rahmenbedingungen, die eine Evaluation beeinflussen können
   2. z.B. Evaluation stark in angloamerikanischer Gesellschaft verankert; In Deutschland oft mit „Kontrolle“ assoziiert
3. Ziel- und Kriterienprobleme 
   1. betreffen die Definition und Operationalisierung von Evaluationszielen
      1. ​Wie misst man Erfolg? Sind die Interventionsziele sinnvoll und angemessen operationalisiert? 
4. Strategie-Probleme
   1. methodische Fragen zur Untersuchung und Datenerhebung
   2. Welche Untersuchungsdesigns und Erhebungsmethoden sind am besten geeignet?
5. Auswertungsprobleme 
   1. welche Auswertungsmethoden sind am besten geeignet?
6. Beurteilungsprobleme 
   1. methodische Qualität der Evaluation und die Interpretation der Ergebnisse
   2. Sind die Ergebnisse valide, zuverlässig und sinnvoll interpretierbar?
7. Implementations- und Nutzungsprobleme 
   1. Umsetzung wissenschaftlicher Erkenntnisse in die Praxis
   2. Welche Hürden gibt es bei der Umsetzung neuer Maßnahmen?​
8. Integrationsprobleme 
   1. Zusammenfassung und Synthese von Ergebnissen aus mehreren Studien
   2. Wie geht man mit widersprüchlichen Befunden um? 

Konzeptionelle Probleme - Meta-theoretische Probleme

• Kritik an der (stereo)typischen Gegenüberstellung Qualitativer & Quantitativer Forschung 

Kritik an der (stereo)typischen Gegenüberstellung Qualitativer & Quantitativer Forschung 

1. Festlegung auf best. Paradigma führt nicht zwangsl. dazu, dass nur best. Methoden verwendet werden können 
2. rein qualitatives/ rein quantitatives Vorgehen kann forschungspraktisch nicht nachgewiesen werden 
3. innerhalb einer Untersuchung sind beide Paradigmen nicht unvereinbar 
4. z.T. verfolgen beide Paradigmen untewrsch. Forschungsziele & Fragestellungen und können desh. nicht als austauschbare Alternativen angesehen werden 

Konzeptionelle Probleme - Evaluationsmodelle (Beywl) 

• Unterscheidung in Zwei Modelle 
   

Evaluationsmodell

1. Tatsachenorientiert/ Geschlossenes Evaluationsmodell 
   1. hoch strukturiert 
   2. zielorientiert, messbares Ergebnis 
   3. meist ergebnisorientiert 
   4. quantitativ-experimentell 
2. Wertorientiert/ Offenes Evaluationsmodell 
   1. wenig strukturiert 
   2. an Interessen Beteiligter orientiert (konfligierender Interessenspluralismus) 
   3. zumeist prozessorientiert 
   4. qualitativ-naturalistisch