Enligt stadgarna ska Mistra ”tillse att den forskning som stiftelsen stödjer utvärderas regelbundet” (§19).

Syftet med utvärderingarna är att säkerställa kvaliteten på forskningsprogram och övriga verksamheter som Mistra finansierar. Utvärderingarna ger styrelse och ledning viktigt beslutsunderlag.

Utvärderingarna har oftast formen av kollegial bedömning – peer review – där forskningens vetenskapliga kvalitet och samhällsnytta står i centrum. Även andra typer av utvärderingar förekommer, till exempel ledarskaps- och organisationsutvärderingar. Därutöver utvärderar Mistra kontinuerligt exempelvis sin egen kapitalförvaltning och olika kommunikationsinsatser.

Mistras forskningsprogram granskas eller utvärderas på olika sätt och vid olika tillfällen. Utvärdering sker alltid vid ansökningsskedet och i slutet av fas ett (så kallad mid-term review). I vissa fall görs även ytterligare utvärdering av till exempel samhällsnytta eller kommunikation, ibland som en del av en tematisk utvärdering där flera program omfattas, ibland efter programmets avslut.

Utvärderingskriterier

Mistra tillämpar vanligen följande kriterier:

• Ansats, det vill säga i vilken mån programmet har en bärande och sammanhängande idé och innovativ inriktning, hur välformulerade målen är samt hur väl de förväntade effekterna redovisas (inklusive indikatorer).
• Vetenskaplig kvalitet, det vill säga hur väl programmet svarar mot kraven på hög vetenskaplig kompetens, teoretisk höjd och metodologisk kvalitet.
• Nytta, det vill säga hur välutvecklad samverkan med användare av forskningsresultaten är (och förväntas vara) och vilka stödjande kommunikativa processer och metoder som används för att uppnå en effektiv implementering.
• Ledning och organisation, det vill säga på vilket sätt programmet kommer att integreras i värdorganisationen, hur det kommer att styras och organiseras och med vilken grad av effektivt nyttjande av resurser.

Därutöver kan en utvärdering innehålla ett eller flera ad hoc-kriterier, till exempel ”bidrag till Sveriges konkurrenskraft” eller ”uppbyggnad av starka forskningsmiljöer”. Vid specialutvärderingar kan kriterierna vara annorlunda.

Forskningens samhällspåverkan

Det är svårt att förutse exakt vilka resultat ett forskningsprogram kommer att generera eller vilket genomslag forskningen får. I ett utvärderingsperspektiv är det dock viktigt att ändå försöka formulera antaganden om hur resultaten ska komma till användning. Alla ansökningar ska därför innehålla ett avsnitt om vilka samhällseffekter man förutser. På utvärderingsspråk brukar det här kallas programteori eller effektlogik – man går längre än att bara mäta graden av måluppfyllelse.

Den som lämnar in en ansökan till Mistra kan själv välja metod för att redovisa den tänkta effektlogiken, men här följer ett exempel på hur man kan resonera:

• Resultat, exemplevis vetenskapliga artiklar, rapporter, policy briefs
• Utfall, exempelvis gemensam förståelse, systeminsikt, konsensus om karaktären hos ett problem
• Samhällseffekter, exempelvis kursändring, transformativ förändring, institutionalisering
• Genomslag, det vill säga långsiktiga samhällsförändringar

Riktlinjer för utvärdering

Riktlinjer, så kallade Terms of Reference, tas fram för varje utvärdering. De ger bakgrund och syfte till utvärderingen och innehåller de utvärderingskriterier som ska tillämpas (se ovan). Riktlinjerna beskriver också utvärderingsprocessen som helhet, inklusive tidplan.
Riktlinjerna tas fram av Mistras kansli och fastställs av vd, som också beslutar om utvärderingspanelens sammansättning.

Kontaktperson