In de kennissessie ‘Voorbij het tellen en meten: tools voor het evalueren van impact’ door de Hogeschool voor de Kunsten in Utrecht (HKU) bespreekt Lies Wijnterp, onderzoeker aan de HKU, de complexiteit van het meten van impact en pleit ze voor een bredere, meer kwalitatieve benadering.
Kwantitatief onderzoek zoals het tellen van bezoekers en ticketverkoop bieden vaak weinig inzicht in de werkelijke waarde van culturele projecten. Lies stelt dat de impact van kunst en cultuur vaak persoonlijk, complex en veelzijdig is. Ze pleit daarom voor het duiden en evalueren van impact in plaats van enkel meten.
In deze kennissessie geeft Lies het publiek drie impacttypologieën, drie methodes en ook drie manieren om de data te analyseren mee. Tot slot geeft ze drie tips voor impactevaluatie.
Veranderingen
Lies ziet drie grote veranderingen, waarvan ze hoopt dat die een plaats hebben in de toekomst van impactevaluatie. De eerste is een verschuiving van standaardmethoden, zoals Theory of Change, naar sectorspecifieke benaderingen die de artistieke en culturele waarde van projecten beter begrijpen. Ten tweede benadrukt ze dat impactevaluatie niet alleen achteraf moet plaatsvinden, maar doorlopend gedurende het project, zodat de impact ook tijdens de uitvoering geëvalueerd kan worden. Ten derde ziet ze een kans om impactevaluatie collectief aan te pakken, waarbij organisaties zelf leren van hun resultaten in plaats van het proces uit te besteden aan externe experts.
Omdat kunst en cultuur op verschillende terreinen impact creëren – economisch, cultureel, artistiek en maatschappelijk – moet impact gemeten worden op al deze waardes. Dat vraagt om specifiekere impactevaluatie.
Impacttypologieën
Impacttypologieën zijn een soort lenzen waar vanuit je kijkt naar je eigen praktijk:
- Nine Dimensions is een open model waarbij het gaat over wat een project met iemand doet. Het model biedt veel ruimte, maar is vrij academisch en gebruikt best abstracte taal. Er is recent een toolkit ontwikkeld op basis van deze typologie.
- Takso heeft een breder scala aan uitkomsten: economisch, ecologisch, cultureel, maar ook democratisch bestuur. Dit gaat zowel om werking als over de impact die een project heeft.
- Experience Impact Compass legt de nadruk op sociale, maatschappelijke dimensies, naast de creatieve. Economische en ecologische impact worden hierin niet meegenomen.
Methodes
Methodes die al bekend zijn in de sector kunnen de standaard enquêtes aanvullen.
In de toolkit van Nine Dimensions zit bijvoorbeeld de mogelijkheid tot het stellen van vragen. Hele open vragen, die soms wel wat complex zijn, maar mensen wel laten reflecteren. In een andere methode kregen mensen een dagboek mee waarin ze hun deelname evalueerden. Niet snel online een vragenlijst invullen dus, maar langzaam laten bezinken en de tijd nemen voor reflectie. Een derde voorbeeld is direct na een theaterervaring mensen bevragen over hun beleving in de vorm van een installatie, onder begeleiding van bijvoorbeeld een vragensteller, biechtbegeleider en tekenaar.
Analyseren
Het analyseren en interpreteren van data is lastig, maar er zijn veel mogelijkheden.
Bij een groot project in de zorg zijn niet alleen onderzoekers betrokken bij de analyse, maar ook de kunstenaars. Voor de evaluatie gebruikten de onderzoekers foto’s van de deelnemers van voor én na de deelname. Daarna analyseerden ze de foto’s: zitten mensen anders, houdt hij zijn hand op een andere manier, wat is er veranderd?
Bij een ander project stelden ze simpelweg de vraag: Wat vond je belangrijk tijdens de kunstactiviteit? Vervolgens werden de antwoorden geplot op een aantal assen.
Tot slot is er de Most Significant Change methode. Daarbij verzamelen onderzoekers verhalen, waarover men daarna in verschillende rondes met elkaar discussieert: Wat zijn de meest betekenisvolle verhalen? En vooral: waarom is dat zo?
Tips
- Maak impactevaluatie aantrekkelijk voor iedereen.
- Kijk naar je eigen praktijk en zoek een kunstvorm die daarbij past.
- Analyseer en interpreteer gezamenlijk, zodat je allemaal leert.