“La valutazione dei Servizi Educativi. Indagine sulla cultura valutativa nei servizi educativi rivolti alla prima infanzia”

Nell'ampio panorama dei servizi educativi la realtà dei servizi rivolti alla prima infanzia ormai da tempo si occupa delle questioni legate alla valutazione. Sin dagli anni Novanta istituti di documentazione a livello europeo hanno elaborato concettualizzazioni e strumenti atti a sostenere una valutazione che non si riduca alla corrispondenza a standard fissati dagli esperti ma che rimandi ad una concezione di qualità come costrutto multidimensionale, frutto di in un processo dinamico e partecipato. Uno dei momenti cruciali che il panorama italiano ha conosciuto è il percorso di ricerca avviato dal gruppo di ricerca dell'Università di Pavia (Ferrari, Becchi, Bondioli, Livraghi, Gariboldi). Il gruppo ha costruito un modello di valutazione definita “formativa” e “trasformativa”, quindi da un lato collegata ad esperienze di ricerca-formazione e dall'altro in grado di sviluppare consapevolezza da parte dei pratici in merito a possibili questioni latenti. La peculiarità dell'approccio è il riferimento a quei caratteri micro del contesto educativo, per discuterne criticamente la qualità nella sua misura più quotidiana. Si tratta inoltre di un orientamento valutativo non centrato sui risultati ottenuti dai bambini in ottemperanza a programmi e curriculum formativi, bensì su criteri in grado di definire la qualità del servizio nel suo complesso. Tuttavia, ad una ragionevole distanza di tempo dall'istituzione dei nidi (l. 1044 del 1971), alcune caratteristiche dell'attuale momento storico invitano a muovere uno sguardo approfondito sulla relativa cultura valutativa , ovvero: la diversificazione, in termini economici e socio-culturali del servizio sul territorio; l'aumento del numero e contemporaneamente, la diversificazione dei soggetti gestori; le politiche valutative emergenti, volte all'accreditamento e certificazione della qualità dei servizi, che interessano anche i nidi. In questo panorama si è inteso focalizzare l'attenzione sulla valutazione non come applicazione di strumenti o rendicontazione, quale sembra essere la limitante visione delle attuali politiche valutative, bensì come percorso che coinvolge in prima istanza i soggetti che gravitano attorno al servizio, e che quindi nasce dalle esigenze degli operatori stessi. A far da pioniere nell'opposizione alla valutazione “preordinata” è Robert E. Stake, che critica l'uso degli scopi come criterio di giudizio, seguendo l'innovativo percorso segnato da Scriven, e l'imposizione a priori di un disegno di ricerca che appiattisce la dimensione locale e individuale tramite standard. La domanda di ricerca è stata quindi: che tratti dovrà avere una valutazione che intenda essere in primo luogo, utile e significativa agli operatori? Pertanto, gli obiettivi della ricerca possono essere riassunti in: comprendere la cultura valutativa esistente in alcuni servizi rivolti alla prima infanzia di Verona e provincia; costruire, a partire dagli eventuali bisogni formativi emergenti, un percorso formativo sulla valutazione. I contesti interessati sono stati 7 servizi rivolti ai bambini dai zero ai tre anni e i loro genitori. La ricerca, costruita con una metodologia qualitativa, si è sviluppata attraverso: - case study tramite l'analisi della documentazione; - osservazione non partecipante della pratica quotidiana di alcuni dei contesti coinvolti; - intervista semi-strutturata individuale ad educatrici/tori; - per il servizio degli Spazi Famiglia si è inoltre preso parte alla realizzazione di un percorso riflessivo, (12h) volto a stendere alcune linee guida relative ad una pratica valutativa possibile. L'analisi delle interviste ha evidenziato alcuni nodi relativi alla cultura valutativa presente nei servizi coinvolti: difficilmente le educatrici hanno dato una definizione chiara del concetto di valutazione, sottolineandone la componente emotiva prevalentemente segnata da vissuti negativi, tanto da dichiarare in alcuni casi che la stessa non appartiene al contesto di lavoro con bambini piccoli, preferendo termini quali osservazione, nei confronti dei bambini e condivisione, nei confronti del gruppo di lavoro. I sistemi di valutazione provenienti dall'esterno dei servizi (accreditamento, certificazione) hanno avuto impatti diversi nelle singole realtà, il cui distinguo riguarda innanzitutto la percezione più o meno diffusa nel personale educativo: laddove esiste una chiara distinzione di ruoli l'impatto sull'educativo può dirsi quasi assente, mentre dove esiste una condivisione piena di tutti gli aspetti che caratterizzano il nido, l'impatto sul personale può dirsi più diffuso. Altra considerazione possibile è che la richiesta mossa da queste incombenze se da un lato rappresenta, per alcune realtà più strutturate un carico di lavoro aggiuntivo e scarsamente significativo, per altre, essa ha consentito di aprire nuovi spazi di pensiero nel servizio legati alla valutazione. Un particolare strumento di queste forme di valutazione considerato come positivo è il questionario ai genitori, che permette di raccogliere informazioni utili in un momento storico in cui la partecipazione dei genitori alla vita del servizio è compromessa da ritmi quotidiani diversificati. Emerge una scarsa disponibilità di tempi e spazi potenzialmente dedicabili a momenti di valutazione, intesa come pratica riflessiva, assorbiti da altre incombenze burocratico-amministrative e dalla necessità di offrire un monte ore molto alto al lavoro di cura. Per quanto riguarda il senso della valutazione, emerge una consapevolezza diffusa circa l'uso strumentale della valutazione, ovvero l'impiego di quanto appreso grazie alla valutazione per il miglioramento delle pratiche e del servizio in genere. Tuttavia, tale uso rimane in qualche modo ideale, scarsamente viene accompagnato da considerazioni metodologiche. Laddove ciò accade, grazie alla presenza di strumenti quali griglie di osservazione, sembra tuttavia emergere un mancato riconoscimento di quanto prodotto in termini di conoscenza e suggerimenti, essendo i potenziali cambiamenti materia di decisione di un livello superiore, che non sembra valorizzare a sufficienza quanto prodotto. Le conclusioni possibili dall'analisi dei dati e della letteratura portano a considerare due principali condizioni dei servizi individuati, entrambe non facilitanti lo sviluppo di una valutazione radicata nelle pratiche e quindi capace di svolgere quella funzione di apportare qualità più che certificarne o meno il livello, con modalità scarsamente significative: 1) si ravvisa una condizione strutturale dei servizi fortemente problematica, non immune da una fase socio-economica fortemente critica che oltre a ridurre fortemente le risorse a disposizione di questi servizi riversa sugli stessi richieste di valutazione formale senza di fatto riconoscere il peso che queste incombenze rappresentano per la gestione quotidiana del servizio; 2) a fronte delle interviste e nel confronto con la produzione scientifica disponibile, internazionale e nazionale, si constata una cultura della valutazione che è possibile definire “ingenua”, ovvero informata spesso da esperienze e vissuti personali raramente accompagnati da riflessioni approfondite e condivise, ed un utilizzo di strumenti e metodi, laddove presenti, scarsamente condiviso in profondità dal personale educativo. Prevale inoltre una connotazione negativa del termine. La seconda conclusione invita a considerare quanto esposto come un bisogno formativo dei servizi, volto a promuovere un arricchimento delle pratiche educative nelle quali la valutazione assuma uno status innanzitutto significativo, ovvero coerentemente associato alla pratica. Non è possibile, tuttavia, disconoscere i limiti imposti dall'organizzazione dei servizi stessi, che riducono fortemente le possibilità di individuare spazi riservati alla formazione e al conseguente benessere professionale del personale educativo.

In the wide range of Italian educational services the reality of services for early childhood is since a long time dedicate to evaluation issues. Since the nineties European institutions of documentations have developed conceptualizations and instruments to support an evaluation not reduced as a correspondence to standards set by the experts but that refers to a conception of quality as a multidimensional construct, result of a dynamic and continuous process. One of the crucial moments in the Italian scene, is the path of research and development on the evaluation of ECE services, started by the research group of the University of Pavia (Ferrari, Becchi, Bondioli, Livraghi, Gariboldi). The group began a path that will lead to the definition of an evaluation model called "formative" and "transformative": on one hand connected to experiences of research-training able to involve educators and teachers and on the other hand able to develop awareness by practitioners about possible latent issues. The peculiarity of the approach is the reference to those “micro” characters of the ECE contexts, to critically discuss about the quality of the educational environment in its daily reality. At the same way it has to be recognized the peculiar attention to the quality of the context, and thus an evaluative orientation not centered on the results achieved by children in compliance with educational programs and curriculum, but centered on criteria that define the quality of service on the whole. However, since their institution of daycare (l. 1044, 1971), some features of the present historic moment request a closer look on the evaluation culture in the ECE services, namely:  diversification of the service in the territory in economical and socio-cultural terms;  increasing of the number and the diversification of subjects that deal with them;  the emerging assessment policies, which lead to the accreditation and certification of the quality of services, and therefore also of the daycare. In this research the primarily attention is focused not in evaluation as simple application of tools, but rather as a path involving in the first instance those who gravitate around to the service , which therefore was born from the needs of the practitioners themselves. A pioneer in the opposition to the "preordained" assessment is Robert E. Stake, who comings out from the educational programs setting, criticizes the use of purpose as a criterion of judgment, following the path marked by the innovative Scriven, and also criticizes the imposition of a prior research design that flattens out the local and individual through standard. Therefore the Research Question is: wich kind of evaluation will be significant for the practitioners? This is the reason why the research aims to: gain a deep understanding of evaluation practice, models and cultures in early childhood services in a wide portion of Verona city and province; build, in a cooperative framework including researchers and professionals of a small sample of the services involved, guidelines for a context-sensitive evaluation model. The research has developed n. 7 case studies using qualitative methods: content analysis of professional documents; non-participant observation of daily practice of some of the contexts involved; interviews with the professionals; four parent support services also take part into a reflective workshop (12 hours) aiming to build the new guidelines. Interviews’ analysis showed some nodes related to the evaluation culture in the involved services:  daycare’s teachers gave hardly a clear definition of the concept of evaluation. They emphasize the evaluation’s emotional component, mainly marked by negative experiences, in some cases they even declare that this word doesn’t belong to the ECE services: they believe that it’s too hard and preferring terms such as observation for children and sharing, for the working group.  Evaluations’ systems coming out from outside services (accreditation, quality assurance) is the first reference in front of the term “evaluation”. It seems to have different engagement on each involved service, whose distinction is primarily related to the more or less widespread perception in educational staff: where there is a clear distinction of roles the engagement on daycare’s teachers could be almost absently, otherwise where there is a full sharing of all the aspects which characterize a nest, like in cooperative’s reality, the engagement on staff would be more widespread and sensed. However if for some more structured reality this kind of evaluation is only an additional workload and barely significant, for other realities it has made possible to open up new areas of thought in the service related to the evaluation, changing aspects of the service until now scarcely considered, such as the documentation. A special tool for these forms of assessment considered as positive, or at least interesting for the service, is the questionnaire to the parents, which allows to collect information in a historical moment in which the participation of parents in services’ life is compromised by diversified daily rhythms and therefore not exactly conducive to shared meeting of more subjects.  It comes out a lack of availability of spaces and times potentially dedicated to a moments of evaluation, intended as reflective practice, instead absorbed, by other bureaucratic-administrative tasks and by the need to offer a very high number of hours to the work of care.  Regarding the meaning of the evaluation, it comes out a widespread awareness about the instrumental use of evaluation, which means the use of what has been learned through the evaluation for the improvement of the practices and in general for the service. However, that use remain something ideal, poorly accompanied by methodological considerations, namely the identification of how to collect information and then draw conclusions useful for the improvement. Where this happens, thanks to the presence of tools such as observation grids, it reveals however a lack of recognition of what is produced in terms of knowledge and suggestions, because the potential changes regarding a decisional field which is at a higher level, and that seems not to enhance enough the product . Possible conclusions from the data analysis and literature lead to two main conditions of the services, neither of which is facilitating the development of an assessment rooted in the practices and therefore able to increase the quality more than certify whether or not the level, with scarcely significant manner: 1) a deeply problematic structural condition of the services, partly due to the actual highly critical socio-economic phase, which as well as greatly reduce the available resources to the services also requires formal assessment (accreditation, quality) without actually recognize the weight of these tasks for the daily management of the service and reducing care’s moments; 2) following the interviews and in comparison with the available (international and national) scientific literature, it emerges a culture of evaluation that can be defined as "naive", namely it’s often informed by personal experiences but rarely accompanied by profound and shared reflections. It prevails also a negative connotation of the term, since it is associated with judgment, controls and any formalities compulsory but necessary for the survival of the service. This second conclusion invites us to consider the above as a training need of the services, aimed at an improving of educational practices in which the evaluation could take a “significant” status, namely consistently associated to the practice. It’s not possible however to ignore the limits imposed by the organization of services itself, which greatly reduces the possibility of identifying training’s areas and prevent the subsequent professional welfare of teachers.