In questa tesi si affronta il tema della valutazione delle competenze orali in italiano L2 di studenti immigrati a livello avanzato – un’area di ricerca poco esplorata in generale e del tutto trascurata in Italia, dove invece la valutazione è un problema delicato per gli operatori della scuola, cui le recenti riforme chiedono di registrare le competenze e i progressi linguistici degli alunni immigrati. La tesi si propone di contribuire a risolvere questo problema, discutendo la natura, lo sviluppo e la misurazione della proficiency linguistica. Riprendendo le recenti discussioni emerse a livello internazionale, in questa tesi si coniugano la prospettiva acquisizionale e quella del testing, elaborando uno studio che, oltre ai risultati teorici, offre anche qualche spunto circa le implicazioni pratiche sia per la didattica sia per la valutazione delle competenze linguistiche degli studenti immigrati inseriti nella scuola italiana. La tesi quindi da un lato analizza in prospettiva acquisizionale la variabilità longitudinale e situazionale dell’interlingua di apprendenti avanzati impegnati nell’arco di tre anni nello svolgimento di quattro task comunicativi, e dall’altro verifica in prospettiva legata al testing la relazione che intercorre tra due tipi di misurazione: quella analitica che rileva la complessità, l’accuratezza e la fluenza del parlato (CAF), impiegata nei cosidetti developmental index studies di stampo acquisizionale, e quella più soggettiva basata sui descrittori del Quadro Comune Europeo di Riferimento (QCER), maggiormente legata all’ambito del testing. Il corpus della tesi è costituito dalle produzioni di quattro studentesse immigrate di diverse nazionalità e L1, integrato con quelle di due parlanti native di italiano con caratteristiche simili, che costituiscono la pietra di paragone per il confronto con le apprendenti. Le produzioni analizzate si riferiscono a due task monologici (il racconto di un film e il racconto di una storia ad immagini) e a due interattivi (l’intervista e l’apertura delle telefonate di servizio). La ricerca ha un carattere essenzialmente esplorativo, nel senso che si pone l’obiettivo di rispondere ad alcune domande-guida facendo scaturire eventuali ipotesi, piuttosto che di verificare ipotesi già formulate o di convalidare teorie specifiche. In particolare cerca di rispondere a tre serie di domande: (1) Come variano complessità, accuratezza e fluenza nel corso del tempo, man mano che progredisce l’interlingua? Come variano con il variare dell’attività comunicativa e rispetto ai parlanti nativi? Come si sviluppa il percorso individuale di ciascun soggetto? Quali relazioni intercorrono tra queste tre dimensioni dell’interlingua? (2) I descrittori del QCER sono efficaci nella valutazione delle competenze orali? In particolare, sono sensibili allo sviluppo longitudinale e alla variazione situazionale? (3) Quali relazioni intercorrono tra le misure CAF e le valutazioni QCER? L’analisi conferma come l’interlingua vari sistematicamente nel tempo, secondo i task svolti, e da apprendente a apprendente. In primo luogo, in prospettiva longitudinale, per tutte le apprendenti si registra un buon progresso in quasi tutte le misure considerate. In secondo luogo, così come per le studentesse italiane, anche per le apprendenti c’è variazione tra task fin dalla prima rilevazione. Ma, mentre per le prime i task monologici risultano sintatticamente più complessi e un po’ meno accurati e fluenti di quelli interattivi, per le seconde, gli indici della complessità e della fluenza variano in direzione opposta; e dunque le apprendenti risultano quasi più complesse e fluenti nei task monologici che in quelli interattivi. Alle successive tre rilevazioni si realizza un progressivo avvicinamento al comportamento linguistico delle italiane, anche se in modo e in misura diversa da task a task e da apprendente a apprendente. In terzo luogo, la maggiore variabilità tra le apprendenti sembra dipendere soprattutto dal livello di competenza iniziale. Infatti, da parte delle due ragazze che alla prima rilevazione risultavano più deboli, alcune misure, soprattutto complessità e fluenza, hanno registrato progressi non solo più significativi ma anche più lineari rispetto a quelli delle ragazze più avanzate. Un importante risultato di questa tesi è quindi la constatazione che il percorso evolutivo non sia costituito semplicamente da un aumento lineare e generalizzato di complessità, accuratezza e fluenza. In un task interattivo ad esempio un alto indice di complessità sintattica può indicare incompetenza sul piano interazionale, per cui le apprendenti possono evidenziare progressi attraverso una riduzione dei valori di complessità. Gli indici CAF non hanno pertanto andamenti sempre lineari: complessità, accuratezza e fluenza in alcuni casi possono progredire insieme, in altri aumentare a spese una di un’altra. Tale andamento sembra legato a vari elementi: il tipo di task e le scelte rispetto allo stile discorsivo che esso comporta, il livello di competenza iniziale, e infine le interazioni tra le tre dimensioni, con conseguenti effetti di compensazione. Le misure CAF non possono quindi essere considerate come indici assoluti della competenza, poiché un aumento o una diminuzione non corrisponde automaticamente a un cambiamento in positivo o in negativo. Di qui l’importanza di una loro combinazione, oltre che di un confronto con la variazione nativa, quando l’obiettivo è elaborare profili di proficiency affidabili. Il QCER si rivela nel complesso uno strumento piuttosto efficace nella valutazione dei livelli della coerenza-coesione, della correttezza grammaticale e della fluenza, anche se non è sempre sensibile alla variazione tra task. È questo il caso ad esempio dei task interattivi, in modo più evidente delle telefonate. Infatti qui i valutatori percepiscono i descrittori coerenze-coesione come poco adatti alle caratteristiche di questo task, in quanto non offrono informazioni sufficientemente dettagliate circa la qualità della performance attesa. Comunque, in generale, la tesi evidenzia l’utilità sia delle misure CAF sia delle valutazioni QCER, dimostrando come entrambe siano in grado di rilevare la variazione longitudinale e situazionale, disegnando in alcuni casi gli stessi andamenti, in altri complementando l’uno l’interpretazione dell’altro. L’indagine svolta quindi mette in luce l’utilità di una maggiore interazione tra ricerca acquisizionale e testing linguistico. Chi si occupa di testing può trovare nell’acquisizione spunti per una migliore definizione degli elementi linguistici corrispondenti ai livelli di proficiency. E chi si occupa di acquisizione può trovare nel testing strumenti per una più rigorosa verifica dell’affidabilità degli strumenti di elicitazione e di misurazione. Lo studio infine ha utili implicazioni tanto per la didattica quanto per il testing: nella costruzione di un sillabo linguistico-comunicativo è importante tenere conto dei dettagli dell’interazione e delle routine ad esse collegate, così come nel testing è utile non separare rigidamente la competenza linguistica dalla competenza interazionale.

This dissertation deals with the problem of assessing oral proficiency among immigrant learners of Italian L2 at an advanced level. This is an area of research rarely investigated in general and still neglected in Italy, where today assessment is a delicate issue for school operators, who are required by recent school reforms to evaluate linguistic competences and progress for immigrant students. The dissertation aims at contributing to the solution of this problem, by discussing the nature, development and measurement of linguistic proficiency. Referring to recent discussions at international level, it tries to combine two perspectives: second language acquisition and testing. Together with theoretical results, this combination can offer suggestions for practical implications of both the teaching and assessing of language proficiency of migrant students enrolled at Italian schools. From an acquisitional perspective this project analyses the longitudinal and situational variation of advanced learners involved in a three year time period in four communicative tasks. From a testing perspective, it aims at verifying the relationship between two types of measurements: an analytic one which quantifies complexity, accuracy and fluency (CAF), used in SLA research by the so called developmental index studies, and a more subjective one based on the descriptors of the Common European Framework of References (CEFR), more closely linked to testing. The corpus comprises the oral performance of four migrant students from different nationalities and mother tongues, as well as that of two native speakers of Italian with similar characteristics, who constitute the benchmark for the comparison with the learners. The language analysed has been elicited with two monologic tasks (film retelling and picture story telling) and two interactive ones (interview and telephone call openings). The study is explorative in nature, in so far as it aims at answering research questions and generating hypotheses, rather than verifying pre-formulated hypotheses or convalidate specific theories. In particular it aims at answering three sets of questions: (1) How do complexity, accuracy and fluency develop longitudinally? How do they vary in different communicative activities and in comparison with native speakers? What is the individual path of development of each learner? What are the possible relationships between these dimensions? (2) Are the selected CEFR descriptors effective in assessing oral proficiency? In particular are they sensitive to longitudinal and situational variation? (3) What is the relationship between CAF measures and CEFR ratings? The analysis shows that interlanguage varies systematically in relation to the task and learner. First, in the longitudinal perspective, all learners show progress in almost all the measures considered. Secondly, like the Italian students, all the learners show variation since the first data collection. However, whereas for native speakers the monologic tasks are syntactically more complex, and less accurate and fluent than the interactive ones, learners are more complex and fluent in the monologic tasks than in the interactive ones. Over the years learners achieve a progressive alignment with the native speakers’ linguistic behaviour, even if the manner and rate of progress change from task to task and from learner to learner. Thirdly, the higher variation amongst learners is due to the initial level of competence. The two learners that were weaker at the fist data collection, particularly in complexity and fluency, register changes that are not only more significant, but also more linear than those achieved by the two more advanced learners. An important result of this study is the observation that progress does not always correspond to a linear and generalised increase in complexity, accuracy and fluency. In an interactive task, for instance, a high index of syntactic complexity can indicate incompetency at the interactional level. This means that learners can achieve progress through a reduction in complexity. Furthermore complexity, accuracy and fluency in some cases can progress together, in other cases they develop one at the expense of the other. This seems to be connected to a series of factors: the initial level of competence, the type of task, the speech style chosen, and finally the interactions amongst the three dimensions, which can result in trade-off effects. Therefore CAF measures cannot be considered absolute indexes of proficiency, as an increase or decrease does not correspond automatically to a positive or negative change. As a consequence it is important to combine the different measures and compare them with native speaker variation, if the objective is the elaboration of more effective proficiency profile. The CEFR seems generally an effective tool, even if it is not always sensitive to task variation. This is the case with interactive tasks, in particular telephone calls. The raters used in this thesis perceive the descriptors cohesion-coeherence as unsuitable for the peculiarity of this interactive task, as they do not provide enough detailed information about the quality of the expected performance. However, in general, the study underlines the usefulness of both CAF measures and CEFR ratings, showing how they can both reflect longitudinal and situational variation, revealing in some cases the same tendencies, and in others complementing each other’s interpretation. The study shows the usefulness of a broader interaction between acquisition and testing. Those who are involved in testing can find various suggestions for a better definition of the linguistic elements related to different levels of proficiency in acquisition research. Those who are involved in acquisition can find instruments for a more rigorous validation of the elicitation and measurement instruments in the testing literature. Finally, the study has useful implications both for teaching and testing. In implementing a communicative syllabus it is important to consider the details of different types of interaction and their related routines, whereas in testing it is useful not to separate rigidly linguistic competence from interactional competence.

Valutare le competenze orali in italiano L2: variazione longitudinale e situazionale in apprendenti a livello avanzato

FERRARI, Stefania
2009-01-01

Abstract

In questa tesi si affronta il tema della valutazione delle competenze orali in italiano L2 di studenti immigrati a livello avanzato – un’area di ricerca poco esplorata in generale e del tutto trascurata in Italia, dove invece la valutazione è un problema delicato per gli operatori della scuola, cui le recenti riforme chiedono di registrare le competenze e i progressi linguistici degli alunni immigrati. La tesi si propone di contribuire a risolvere questo problema, discutendo la natura, lo sviluppo e la misurazione della proficiency linguistica. Riprendendo le recenti discussioni emerse a livello internazionale, in questa tesi si coniugano la prospettiva acquisizionale e quella del testing, elaborando uno studio che, oltre ai risultati teorici, offre anche qualche spunto circa le implicazioni pratiche sia per la didattica sia per la valutazione delle competenze linguistiche degli studenti immigrati inseriti nella scuola italiana. La tesi quindi da un lato analizza in prospettiva acquisizionale la variabilità longitudinale e situazionale dell’interlingua di apprendenti avanzati impegnati nell’arco di tre anni nello svolgimento di quattro task comunicativi, e dall’altro verifica in prospettiva legata al testing la relazione che intercorre tra due tipi di misurazione: quella analitica che rileva la complessità, l’accuratezza e la fluenza del parlato (CAF), impiegata nei cosidetti developmental index studies di stampo acquisizionale, e quella più soggettiva basata sui descrittori del Quadro Comune Europeo di Riferimento (QCER), maggiormente legata all’ambito del testing. Il corpus della tesi è costituito dalle produzioni di quattro studentesse immigrate di diverse nazionalità e L1, integrato con quelle di due parlanti native di italiano con caratteristiche simili, che costituiscono la pietra di paragone per il confronto con le apprendenti. Le produzioni analizzate si riferiscono a due task monologici (il racconto di un film e il racconto di una storia ad immagini) e a due interattivi (l’intervista e l’apertura delle telefonate di servizio). La ricerca ha un carattere essenzialmente esplorativo, nel senso che si pone l’obiettivo di rispondere ad alcune domande-guida facendo scaturire eventuali ipotesi, piuttosto che di verificare ipotesi già formulate o di convalidare teorie specifiche. In particolare cerca di rispondere a tre serie di domande: (1) Come variano complessità, accuratezza e fluenza nel corso del tempo, man mano che progredisce l’interlingua? Come variano con il variare dell’attività comunicativa e rispetto ai parlanti nativi? Come si sviluppa il percorso individuale di ciascun soggetto? Quali relazioni intercorrono tra queste tre dimensioni dell’interlingua? (2) I descrittori del QCER sono efficaci nella valutazione delle competenze orali? In particolare, sono sensibili allo sviluppo longitudinale e alla variazione situazionale? (3) Quali relazioni intercorrono tra le misure CAF e le valutazioni QCER? L’analisi conferma come l’interlingua vari sistematicamente nel tempo, secondo i task svolti, e da apprendente a apprendente. In primo luogo, in prospettiva longitudinale, per tutte le apprendenti si registra un buon progresso in quasi tutte le misure considerate. In secondo luogo, così come per le studentesse italiane, anche per le apprendenti c’è variazione tra task fin dalla prima rilevazione. Ma, mentre per le prime i task monologici risultano sintatticamente più complessi e un po’ meno accurati e fluenti di quelli interattivi, per le seconde, gli indici della complessità e della fluenza variano in direzione opposta; e dunque le apprendenti risultano quasi più complesse e fluenti nei task monologici che in quelli interattivi. Alle successive tre rilevazioni si realizza un progressivo avvicinamento al comportamento linguistico delle italiane, anche se in modo e in misura diversa da task a task e da apprendente a apprendente. In terzo luogo, la maggiore variabilità tra le apprendenti sembra dipendere soprattutto dal livello di competenza iniziale. Infatti, da parte delle due ragazze che alla prima rilevazione risultavano più deboli, alcune misure, soprattutto complessità e fluenza, hanno registrato progressi non solo più significativi ma anche più lineari rispetto a quelli delle ragazze più avanzate. Un importante risultato di questa tesi è quindi la constatazione che il percorso evolutivo non sia costituito semplicamente da un aumento lineare e generalizzato di complessità, accuratezza e fluenza. In un task interattivo ad esempio un alto indice di complessità sintattica può indicare incompetenza sul piano interazionale, per cui le apprendenti possono evidenziare progressi attraverso una riduzione dei valori di complessità. Gli indici CAF non hanno pertanto andamenti sempre lineari: complessità, accuratezza e fluenza in alcuni casi possono progredire insieme, in altri aumentare a spese una di un’altra. Tale andamento sembra legato a vari elementi: il tipo di task e le scelte rispetto allo stile discorsivo che esso comporta, il livello di competenza iniziale, e infine le interazioni tra le tre dimensioni, con conseguenti effetti di compensazione. Le misure CAF non possono quindi essere considerate come indici assoluti della competenza, poiché un aumento o una diminuzione non corrisponde automaticamente a un cambiamento in positivo o in negativo. Di qui l’importanza di una loro combinazione, oltre che di un confronto con la variazione nativa, quando l’obiettivo è elaborare profili di proficiency affidabili. Il QCER si rivela nel complesso uno strumento piuttosto efficace nella valutazione dei livelli della coerenza-coesione, della correttezza grammaticale e della fluenza, anche se non è sempre sensibile alla variazione tra task. È questo il caso ad esempio dei task interattivi, in modo più evidente delle telefonate. Infatti qui i valutatori percepiscono i descrittori coerenze-coesione come poco adatti alle caratteristiche di questo task, in quanto non offrono informazioni sufficientemente dettagliate circa la qualità della performance attesa. Comunque, in generale, la tesi evidenzia l’utilità sia delle misure CAF sia delle valutazioni QCER, dimostrando come entrambe siano in grado di rilevare la variazione longitudinale e situazionale, disegnando in alcuni casi gli stessi andamenti, in altri complementando l’uno l’interpretazione dell’altro. L’indagine svolta quindi mette in luce l’utilità di una maggiore interazione tra ricerca acquisizionale e testing linguistico. Chi si occupa di testing può trovare nell’acquisizione spunti per una migliore definizione degli elementi linguistici corrispondenti ai livelli di proficiency. E chi si occupa di acquisizione può trovare nel testing strumenti per una più rigorosa verifica dell’affidabilità degli strumenti di elicitazione e di misurazione. Lo studio infine ha utili implicazioni tanto per la didattica quanto per il testing: nella costruzione di un sillabo linguistico-comunicativo è importante tenere conto dei dettagli dell’interazione e delle routine ad esse collegate, così come nel testing è utile non separare rigidamente la competenza linguistica dalla competenza interazionale.
italiano L2; variazione longitudinale e situazionale
This dissertation deals with the problem of assessing oral proficiency among immigrant learners of Italian L2 at an advanced level. This is an area of research rarely investigated in general and still neglected in Italy, where today assessment is a delicate issue for school operators, who are required by recent school reforms to evaluate linguistic competences and progress for immigrant students. The dissertation aims at contributing to the solution of this problem, by discussing the nature, development and measurement of linguistic proficiency. Referring to recent discussions at international level, it tries to combine two perspectives: second language acquisition and testing. Together with theoretical results, this combination can offer suggestions for practical implications of both the teaching and assessing of language proficiency of migrant students enrolled at Italian schools. From an acquisitional perspective this project analyses the longitudinal and situational variation of advanced learners involved in a three year time period in four communicative tasks. From a testing perspective, it aims at verifying the relationship between two types of measurements: an analytic one which quantifies complexity, accuracy and fluency (CAF), used in SLA research by the so called developmental index studies, and a more subjective one based on the descriptors of the Common European Framework of References (CEFR), more closely linked to testing. The corpus comprises the oral performance of four migrant students from different nationalities and mother tongues, as well as that of two native speakers of Italian with similar characteristics, who constitute the benchmark for the comparison with the learners. The language analysed has been elicited with two monologic tasks (film retelling and picture story telling) and two interactive ones (interview and telephone call openings). The study is explorative in nature, in so far as it aims at answering research questions and generating hypotheses, rather than verifying pre-formulated hypotheses or convalidate specific theories. In particular it aims at answering three sets of questions: (1) How do complexity, accuracy and fluency develop longitudinally? How do they vary in different communicative activities and in comparison with native speakers? What is the individual path of development of each learner? What are the possible relationships between these dimensions? (2) Are the selected CEFR descriptors effective in assessing oral proficiency? In particular are they sensitive to longitudinal and situational variation? (3) What is the relationship between CAF measures and CEFR ratings? The analysis shows that interlanguage varies systematically in relation to the task and learner. First, in the longitudinal perspective, all learners show progress in almost all the measures considered. Secondly, like the Italian students, all the learners show variation since the first data collection. However, whereas for native speakers the monologic tasks are syntactically more complex, and less accurate and fluent than the interactive ones, learners are more complex and fluent in the monologic tasks than in the interactive ones. Over the years learners achieve a progressive alignment with the native speakers’ linguistic behaviour, even if the manner and rate of progress change from task to task and from learner to learner. Thirdly, the higher variation amongst learners is due to the initial level of competence. The two learners that were weaker at the fist data collection, particularly in complexity and fluency, register changes that are not only more significant, but also more linear than those achieved by the two more advanced learners. An important result of this study is the observation that progress does not always correspond to a linear and generalised increase in complexity, accuracy and fluency. In an interactive task, for instance, a high index of syntactic complexity can indicate incompetency at the interactional level. This means that learners can achieve progress through a reduction in complexity. Furthermore complexity, accuracy and fluency in some cases can progress together, in other cases they develop one at the expense of the other. This seems to be connected to a series of factors: the initial level of competence, the type of task, the speech style chosen, and finally the interactions amongst the three dimensions, which can result in trade-off effects. Therefore CAF measures cannot be considered absolute indexes of proficiency, as an increase or decrease does not correspond automatically to a positive or negative change. As a consequence it is important to combine the different measures and compare them with native speaker variation, if the objective is the elaboration of more effective proficiency profile. The CEFR seems generally an effective tool, even if it is not always sensitive to task variation. This is the case with interactive tasks, in particular telephone calls. The raters used in this thesis perceive the descriptors cohesion-coeherence as unsuitable for the peculiarity of this interactive task, as they do not provide enough detailed information about the quality of the expected performance. However, in general, the study underlines the usefulness of both CAF measures and CEFR ratings, showing how they can both reflect longitudinal and situational variation, revealing in some cases the same tendencies, and in others complementing each other’s interpretation. The study shows the usefulness of a broader interaction between acquisition and testing. Those who are involved in testing can find various suggestions for a better definition of the linguistic elements related to different levels of proficiency in acquisition research. Those who are involved in acquisition can find instruments for a more rigorous validation of the elicitation and measurement instruments in the testing literature. Finally, the study has useful implications both for teaching and testing. In implementing a communicative syllabus it is important to consider the details of different types of interaction and their related routines, whereas in testing it is useful not to separate rigidly linguistic competence from interactional competence.
File in questo prodotto:
File Dimensione Formato  
TESI FERRARI.PDF

accesso aperto

Tipologia: Tesi di dottorato
Licenza: Dominio pubblico
Dimensione 6.42 MB
Formato Adobe PDF
6.42 MB Adobe PDF Visualizza/Apri

I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/11562/337542
Citazioni
  • ???jsp.display-item.citation.pmc??? ND
  • Scopus ND
  • ???jsp.display-item.citation.isi??? ND
social impact