Descrivere in modo omogeneo la forma dei gesti e dei segni: il sistema di trascrizione Typannot

Abstract

I corpora multimodali presentano spesso uno squilibrio significativo nel trattamento dei dati relativi alla parola ed alla gestualità: mentre è frequente riscontrare un flusso del parlato integralmente segmentato, trascritto e arricchito di annotazioni, è più raro individuare corpora in cui il flusso gestuale sia stato, anche solo parzialmente, segmentato e/o la forma dei gesti sia stata trascritta.

Questo squilibrio non indica una mancanza di interesse verso la componente gestuale, ma è piuttosto indizio di un problema tecnico. I ricercatori che lavorano sul parlato hanno a disposizione numerosi strumenti che permettono di trattare in modo efficace i dati orali, mentre coloro che si occupano di gestualità non possiedono nulla di equivalente. Tra i primi strumenti la cui assenza condiziona fortemente il lavoro dei ricercatori, vi è un sistema di trascrizione che consenta una descrizione rigorosa, dettagliata, leggibile, interrogabile e relativamente rapida da realizzare di tutte le caratteristiche articolatorie dei gesti e dei segni.

Una delle difficoltà principali per lo sviluppo di un sistema di trascrizione per la gestualità è l'eterogeneità degli elementi da descrivere: mani, testa, spalle, torso, bocca, occhi, etc., ognuno ha le proprie caratteristiche di forma e funzionamento. Ciò suggerisce la necessità di avere un sistema di trascrizione distinto per ogni articolatore, il che non solo moltiplica il numero di sistemi che un singolo ricercatore deve saper usare, ma fornisce una visione caleidoscopica del corpo che difficilmente permette di capire cosa esso faccia nel suo insieme.

Attraverso lo sviluppo di Typannot (Bianchini et al., 2018; Bianchini, 2023), il gruppo di ricerca GestualScript — composto da linguisti, designer, tipografi ed informatici — si prefigge di risolvere questa situazione, proponendo un sistema di trascrizione tipografica della gestualità (e delle Lingue dei Segni) che possa descrivere in modo uniforme tutte le parti del corpo. GestualScript si basa sul Kinesiological Approach di Boutet (2018), che concepisce il corpo come un'entità globale composta da parti che agiscono insieme per trasmettere il significato di un gesto o di un segno.

L'obiettivo del seminario è dimostrare come Typannot possa rappresentare in modo dettagliato, leggibile, interrogabile e soprattutto omogeneo tutte le parti del corpo coinvolte nella realizzazione di un gesto o di un segno. Questo modo di descrivere il corpo ha inoltre il vantaggio di essere compatibile con i dati provenienti dalla motion capture (MoCap), consentendo quindi l'uso combinato di Typannot e MoCap per sviluppare una trascrizione semiautomatica (e quindi veloce) della parte gestuale dei corpora multimodali. Verranno presentati esempi concreti, seppur preliminari, di come sia stato possibile associare Typannot e dati MoCap nell'ambito del progetto ANR‑LexiKHuM, che studia la relazione tra movimenti della testa ed espressione dell’(in)certezza.

Bianchini, C. S. (2024). (D)écrire les Langues des Signes. Une approche grapholinguistique aux Langues des Signes (Vol. 8). Fluxus Editions.

Bianchini, C. S., Chèvrefils, L., Danet, C., Doan, P., Rébulard, M., Contesse, A., & Boutet, D. (2018). Coding Movement in Sign Languages: The Typannot Approach. Proceedings of the 5th International Conference on Movement and Computing, 1–8. https://doi.org/10.1145/3212721.3212808

Boutet, D. (2018). Pour une approche kinésiologique de la gestualité [PhD Thesis, Université de Rouen]. https://hal.science/tel-02357282

Bio

Claudia S. Bianchini è, dal 2012, professoressa associata di Linguistica delle Lingue dei Segni presso l’Università di Poitiers e, dal 2022, coordina il corso di laurea di “Scienze del Linguaggio / Lingua dei Segni Francese”. È membro permanente del laboratorio FoReLLIS di Poitiers e del gruppo di ricerca GestualScript dell’École Supérieure d’Art et Design (ESAD) di Amiens. I suoi principali interessi di ricerca riguardano i sistemi di scrittura e trascrizione delle Lingue dei Segni e della gestualità co‑verbale, con particolare attenzione ai problemi di rappresentazione del movimento ed allo sviluppo di strumenti per velocizzare la trascrizione di dati multimodali.