The impact of audio-visual speech on work-load in simultaneous interpreting

Abstract

Conference interpreters face various sources of visual input during their work: the speaker’s gestures, reactions from the audience, presentations, etc. Far from perceiving this additional visual information as additional burden, interpreters insist on having access to visual information. The aim of this study was to investigate the impact of visible lip movements on simultaneous interpreting contrasting simultaneous interpreting with / without visible lip movements and with / without background noise. A group of listeners was included in order to control for task effects (N=31, 17 listeners and 14 interpreters). Participants’ ratings of speech difficulty and speech delivery, duration judgments, recall accuracy of the speech, fundamental voice frequency, silent pauses, translation accuracy, cognate translations and pupillary reactions were statistically investigated. On the whole, the findings did not support the hypothesis that audio-visual speech input lowers work-load in simultaneous interpreting. For pupillary reactions even the opposite pattern was found: pupil sizes were larger during simultaneous interpreting with audio-visual speech, but not during simultaneous interpreting with background noise, a factor having been found to affect performance and participants’ ratings. In the light of this pattern, the effect of visual input may be interpreted in this case in terms of general arousal without necessarily being linked to work-load.

Konferenzdolmetscher nehmen beim Dolmetschen verschiedene visuelle Informationen auf, wie Gesten des Redners, Reaktionen aus dem Publikum, Präsentationen, usw.. Statt diese als zusätzliche Belastung wahrzunehmen, bestehen Dolmetscher auf visuelle Informationen. Ziel der Studie war den Effekt sichtbarer Lippenbewegungen auf das Simultandolmetschen zu untersuchen. Hierbei wurden vier Bedingungen kontrastiert: Simultandolmetschen mit/ohne sichtbare Lippenbewegungen und mit/ohne Hintergrundrauschen. Zum Ausschluss aufgabenspezifischer Effekte wurde eine Kontrollgruppe aus Zuhörern eingeschlossen (N=31, 14 Dolmetscher und 17 Zuhörer). Statistisch ausgewertet wurden die Bewertungen der Textschwierigkeit und Redegeschwindigkeit, Einschätzung der Rededauer, Antworten auf inhaltliche Fragen, Grundstimmfrequenz, Dolmetschpausen, Dolmetschleistung, Anzahl der Cognates und Pupillengröße. Insgesamt konnte die Hypothese, dass sichtbare Lippenbewegungen die kognitive Belastung beim Simultandolmetschen verringern, nicht bestätigt werden. Bei den Pupillengrößen wurde sogar der gegenläufige Trend beobachtet: Pupillen waren größer beim Simultandolmetschen mit Lippenbewegungen, aber nicht bei Hintergrundrauschen, obwohl festgestellt werden konnte, dass dieser Faktor die Dolmetschleistung und die Bewertung der Textschwierigkeit beeinflusst. Vor diesem Hintergrund könnten der Effekt des visuellen Inputs als allgemeiner Erregungszustand gedeutet werden, der nicht notwendigerweise mit der kognitiven Belastung zusammenhängt.