[en] INTEGRATION BETWEEN LINGUISTIC AND VISUAL INFORMATION IN THE READING OF NEWS GRAPHS: A PSYCHOLINGUISTIC STUDY OF MULTIMODAL COMPREHENSION

[pt] INTEGRAÇÃO ENTRE INFORMAÇÃO LINGUÍSTICA E VISUAL NA LEITURA DE GRÁFICOS DE NOTÍCIAS: UM ESTUDO SOBRE A COMPREENSÃO MULTIMODAL SOB ENFOQUE DA PSICOLINGUÍSTICA

[pt] EMANUELLE DA SILVA AVILA

[pt] RASTREAMENTO OCULAR

[pt] GRAFICO EM NOTICIAS

[pt] PSICOLINGUISTICA E LETRAMENTO ESTATISTICO

[pt] INTEGRACAO ENTRE INFORMACAO LINGUISTICA E VISUAL

[pt] LETRAMENTO ESTATISTICO

[pt] COMPREENSAO MULTIMODAL

[en] EYE TRACKING

[en] GRAPHIC NEWS

[en] PSYCHOLINGUISTICS AND STATISTICAL LITERAC

[en] INTEGRATION BETWEEN LINGUISTIC AND VISUAL INFORMATION

[en] STATISTICAL LITERACY

[en] MULTIMODAL COMPREHENSION

[pt] Esta dissertação investigou a compreensão multimodal de constelações texto–gráfico em notícias digitais, considerando que gráficos não apenas ilustram, mas participam ativamente da construção de sentido e da avaliação da informação apresentada. Inserida no campo da Psicolinguística, em interface com a Psicologia Cognitiva e o Letramento Estatístico, a pesquisa articula contribuições do Letramento Estatístico (Gal, 2002), da teoria cognitiva de compreensão de gráficos (Pinker, 1990) e de modelos de integração texto–imagem/texto–gráfico (Schnotz, 2014; Acartuk, 2008, 2009), dialogando ainda com princípios de design e estudos sobre escolhas visuais que afetam a leitura (Kosslyn, 2006; Tufte, 2001; Cairo, 2019; Reimann et al., 2022), bem como com pesquisas sobre gráficos enganosos e sobre o impacto da complexidade linguística (Huldén, 2004; Tolochko; Boomgaarden, 2018) e do enquadramento de manchetes na interpretação da notícia (Rho et al., 2024; Chowdhury, 2025). Foram conduzidos dois experimentos. No Experimento 1, investigou-se o efeito da complexidade linguística do corpo do texto (texto simples vs. texto complexo) sobre a compreensão de notícias acompanhadas de gráficos, por meio de tarefa off-line e medidas comportamentais de leitura. Os resultados não indicaram diferenças estatisticamente significativas entre as condições, sugerindo que, no perfil amostral investigado, a variação de complexidade linguística não produziu impacto robusto na compreensão multimodal. Destaca-se, contudo, o alto índice de acertos em questões baseadas exclusivamente nos gráficos, indicando a mobilização de competências associadas ao letramento estatístico, conforme definido por Gal (2002). No Experimento 2, utilizou-se rastreamento ocular para examinar como o enquadramento do título (neutro vs. enfático) e a integridade do gráfico (escala proporcional vs. manipulada) modulam a integração título–gráfico. Embora os efeitos oculares tenham sido sutis, a avaliação de congruência mostrou-se sensível à manipulação visual, com gráficos com escala proporcional julgados mais congruentes do que os com escala modificada, em especial nos contextos de títulos neutros. Em conjunto, os resultados indicam que a integração texto–gráfico depende da coordenação entre processos top-down e bottom-up, sendo sensível tanto às escolhas linguísticas quanto às decisões de visualização. Em síntese, os achados reforçam que a compreensão de constelações texto–gráfico em notícias digitais resulta de um processo integrado, no qual escolhas linguísticas e decisões de visualização interagem com o repertório cognitivo e estatístico do leitor, influenciando a interpretação e a avaliação crítica da informação.

[en] This dissertation investigated the multimodal understanding of text-graph constellations in digital news, considering that graphs not only illustrate, but actively participate in the construction of meaning and the evaluation of the information presented. Situated within the field of Psycholinguistics, interfacing with Cognitive Psychology and Statistical Literacy, this research articulates contributions from Statistical Literacy (Gal, 2002), the cognitive theory of graph comprehension (Pinker, 1990), and text-image/text-graph integration models (Schnotz, 2014; Acarturk, 2008, 2009). It also engages with design principles and studies on visual choices that affect reading (Kosslyn, 2006; Tufte, 2001; Cairo, 2019; Reimann et al., 2022), as well as research on misleading graphs and the impact of linguistic complexity (Huldén, 2004; Tolochko; Boomgaarden, 2018) and headline framing on news interpretation (Rho et al., 2024; Chowdhury, 2025). Two experiments were conducted. In Experiment 1, the effect of the linguistic complexity of the body text (simple text vs. complex text) on the comprehension of news accompanied by graphs was investigated through an offline task and behavioral reading measures. The results did not indicate statistically significant differences between the conditions, suggesting that, in the investigated sample profile, the variation in linguistic complexity did not produce a robust impact on multimodal comprehension. However, the high rate of correct answers in questions based exclusively on graphs stands out, indicating the mobilization of skills associated with statistical literacy, as defined by Gal (2002). In Experiment 2, eye tracking was used to examine how title framing (neutral vs. emphatic) and graph integrity (proportional vs. manipulated scale) modulate title-graph integration. Although online eye-movement measures showed subtle effects, congruence judgments were sensitive to visual manipulation, with proportionally scaled graphs judged more congruent than those with modified scales, especially in the context of neutral titles. Taken together, the results indicate that text-graph integration depends on the coordination between top-down and bottom-up processes, being sensitive to both linguistic choices and visualization decisions. In summary, the findings reinforce that the understanding of text-graph constellations in digital news results from an integrated process, in which linguistic choices and visualization decisions interact with the reader s cognitive and statistical repertoire, influencing the interpretation and critical evaluation of the information.

ERICA DOS SANTOS RODRIGUES

ERICA DOS SANTOS RODRIGUES

RENE ALBERTO MORITZ DA SILVA E FORSTER

MICHELE CALIL DOS SANTOS ALVES

2026-01-19

2025-05-05

[pt] TEXTO

application/pdf

PORTUGUÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=75047@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=75047@2

https://doi.org/10.17771/PUCRio.acad.75047