[en] INTEGRATION BETWEEN LINGUISTIC AND VISUAL INFORMATION IN GRAPH READING: EXPERIMENTAL EVIDENCE

[pt] INTEGRAÇÃO ENTRE INFORMAÇÃO LINGUÍSTICA E VISUAL NA LEITURA DE GRÁFICOS: EVIDÊNCIAS EXPERIMENTAIS

[pt] NATALIA FERNANDES

[pt] PSICOLINGUISTICA

[pt] LETRAMENTO ESTATISTICO

[pt] CONSTELACAO GRAFICO TEXTO

[pt] COMPREENSAO MULTIMODAL

[pt] LEITURA DE GRAFICOS

[pt] RASTREAMENTO OCULAR

[en] PSYCHOLINGUISTIC

[en] STATISTICAL LITERACY

[en] GRAPH TEXT CONSTELLATION

[en] MULTIMODAL COMPREHENSION

[en] GRAPHS READING

[en] EYE TRACKING

[pt] Esta dissertação investigou a compreensão multimodal de constelações texto-gráfico, em que gráficos representam, ilustram ou complementam conteúdos textuais. A pesquisa, inserida na Psicolinguística e na Psicologia Cognitiva, baseia- se na concepção de Letramento Estatístico de Gal (2002), na teoria de compreensão de gráficos de Pinker (1980), e em estudos sobre integração texto-gráfico, como os de Acartürk (2009), Rodrigues (2020), Almeida (2019) e Schnotz (2014). Participaram alunos de graduação e pós-graduação, maiores de 18 anos, falantes nativos de português brasileiro. Buscou-se identificar fatores que representam custo na integração entre informação linguística e visual. Dois experimentos foram conduzidos, manipulando fatores bottom-up e top-down. O primeiro utilizou uma tarefa off-line de seleção de imagem, focalizando a relação entre a natureza da variável no eixo horizontal do gráfico (contínua ou discreta) e o tipo de frase no título (frase de tendência ou pontual), investigando como esses fatores influenciam a escolha do gráfico (linha ou colunas). A hipótese previa preferência por gráficos de colunas na condição congruente DP (variável discreta mais frase pontual) e por gráficos de linha na condição CT (contínua mais tendência), e ausência de preferência nas incongruentes (DT e CP). Os resultados mostraram preferência clara por colunas apenas em DP. Em CT, houve tendência por gráficos de linha, sem significância estatística. Supõe-se que algumas variáveis contínuas no eixo x podem ter sido percebidas como categorias, influenciando a escolha dos participantes. O número reduzido de pontos (três) pode ter favorecido essa leitura. Em CP, as médias para colunas e linha ficaram muito próximas, indicando competição. Em DT, observou-se preferência significativa por colunas, o que não era esperado. Nessa condição, o verbo variar foi usado em todas as frases. Embora remeta a ideia de tendência, pode também expressar diferenças pontuais. Assim, com eixo x discreto, os participantes pareceram adotar essa segunda leitura, revelando o impacto da informação visual na interpretação linguística. O segundo experimento empregou rastreamento ocular (eye tracking) para examinar se a presença, no texto, de uma frase que explicita informação do gráfico (frase-crítica) afeta a leitura e compreensão multimodal. O gráfico era apresentado ao lado do texto (à direita ou esquerda), com duas áreas de interesse (texto e gráfico). As variáveis dependentes incluíram medidas oculares (como número e duração de fixações, percentual de visitas) e taxa de acerto em perguntas de compreensão. Esperava-se que a frase crítica facilitasse a integração verbal-visual. Houve diferença significativa entre áreas para tempo total e número de fixações, com valores mais altos no texto, mas não para a duração média ou proporção de visitas, sugerindo que o resultado se deve ao maior volume textual. A taxa de acerto foi alta, com diferença significativa em perguntas focadas apenas no gráfico: a condição sem frase crítica teve desempenho superior, sugerindo inspeção mais completa do gráfico quando não havia direcionamento. Também foi observada maior atenção à área à esquerda, independentemente de ser texto ou gráfico, possivelmente devido à direcionalidade da leitura ocidental. Os resultados apontam para a complexa interação entre informações bottom-up e top-down na compreensão de constelações texto-gráfico.

[en] Participants included undergraduate and graduate students over the age of 18 who were native speakers of Brazilian Portuguese. The study aimed to identify factors that impose cognitive cost in the integration of linguistic and visual information. Two experiments were conducted, manipulating both bottom-up and top-down factors. The first experiment employed an offline image selection task focusing on the relationship between the nature of the variable on the graph s horizontal axis (continuous or discrete) and the type of sentence used in the title (trend or specific- point), investigating how these factors influence the choice between line and bar graphs. The hypothesis predicted a preference for bar graphs in the congruent DP condition (discrete variable plus specific-point sentence) and for line graphs in the CT condition (continuous plus trend), with no clear preference expected in the incongruent conditions (DT and CP). Results showed a clear preference for bar graphs only in the DP condition. In CT, there was a trend toward line graphs, though not statistically significant. It is assumed that some continuous variables on the x-axis may have been perceived as categories, influencing participants choices. The small number of points (three) may have contributed to this interpretation. In CP, the mean scores for bar and line graphs were very close, indicating competition. In DT, a significant preference for bar graphs was found, which was unexpected. In this condition, the verb vary was used in all sentences. Although it suggests a trend, it can also refer to specific differences. Thus, with a discrete x-axis, participants seemed to adopt the latter interpretation, highlighting the impact of visual information on linguistic interpretation. The second experiment employed eye tracking to examine whether the presence of a sentence in the text that explicitly referenced the graph (critical sentence) would affect reading behavior and multimodal comprehension. The graph was displayed beside the text (on the right or left), with two defined areas of interest (text and graph). Dependent variables included eye-tracking metrics (such as number and duration of fixations, percentage of visits) and accuracy rates on comprehension questions. It was expected that the critical sentence would facilitate graph–text integration. A significant difference was found between the two areas in terms of total fixation time and number of fixations, with higher values for the text area, but no significant differences were found in mean fixation duration or proportion of visits-suggesting that the effect may be due to the greater amount of textual material. Accuracy was high overall, with a significant difference in questions that focused solely on the graph: the nocritical -sentence condition showed better performance, suggesting a more thorough inspection of the graph when there was no verbal cue. Greater attention was also observed on the left-hand side of the screen, regardless of whether it displayed the text or the graph, possibly due to the left-to-right orientation of reading in Western cultures. These findings point to the complex interaction between bottom-up and top-down information in the comprehension of graph–text constellations.

ERICA DOS SANTOS RODRIGUES

ERICA DOS SANTOS RODRIGUES

ELISANGELA NOGUEIRA TEIXEIRA

RENE ALBERTO MORITZ DA SILVA E FORSTER

2025-08-13

2024-10-25

[pt] TEXTO

application/pdf

PORTUGUÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=72380@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=72380@2

https://doi.org/10.17771/PUCRio.acad.72380