[en] A PILOT STUDY USING ANCHORING VIGNETTES AND THE RASCH PROBABILISTIC MODEL: A CONTRIBUTION TO DEMOCRACY MEASUREMENTS

[pt] UM ESTUDO PILOTO USANDO VINHETAS DE ANCORAGEM E O MODELO PROBABILÍSTICO DE RASCH: UMA CONTRIBUIÇÃO PARA MEDIÇÕES DE DEMOCRACIA

[pt] CLARA MONTEIRO VIEIRA

[pt] METROLOGIA

[pt] SENSOR HUMANO

[pt] MEDICAO DE DEMOCRACIA

[pt] TEORIA DE MEDICAO DE RASCH

[pt] MEDICAO EM CIENCIAS SOCIAIS

[pt] INCERTEZA DE MEDICAO

[en] METROLOGY

[en] HUMAN SENSOR

[en] DEMOCRACY MEASUREMENT

[en] RASCH MEASUREMENT THEORY

[en] MEASUREMENT IN SOCIAL SCIENCES

[en] UNCERTAINTY OF OF MEASUREMENT

[pt] A medição de fenômenos psicossociais, como a democracia, é um desafio, dada a influência de percepções subjetivas e variáveis difíceis de medir. É fundamental que avaliações de democracia tenham resultados confiáveis e comparáveis, já que exercem um papel vital na análise de realidades políticas e influenciam a tomada de decisões a nível nacional e internacional. Embora elementos centrais da Ciência da Medição permeiem as discussões sobre a medição da democracia, aspectos importantes devem ser abordados para alinhar os métodos usados nesse campo com preceitos fundamentais da metrologia. Estudos recentes sugerem a incorporação da abordagem psicométrica conhecida como o modelo Rasch no sistema metrológico associado a cada atributo, como potencial solução aos desafios de prover medidas comparáveis e confiáveis de grandezas psicossociais. Contudo, esta abordagem ainda não foi explorada na medição da democracia. Este estudo aplica o modelo Rasch ao sistema de medição de democracia do projeto Varieties of Democracy (V-Dem) e à sua base de dados de vinhetas de ancoragem recentemente incorporada. Analisam-se as respostas dos codificadores aos indicadores que constituem o survey do V-Dem sobre Deliberação. O método proposto examina o desempenho do sistema, considerando os avaliadores como o elemento sensor e os indicadores como a estrutura do sistema de medição. As fontes de incerteza de medição são discutidas no modelo do sistema de medição. O estudo revela itens com questões críticas para revisão com base em múltiplos parâmetros, incluindo o funcionamento diferencial dos itens conforme o continente de origem dos avaliadores e dimensões secundárias a afetar o sensor. O tratamento desses elementos pode contribuir à maior confiabilidade da medição de democracia e ao avanço da pesquisa em ciência política.

[en] Measuring psychosocial phenomena, such as democracy, is challenging due to the influence of subjective perceptions and difficult-to-assess variables. It is crucial for democracy assessments to produce reliable and comparable results, as they play a vital role in analysing political realities and influencing decision-making at national and international levels. While essential elements of the Measurement Science are manifest throughout the discussions on democracy measurement, important aspects must be addressed to align the approaches used in this field with fundamental metrology precepts. Recent studies have suggested incorporating the psychometric approach known as the Rasch model into the metrological system associated with each attribute as a potential solution to the challenges of providing comparable and reliable measures of psychosocial traits. However, this approach has yet to be explored in democracy measurement. This study applies the Rasch model to the democracy measuring system from the Varieties of Democracy project (V-Dem) and their recently incorporated anchoring vignettes database. It analyses coders responses to the indicators constituting the V-Dem survey on Deliberation. The proposed method evaluates the system s performance, considering the coders as the sensing element and the indicators as the measuring system s structure. Sources of measurement uncertainty are discussed within the measurement model. The study reveals items associated with critical demands for revision based on multiple parameters, including differential item functioning based on coders continent of origin and secondary dimensions affecting the sensor. Addressing these elements can contribute to enhancing the reliability of democracy assessment and advancing political science research.

ELISABETH COSTA MONTEIRO

MAURICIO NOGUEIRA FROTA

CARLOS ROBERTO HALL BARBOSA

ELISABETH COSTA MONTEIRO

WILLIAM PAUL FISHER JR

2025-03-06

2024-10-04

[pt] TEXTO

application/pdf

INGLÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=69554@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=69554@2

https://doi.org/10.17771/PUCRio.acad.69554