Esta pesquisa tem como objetivo avaliar a Web Content Accessibility Guidelines Evaluation Methodology (WCAG-EM 1.0), metodologia proposta pelo W3C para avaliação de acessibilidade de sítios eletrônicos pela verificação de conformidade com o Web Content Accessibility Guidelines (WCAG) 2.0. Pesquisas anteriores demonstraram que diferentes perfis de avaliador podem gerar resultados diversos em avaliações de acessibilidade. Foram realizadas pesquisas exploratórias que reforçaram a necessidade de que avaliadores de acessibilidade possuam um perfil mínimo de expertise. Foi publicado um questionário on-line para recrutar pessoas que já tivessem realizado avaliações de acessibilidade, com perguntas sobre formação, profissão, técnicas e ferramentas de avaliação, deficiências, tecnologias assistivas e opinião sobre diferentes definições de acessibilidade. Dos 83 respondentes, 62 afirmaram já ter realizado avaliações de acessibilidade, e 25 preencheram o perfil mínimo para serem qualificados para a etapa de avaliação de acessibilidade da página inicial do Portal da Saúde. A avaliação foi feita por nove dos avaliadores selecionados por meio de questionário eletrônico baseado nos requisitos e textos de apoio das etapas da WCAG-EM 1.0. Foi também realizada uma avaliação cooperativa por meio do software Skype com usuários cegos, a fim de coletar problemas da interação destes usuários com o Portal da Saúde. Foi feita uma comparação entre os problemas encontrados por diferentes avaliadores, bem como um quadro comparativo com os problemas enfrentados pelos usuários cegos com os relatados pelos avaliadores. Os resultados mostraram que etapas da WCAG-EM 1.0 geraram interpretações muito diferentes pelos avaliadores e favoreceram incongruências verificadas entre as respostas dos avaliadores. Houve ainda pouca relação entre os problemas encontrados pelos avaliadores e os observados na avaliação com usuários cegos. Os resultados permitiram a geração de recomendações de melhoria para futuros aperfeiçoamentos da WCAG-EM 1.0.