[en] OPEN-SET SEMANTIC SEGMENTATION FOR REMOTE SENSING IMAGES

[pt] SEGMENTAÇÃO SEMÂNTICA DE CONJUNTO ABERTO APLICADA A IMAGENS DE SENSORIAMENTO REMOTO

[pt] IAN MONTEIRO NUNES

[pt] SENSORIAMENTO REMOTO

[pt] AUTO-ENCODER

[pt] CLASSIFICACAO

[pt] SEGMENTACAO

[pt] CONJUNTO ABERTO

[pt] REDE NEURAL CONVOLUCIONAL

[pt] APRENDIZADO PROFUNDO

[pt] CIENCIA DE DADOS

[en] REMOTE SENSING

[en] AUTO-ENCODER

[en] RECOGNITION

[en] SEGMENTATION

[en] OPEN-SET

[en] CONVOLUTIONAL NEURAL NETWORK

[en] DEEP LEARNING

[en] DATA SCIENCE

[pt] Coletar amostras que esgotam todas as classes possíveis para tarefas do mundo real geralmente é difícil ou impossível devido a muitos fatores diferentes. Em um cenário realista/viável, os métodos devem estar cientes de que os dados de treinamento estão incompletos e que nem todo o conhecimento está disponível. Portanto, todos os métodos desenvolvidos devem ser capazes de identificar as amostras desconhecidas enquanto executam corretamente a tarefa proposta para as classes conhecidas na fase de testes. Modelos de Reconhecimento de Conjunto Aberto e Segmentação Semântica surgem para lidar com esse tipo de cenário para, respectivamente, tarefas de reconhecimento visual e rotulagem densa. Inicialmente, este trabalho propõe uma nova taxonomia com o objetivo de organizar a literatura e fornecer uma compreensão das tendências teóricas que guiaram as abordagens existentes que podem influenciar métodos futuros. Este trabalho testou as técnicas propostas em dados de sensoriamento remoto, estabelecendo novo estado-da-arte para os resultados dos conjuntos de dados utilizados. A segmentação de conjuntos abertos é uma tarefa relativamente nova e inexplorada, com apenas um punhado de métodos propostos para modelar tais tarefas. Este trabalho também propõe duas técnicas distintas para realizar a segmentação semântica de conjunto aberto. Primeiro, um método chamado OpenGMM estende a estrutura OpenPCS usando uma mistura gaussianas para modelar a distribuição de pixels para cada classe de maneira multimodal. Em segundo lugar, o método de Reconstrução Condicional para Segmentação Semântica de Conjunto Aberto (CoReSeg) aborda o problema usando a reconstrução condicionada por classe das imagens de entrada de acordo com sua máscara. CoReSeg condiciona cada pixel de entrada para todas as classes conhecidas, esperando erros maiores para pixels de classes desconhecidas. A observação dos resultados qualitativos mostra que ambos os métodos propostos produzem melhor consistência semântica em suas predições do que as métodos de referência, resultando em mapas de segmentação mais limpos que se ajustam melhor aos limites do objetos. Além disso, OpenGMM e CoReSeg superaram o estado-da-arte estabelecido pelos métodos de referência para conjuntos de dados de Vaihingen e de Potsdam disponibilizados pelo ISPRS. A terceira abordagem proposta é um procedimento geral de pósprocessamento que usa superpixels para forçar regiões altamente homogêneas a se comportarem igualmente, corrigindo pixels mal classificados dentro dessas regiões. Também propusemos um novo método para geração de superpixels chamado FuSC. Todas as abordagens propostas melhoraram os resultados quantitativos e qualitativos para ambos os conjuntos de dados. Além disso, CoReSeg pósprocessado com FuSC estabeleceu um novo estado-da-arte para segmentaçao de ambos os conjuntos de dados. A implementação oficial de todas as abordagens propostas está disponível em https://github.com/iannunes.

[en] Collecting samples that exhaust all possible classes for real-world tasks is usually difficult or impossible due to many different factors. In a realistic/feasible scenario, methods should be aware that the training data is incomplete and that not all knowledge is available. Therefore all developed methods should be able to identify the unknown samples while correctly executing the proposed task to the known classes in the tests phase. Open-Set Recognition and Semantic Segmentation models emerge to handle this kind of scenario for, respectively, visual recognition and dense labeling tasks. Initially, this work proposes a novel taxonomy aiming to organize the literature and provide an understanding of the theoretical trends that guided the existing approaches that may influence future methods. This work tested the proposed techniques on remote sensing data, establishing new state-of-the-art results for the used datasets. Remote sensing data differs from RGB data as it deals with a plethora of sensors and with a high geographical variation. Open set segmentation is a relatively new and unexplored task, with just a handful of methods proposed to model such tasks. This work also proposes two distinct techniques to perform open-set semantic segmentation. First, a method called OpenGMM extends the OpenPCS framework using a Gaussian Mixture of Models to model the distribution of pixels for each class in a multimodal manner. Second, the Conditional Reconstruction for Openset Semantic Segmentation (CoReSeg) method tackles the issue using classconditioned reconstruction of the input images according to their pixel-wise mask. CoReSeg conditions each input pixel to all known classes, expecting higher errors for pixels of unknown classes. Qualitative results observation suggested that both proposed methods produce better semantic consistency in their predictions than the baselines, resulting in cleaner segmentation maps that better fit object boundaries. Also, OpenGMM and CoReSeg outperformed state-of-the-art baseline methods on Vaihingen and Potsdam ISPRS datasets. The third proposed approach is a general post-processing procedure that uses superpixels to enforce highly homogeneous regions to behave equally, rectifying erroneous classified pixels within these regions. We also proposed a novel superpixel generation method called FuSC. All proposed approaches improved the quantitative and the qualitative results for both datasets. Besides that, CoReSeg s prediction post-processed with FuSC achieved state-of-the-art results for both datasets. The official implementation of all proposed approaches is available at https://github.com/iannunes.

MARCUS VINICIUS SOLEDADE POGGI DE ARAGAO

HUGO NEVES DE OLIVEIRA

HELIO CORTES VIEIRA LOPES

ALBERTO BARBOSA RAPOSO

MARCUS VINICIUS SOLEDADE POGGI DE ARAGAO

LUIZ JOSE SCHIRMER SILVA

HUGO NEVES DE OLIVEIRA

ARNALDO LYRIO BARRETO

2023-03-21

2023-01-04

[pt] TEXTO

application/pdf

INGLÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=62040@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=62040@2

https://doi.org/10.17771/PUCRio.acad.62040