[en] END-TO-END CONVOLUTIONAL NEURAL NETWORK COMBINED WITH CONDITIONAL RANDOM FIELDS FOR CROP MAPPING FROM MULTITEMPORAL SAR IMAGERY

[pt] TREINAMENTO PONTA A PONTA DE REDES NEURAIS CONVOLUCIONAIS COMBINADAS COM CAMPOS ALEATÓRIOS CONDICIONAIS PARA O MAPEAMENTO DE CULTURAS A PARTIR DE IMAGENS SAR MULTITEMPORAIS

[pt] LAURA ELENA CUE LA ROSA

[pt] SENSORIAMENTO REMOTO

[pt] MODELO GRAFICO PROBABILISTICO

[pt] SENTINEL-1

[pt] APRENDIZADO PROFUNDO

[pt] RECONHECIMENTO DE CULTURAS

[en] REMOTE SENSING

[en] PROBABILISTIC GRAPHICAL MODEL

[en] SENTINEL-1

[en] DEEP LEARNING

[en] CROP RECOGNITION

[pt] Imagens de sensoriamento remoto permitem o monitoramento e mapeamento de culturas de maneira precisa, apoiando práticas de agriculturaeficientes e sustentáveis com o objetivo de garantir a segurança alimentar.No entanto, a identificação do tipo de cultura a partir de dados de sensoriamento remoto em regiões tropicais ainda são consideradas tarefas comalto grau de dificuldade. As favoráveis condições climáticas permitem o uso,planejamento e o manejo da terra com maior flexibilidade, o que implica emculturas com dinâmicas mais complexas. Além disso, a presença constantede nuvens dificulta o uso de imagens ópticas, tornando as imagens de radar uma alternativa interessante para o mapeamento de culturas em regiõestropicais. Os modelos de campos aleatórios condicionais (CRFs) têm sidousados satisfatoriamente para explorar o contexto temporal e espacial naclassificação de imagens de sensoriamento remoto. Estes modelos oferecemuma alta precisão na classificação, no entanto, dependem de atributos extraídos manualmente com base em conhecimento especializado do domínio.Neste contexto, os métodos de aprendizado profundo, tais como as redesneurais convolucionais (CNNs), provaram ser uma alternativa robusta paraa classificação de imagens de sensoriamento, pois podem aprender atributosótimos diretamente dos dados. Este trabalho apresenta um modelo híbridobaseado em aprendizado profundo e CRF para o reconhecimento de culturas em áreas de regiões tropicais caracterizadas por ter uma dinâmicaespaço–temporal complexa. O framework proposto consiste em dois módulos: uma CNNs que modela o contexto espacial e temporal dos dados deentrada, e o CRF que modela a dinâmica temporal considerando a dependência entre rótulos para datas adjacentes. Estas dependências podem seraprendidas ou desenhadas por um especialista nas práticas de agriculturalocal. Comparações entre diferentes variantes de como modelar as transiçõestemporais são apresentadas usando sequências de imagens SAR de duas municipalidades no Brasil. Os experimentos mostraram melhorias significativasatingindo ate 30 por cento no F1 score por classe e ate 12 por cento no F1 score medio em relação ao modelo de base que não inclui dependências temporais duranteo processo de aprendizagem.

[en] Remote sensing imagery enables accurate crop mapping and monitoring, supporting efficient and sustainable agricultural practices to ensure food security. However, accurate crop type identification and crop area estimation from remote sensing data in tropical regions are still challenging tasks. Compared to the characteristic conditions of temperate regions, the more favorable weather conditions in tropical regions permit higher flexibility in land use, planning, and management, which implies complex crop dynamics. Moreover, the frequent cloud cover prevents the use of optical data during large periods of the year, making SAR data an attractive alternative for crop mapping in tropical regions. To exploit both spatial and temporal contex, conditional random fields (CRFs) models have been used successfully in the classification of RS imagery. These approaches deliver high accuracies; however, they rely on features engineering manually designed based on domain-specific knowledge. In this context, deep learning methods such as convolutional neural networks (CNNs) proved to be a robust alternative for remote sensing image classification, as they can learn optimal features and classification parameters directly from raw data. This work introduces a novel end-to-end hybrid model based on deep learning and conditional random fields for crop recognition in areas characterized by complex spatio-temporal dynamics typical of tropical regions. The proposed framework consists of two modules: a CNN that models spatial and temporal contexts from the input data and a CRF that models temporal dynamics considering label dependencies between adjacent epochs. These dependencies can be learned or designed by an expert in local agricultural practices. Comparisons between data-driven and prior-knowledge temporal constraints are presented for two municipalities in Brazil, using multi-temporal SAR image sequences. The experiments showed significant improvements in per class F1 score of up to 30 percent and up to 12 percent in average F1 score against a baseline model that doesn t include temporal dependencies during the learning process.

RAUL QUEIROZ FEITOSA

DARIO AUGUSTO BORGES OLIVEIRA

RAUL QUEIROZ FEITOSA

DARIO AUGUSTO BORGES OLIVEIRA

JEFERSSON ALEX DOS SANTOS

IEDA DEL ARCO SANCHES

WESLEY NUNES GONCALVES

MATHEUS PINHEIRO FERREIRA

2024-05-21

2022-09-26

[pt] TEXTO

application/pdf

INGLÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=66787@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=66787@2

https://doi.org/10.17771/PUCRio.acad.66787