[en] PREDICTIVE POLIEDRO: A NOVEL CLASSIFICATION AND REGRESSION FRAMEWORK WITH NON-PARAMETRIC DATA-DRIVEN REGULARIZATION

[pt] PREDICTIVE POLIEDRO: UM NOVO FRAMEWORK PARA CLASSIFICAÇÃO E REGRESSÃO COM REGULARIZAÇÃO NÃO PARAMETRIZADA ORIENTADA POR DADOS

[pt] TOMAS FREDERICO MACIEL GUTIERREZ

[pt] APRENDIZADO DE MAQUINA

[pt] OTIMIZACAO DISTRIBUTIONALLY ROBUST

[pt] OTIMIZACAO SOB INCERTEZA

[en] MACHINE LEARNING

[en] DISTRUBUTIONALLY ROBUST OPTIMIZATION

[en] OPTIMIZATION UNDER UNCERTAINTY

[pt] O Predictive PolieDRO é um novo framework para classificação e regressão que aproveita o poder e a flexibilidade da Otimização Distributionally Robust orientada por dados para contornar a necessidade de hiperparâmetros de regularização. A literatura recente mostra que os métodos tradicionais de aprendizado de máquina, como SVM e (square root) LASSO, podem ser escritos como problemas DRO baseados na métrica de Warserstein. Alavancando tais resultados, propomos um conjunto de ambiguidades sem hiperparâmetros que explora a estrutura poliédrica de cascos convexos construídos a partir dos dados. Dada qualquer função de custo convexa, o modelo proposto é computacionalmente tratável, uma vez que desenvolvemos uma reformulação equivalente em programação convexa de nível único. Para lidar com espaços de alta dimensão, propomos um método de ensemble que usa o predictive PolieDRO como modelo base, com subconjuntos de recursos e amostras escolhidos aleatoriamente. Resultados numéricos baseados em mais de 50 bases de dados mostram que nosso método supera consistentemente seus equivalentes paramétricos.

[en] Predictive PolieDRO is a novel analytics framework for classification and regression that harnesses the power and flexibility of Data-Driven Distributionally Robust Optimization to circumvent the need of regularization hyperparameters. Recent literature shows that traditional machine learning methods such as SVM and (square-root) LASSO can be written as Warserstein-based DRO problems. We built on those results and propose a hyperparameter-free ambiguity set that explores the polyhedral structure of data-driven convex hulls. Given any convex loss function, the proposed model is computationally tractable since we develop a con-vex single-level equivalent reformulation. To cope with high-dimensional feature spaces, we propose an ensemble method that uses the predictive PolieDRO as base model, with randomly chosen subsets of features and samples. Numerical results based on 50 databases show that our method consistently outperforms their parametric counterparts.

DAVI MICHEL VALLADAO

BERNARDO KULNIG PAGNONCELLI

2022-08-17

[pt] TEXTO

application/pdf

INGLÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=60212@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=60212@2

https://doi.org/10.17771/PUCRio.SeminarPPGEP.60212