O Predictive PolieDRO é um novo framework para classificação e regressão que aproveita o poder e a flexibilidade da Otimização Distributionally Robust orientada por dados para contornar a necessidade de hiperparâmetros de regularização. A literatura recente mostra que os métodos tradicionais de aprendizado de máquina, como SVM e (square root) LASSO, podem ser escritos como problemas DRO baseados na métrica de Warserstein. Alavancando tais resultados, propomos um conjunto de ambiguidades sem hiperparâmetros que explora a estrutura poliédrica de cascos convexos construídos a partir dos dados. Dada qualquer função de custo convexa, o modelo proposto é computacionalmente tratável, uma vez que desenvolvemos uma reformulação equivalente em programação convexa de nível único. Para lidar com espaços de alta dimensão, propomos um método de ensemble que usa o predictive PolieDRO como modelo base, com subconjuntos de recursos e amostras escolhidos aleatoriamente. Resultados numéricos baseados em mais de 50 bases de dados mostram que nosso método supera consistentemente seus equivalentes paramétricos.