Consistency of Penalized Convex Regression

We consider the problem of estimating an unknown convex function f_* (0, 1)^d →R from data (X1, Y1), … (X_n; Y_n).A simple approach is finding a convex function that is the closest to the data points by minimizing the sum of squared errors over all convex functions. The convex regression estimator, which is computed this way, su ers from a drawback of having extremely large subgradients near the boundary of its domain. To remedy this situation, the penalized convex regression estimator, which minimizes the sum of squared errors plus the sum of squared norms of the subgradient over all convex functions, is recently proposed. In this paper, we prove that the penalized convex regression estimator and its subgradient converge with probability one to f_* and its subgradient, respectively, as n → ∞, and hence, establish the legitimacy of the penalized convex regression estimator.  

Sparse Convex Regression

We consider the problem of best [Formula: see text]-subset convex regression using [Formula: see text] observations in [Formula: see text] variables. For the case without sparsity, we develop a scalable algorithm for obtaining high quality solutions in practical times that compare favorably with other state of the art methods. We show that by using a cutting plane method, the least squares convex regression problem can be solved for sizes [Formula: see text] in minutes and [Formula: see text] in hours. Our algorithm can be adapted to solve variants such as finding the best convex or concave functions with coordinate-wise monotonicity, norm-bounded subgradients, and minimize the [Formula: see text] loss—all with similar scalability to the least squares convex regression problem. Under sparsity, we propose algorithms which iteratively solve for the best subset of features based on first order and cutting plane methods. We show that our methods scale for sizes [Formula: see text] in minutes and [Formula: see text] in hours. We demonstrate that these methods control for the false discovery rate effectively.

A dual active set algorithm for optimal sparse convex regression

В последнее время задачи статистики с ограничениями на форму данных привлекают повышенное внимание. Одной из таких задач является задача поиска оптимальной монотонной регрессии. Проблема построения монотонной регрессии (которая также называется изотонной регрессией) состоит в том, чтобы для данного вектора (не обязательно монотонного) найти неубывающий вектор с наименьшей ошибкой приближения к данному. Выпуклая регрессия есть развитие понятия монотонной регрессии для случая $2$-монотонности (т.е. выпуклости). Как изотонная, так и выпуклая регрессия находят применение во многих областях, включая непараметрическую математическую статистику и сглаживание эмпирических данных. В данной статье предлагается итерационный алгоритм построения разреженной выпуклой регрессии, т.е. для нахождения выпуклого вектора $z\in \mathbb{R}^n$ с наименьшей квадратичной ошибкой приближения к данному вектору $y\in \mathbb{R}^n$ (не обязательно являющемуся выпуклым). Задача может быть представлена в виде задачи выпуклого программирования с линейными ограничениями. Используя условия оптимальности Каруша-Куна-Таккера, доказано, что оптимальные точки должны лежать на кусочно-линейной функции. Доказано, что предложенный двойственный алгоритм на основе активного множества для построения оптимальной разреженной выпуклой регрессии имеет полиномиальную сложность и позволяет найти оптимальное решение (для которого выполнены условия Каруша-Куна-Таккера).