A dual active set algorithm for optimal sparse convex regression

В последнее время задачи статистики с ограничениями на форму данных привлекают повышенное внимание. Одной из таких задач является задача поиска оптимальной монотонной регрессии. Проблема построения монотонной регрессии (которая также называется изотонной регрессией) состоит в том, чтобы для данного вектора (не обязательно монотонного) найти неубывающий вектор с наименьшей ошибкой приближения к данному. Выпуклая регрессия есть развитие понятия монотонной регрессии для случая $2$-монотонности (т.е. выпуклости). Как изотонная, так и выпуклая регрессия находят применение во многих областях, включая непараметрическую математическую статистику и сглаживание эмпирических данных. В данной статье предлагается итерационный алгоритм построения разреженной выпуклой регрессии, т.е. для нахождения выпуклого вектора $z\in \mathbb{R}^n$ с наименьшей квадратичной ошибкой приближения к данному вектору $y\in \mathbb{R}^n$ (не обязательно являющемуся выпуклым). Задача может быть представлена в виде задачи выпуклого программирования с линейными ограничениями. Используя условия оптимальности Каруша-Куна-Таккера, доказано, что оптимальные точки должны лежать на кусочно-линейной функции. Доказано, что предложенный двойственный алгоритм на основе активного множества для построения оптимальной разреженной выпуклой регрессии имеет полиномиальную сложность и позволяет найти оптимальное решение (для которого выполнены условия Каруша-Куна-Таккера).

A New Hybrid PSS Optimization Method Based on Improved Active Set Algorithm

This paper proposes a new hybrid optimization method for the phase-frequency characteristics of the double input power system stabilizer (PSS) based on the improved active set algorithm. This method takes the effect of the filtering section optimization on the parameter improvement into account, and the optimized model focuses on the minimum residual sum of squares between the actual and the target phase-frequency characteristics. The result shows that the improved parameters obtained from the proposed method provide much better phase-frequency characteristics than the widely used engineering parameters. The comparison between the proposed method and the typical commercial software indicates the universal superiority of the proposed method. And the studies on the impact of considering the filter section optimization on the phase-frequency improvement show that taking the filter section optimization into account will be beneficial for the phase-frequency improvement, though in application to the PSS2A model and the PSS2B model there are some differences. The achievements obtained in this paper provide a significant reference for the practical PSS parameter modification and improvement.