* Falls <math>V=\mathbb R^n</math> gilt und <math>P</math> (abzählbar) unendlich viele Gleichungsrestriktionen besitzt, ist <math>P</math> ein ''[[semi-infinites Optimierungsproblem]] (SIP)''.
Einen Algorithmus, der ein Optimierungsproblem löst, nennt man [[OptimierungsalgorithmusMathematische Optimierung#Optimierungsmethoden|Optimierungsmethode]] oder OptimierungsmethodeOptimierungsalgorithmus. Je nach Klasse des Optimierungsproblems kommen verschiedene Verfahren zum Einsatz. Neben spezialisierten Verfahren, wie etwa dem [[Dijkstra-Algorithmus]] zur Bestimmung kürzester Wege gibt es auch allgemeine Lösungsverfahren, welche anwendungsunabhängig basierend auf der Kenntnis der Problemklasse eingesetzt werden können. Am bekanntesten sind vermutlich die Verfahren der nichtlinearen Optimierung zur Bestimmung lokaler Optimalpunkte wie das [[Gradientenverfahren]], das [[Newtonverfahren]] und [[Quasi-Newton-Verfahren]]. Für die Minimierung der Verlustfunktion im Bereich Machine Learning werden typischerweise leichtfüßige Varianten des Gradientenverfahrens wie das [[stochastische Gradientenverfahren]] (''stochastic gradient descent'') eingesetzt. Für LPs kommen das [[Simplex-Verfahren]] sowie [[Innere-Punkte-Verfahren|Innere-Punkte-Methoden]] zum Einsatz, wobei letztgenannte auch zur Lösung nichtlinearer konvexer Optimierungsprobleme verwendet werden. Optimierungsprobleme, in denen auch ganzzahlige Variablen auftreten, können exakt mit [[Branch-and-Bound]] sowie [[Branch-and-Cut]] Methoden gelöst werden. Darüber hinaus können auch anwendungsspezifische Heuristiken wie die [[Nearest-Neighbor-Heuristik]] oder allgemeine [[Metaheuristik]]en eingesetzt werden, die in der Regel jedoch keine Aussage über die Qualität der gefundenen Lösung treffen.
