Pertidaksamaan Jensen

Pertidaksamaan Jensen adalah sebuah temuan Matematika awal abad 19 yang masih dipakai sampai sekarang, termasuk di algoritma EM. Algoritma EM itu sendiri banyak dipakai untuk memecahkan persoalan di model rumit yang melibatkan variabel laten (tersembunyi) seperti LDA, atau Gaussian Mixture Model yang lainnya. Intinya, Pertidaksamaan Jensen menyatakan bahwa garis Secant dari sebuah fungsi konvex senantiasa terletak di atas grafik fungsi tersebut. Dengan jabaran lebih presisinya (dalam setting probabilistik) adalah sebagai berikut:

$E[f(x)]>=f(E[x])$

Secara analitis, dapat juga kita modelkan sebagai berikut: $tf(x1)+(1-t)f(x2)>=f(tx1+(1-t)x2)$