Màquina vectorial de rellevància

En matemàtiques, una màquina vectorial de rellevància (RVM) és una tècnica d'aprenentatge automàtic que utilitza la inferència bayesiana per obtenir solucions parsimonioses per a la regressió i la classificació probabilística.[1] El RVM té una forma funcional idèntica a la màquina vectorial de suport, però proporciona una classificació probabilística.[2]

En realitat és equivalent a un model de procés gaussià amb funció de covariància:

k ( x , x ′ ) = ∑ j = 1 N 1 α j φ ( x , x j ) φ ( x ′ , x j ) {\displaystyle k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})}

on φ {\displaystyle \varphi } és la funció del nucli (generalment gaussiana), α j {\displaystyle \alpha _{j}} són les variàncies de l'a priori sobre el vector pes w ∼ N ( 0 , α − 1 I ) {\displaystyle w\sim N(0,\alpha ^{-1}I)} , i x 1 , … , x N {\displaystyle \mathbf {x} _{1},\ldots ,\mathbf {x} _{N}} són els vectors d'entrada del conjunt d'entrenament.[3]

En comparació amb les màquines de vectors de suport (SVM), la formulació bayesiana de la RVM evita el conjunt de paràmetres lliures de la SVM (que normalment requereixen post-optimitzacions basades en validació creuada). Tanmateix, els RVM utilitzen un mètode d'aprenentatge semblant a la maximització de les expectatives (EM) i, per tant, corren el risc de tenir mínims locals. Això és a diferència dels algorismes estàndard basats en l'optimització mínima seqüencial (SMO) utilitzats per les SVM, que es garanteixen trobar un òptim global (del problema convex).[4]

La màquina vectorial de rellevància va ser patentada als Estats Units per Microsoft (la patent va caducar el 4 de setembre de 2019).

Referències

  1. ↑ Tipping, Michael E. Journal of Machine Learning Research, 1, 2001, pàg. 211–244.
  2. ↑ «Relevance Vector Machines: An Introduction» (en anglès). [Consulta: 13 febrer 2024].
  3. ↑ Learning with Uncertainty - Gaussian Processes and Relevance Vector Machines (Tesi) (en anglès), 2004. 
  4. ↑ Jabbari, Mohammad Reza; Dorafshan, Mohammad Mahdi; Eslamian, Saeid. Chapter 22 - Relevance vector machine (RVM) (en anglès). Elsevier, 2023, p. 365–384. ISBN 978-0-12-821285-1.