Une méthode bayésienne non paramétrique de régression qui place une loi a priori de processus gaussien sur les fonctions, définissant une fonction de moyenne et une covariance (noyau) exprimant la similarité ; conditionnée aux paires entrée–sortie observées, elle fournit une distribution prédictive postérieure gaussienne en de nouveaux points d’entrée, fournissant des prédictions de moyenne et des estimations d’incertitude pour l’interpolation ou la prédiction spatiale (appelée krigeage en géostatistique sous hypothèses gaussiennes).

Principe

Avec une loi a priori gaussienne et un bruit d’observation (typiquement) gaussien, les prédictions en nouveaux points sont conjointement gaussiennes avec des expressions analytiques pour la moyenne prédictive et la variance déterminées par le noyau et les données observées ; le noyau encode la régularité et les échelles de corrélation.

Démonstration

Scénario illustratif → Des capteurs mesurent la concentration d’un polluant en emplacements épars. Reconnaissance → Les mesures sont vues comme des observations bruyantes d’un champ sous‑jacent lisse. Action → Ajuster un processus gaussien avec un noyau spatial adapté, calculer la moyenne et la variance postérieures aux coordonnées non échantillonnées. Conséquence → Une estimation continue de surface avec incertitude ponctuelle qui oriente la conception d’échantillonnage et les décisions opérationnelles.

Mauvaise application

Utiliser un noyau arbitrairement complexe ou des hyperparamètres par défaut sans valider les échelles de longueur, ou supposer que les intervalles prédictifs du PG sont fiables lorsque la vraisemblance n’est pas gaussienne ou que les hyperparamètres sont mal estimés ; l’erreur est de confondre commodité du modèle et calibration de l’incertitude.

Conséquence

Appliqué correctement, la régression par PG fournit une interpolation cohérente avec quantification de l’incertitude utile pour fixer des seuils de décision et concevoir l’échantillonnage ; mal appliquée, elle peut sous‑estimer ou surestimer l’incertitude, ne pas capter des effets non stationnaires, ou être informatiquement impraticable pour de grands jeux de données sans approximation.

Inversion

La forme prédictive gaussienne analytique et la fermeture en incertitude dépendent des hypothèses de vraisemblance gaussienne (ou conjugée) ; pour des sorties non gaussiennes (comptages, variables binaires) ou un bruit à queues lourdes, il faut recourir à une inférence approximative (p. ex. Laplace, variationnelle) ou à d’autres lois de vraisemblance, ce qui modifie la calibration et le coût de calcul.

Limite

Clairement dans → Interpolation spatiale de valeurs réelles continues avec taille d’échantillon modérée où les hypothèses du noyau sont plausibles. Cas limite → Jeux de données à grande échelle nécessitant des PG creux/approximatifs ou des noyaux non stationnaires dont le choix affecte fortement les résultats. Claire­ment hors → Tâches de classification en haute dimension avec étiquettes non gaussiennes sans adaptation de la vraisemblance et de l’inférence.

Tension sémantique

Flexibilité des lois a priori non paramétriques (noyaux expressifs) ↔ coût computationnel et statistique (complexité cubique en taille d’apprentissage sans approximation et nécessité d’une régularisation des hyperparamètres).

Synthèse

La régression par processus gaussien concrétise des croyances a priori sur la régularité des fonctions via le noyau pour produire des prédictions interpolées avec incertitude raisonnée ; son utilité pratique dépend du choix du noyau, du modèle de bruit et de la stratégie computationnelle.