Variations sur la borne PAC-bayésienne

En apprentissage automatique, l’approche PAC-bayésienne permet d’obtenir des garanties statistiques sur la perte d'agrégation de plusieurs prédicteurs (par exemple, cette agrégation peut prendre la forme d'un vote de majorité pondéré). La théorie PAC-bayésienne «classique», initiée par McAllester (1999), étudie le cadre d’apprentissage inductif, sous l’hypothèse que les exemples d’apprentissage sont générés de manière indépendante et qu’ils sont identiquement distribués (i.i.d.) selon une distribution de probabilité inconnue, mais fixe.
J'introduirai une démonstration simplifiée menant à un théorème PAC-bayésien général. Ce théorème permet de retrouver plusieurs résultats existants pour le cadre d’apprentissage inductif, ainsi que de les relier entre eux. De plus, l'aspect modulaire de notre démonstration permet de l'adapter aisément à d'autres cadres d'apprentissage. Notamment, je présenterai la spécialisation de la théorie PAC-bayésienne à l'apprentissage semi-supervisé et transductif. Enfin, une paramétrisation particulière du théorème PAC-bayésien permet de jeter un nouveau regard sur les critères de sélection de modèles «purement» bayésiens, comme le maximum de vraisemblance.