Scribd Logo
Importer

Bienvenue sur Scribd !

  • 57 vues

    Tout Savoir Sur La Régression Logistique

    Transféré par

    Mor fall syla
    Ce document présente la régression logistique comme une méthode de classification binaire. Il explique comment la fonction sigmoïde est utilisée pour prédire la probabilité d'appartenance à une classe, et décrit la fonction de coût et l'algorithme de descente de gradient utilisés pour l'entraînement du modèle.

    Droits d'auteur :

    © All Rights Reserved
    Téléchargez comme PDF, TXT ou lisez en ligne sur Scribd

    Tout Savoir Sur La Régression Logistique

    Transféré par

    Mor fall syla
    57 vues11 pages
    Ce document présente la régression logistique comme une méthode de classification binaire. Il explique comment la fonction sigmoïde est utilisée pour prédire la probabilité d'appartenance à une classe, et décrit la fonction de coût et l'algorithme de descente de gradient utilisés pour l'entraînement du modèle.

    Description originale:

    Regression logistique

    Titre original

    Tout savoir sur la régression logistique

    Copyright

    © © All Rights Reserved

    Formats disponibles

    PDF, TXT ou lisez en ligne sur Scribd

    Avez-vous trouvé ce document utile ?

    Ce contenu est-il inapproprié ?

    Ce document présente la régression logistique comme une méthode de classification binaire. Il explique comment la fonction sigmoïde est utilisée pour prédire la probabilité d'appartenance à une classe, et décrit la fonction de coût et l'algorithme de descente de gradient utilisés pour l'entraînement du modèle.

    Droits d'auteur :

    © All Rights Reserved
    Téléchargez comme PDF, TXT ou lisez en ligne sur Scribd
    Télécharger au format pdf ou txt
    57 vues11 pages

    Tout Savoir Sur La Régression Logistique

    Transféré par

    Mor fall syla
    Ce document présente la régression logistique comme une méthode de classification binaire. Il explique comment la fonction sigmoïde est utilisée pour prédire la probabilité d'appartenance à une classe, et décrit la fonction de coût et l'algorithme de descente de gradient utilisés pour l'entraînement du modèle.

    Droits d'auteur :

    © All Rights Reserved
    Téléchargez comme PDF, TXT ou lisez en ligne sur Scribd
    Télécharger au format pdf ou txt
    Vous êtes sur la page 1sur 11

    Tout savoir sur la régression logistique

    Partie 2

    Présenté par Morgan Gautherot


    Problème de classification

    X Y

    Nb d‘e-mails Nb de produits Panier moyen Ouverture de l’e-


    ouverts (𝒙𝟏 ) achetés (𝒙𝟐 ) (𝒙𝟑 ) mail (y)
    1 12 3 120 1
    2 0 1 40 0
    3 30 10 1800 1
    4 14 5 799 1
    … … … … …
    m 25 2 260 0
    Jeu d’entraînement pour la prédiction de prix de maison
    Utiliser une droite

    Nb d’ouvertures d’emails

    Panier moyen
    Utiliser une droite

    Si y=1 :
    𝑤! . 𝑥! + … + 𝑤$ . 𝑥$ ≥ 0
    Si y=0 :
    Nb d’ouvertures d’emails
    𝑤! . 𝑥! + … + 𝑤$ . 𝑥$ < 0

    𝑦 = 𝑤! + 𝑤" . 𝑥" +𝑤# . 𝑥#

    𝑦 = 𝑤! + 𝑤" . 𝑥" + 𝑤# . 𝑥# + ⋯ + 𝑤$ . 𝑥$

    Panier moyen
    Similitude avec la régression linéaire

    ● Nous voulons une ligne séparant nos deux classes.


    ● Pour cela, nous utiliserons donc l'équation de la régression linéaire :

    𝑦! = 𝑤". 𝑥" + 𝑤#. 𝑥# + 𝑤$. 𝑥$ + … + 𝑤% . 𝑥%

    ● Pour la régression linéaire 𝑦! ∈ 𝑅


    ● Pour la régression logistique 0 ≤ 𝑦! ≤ 1
    La fonction sigmoïde

    !
    𝑔 𝑧 =
    !"# -.

    0≤𝑔 𝑧 ≤1
    Expression du modèle

    ● Cette fonction prend en entrée les variables et retourne une valeur


    entre 0 et 1.

    #
    𝑦! = g( 𝑊 & 𝑋) = '
    #'( %& (

    ● Plus 𝑦! est proche de 1, plus l’observation a de chance d’appartenir à


    la classe 1.
    ● Plus 𝑦! est proche de 0, plus l’observation a de chance d’appartenir à
    la classe 0.
    Une fonction de coût de la régression linéaire
    #
    min 𝐽 𝑊 = ∑) (𝑦! (*) − 𝑦 * )$
    $) *+#
    # #
    min 𝐽 𝑊 = ∑) ( − 𝑦 * )$
    $) *+# ' (,)
    #'( %) *

    Non convexe
    Convexe
    Fonction convexe pour la classification

    − log 𝑦! 𝑠𝑖 𝑦 = 1
    𝐶𝑜û𝑡(𝑦,
    ! 𝑦)=<
    − log 1 − 𝑦! 𝑠𝑖 𝑦 = 0

    Si y = 1 Si y = 0

    𝐽 𝑊 𝐽 𝑊

    𝑦1 𝑦1
    Fonction de coût pour la régression logistique

    − log 𝑦1 𝑠𝑖 𝑦 = 1
    𝐶𝑜û𝑡(𝑦,
    1 𝑦)=9
    − log 1 − 𝑦1 𝑠𝑖 𝑦 = 0

    𝐶𝑜û𝑡(𝑦,
    1 𝑦 ) = −𝑦 log(𝑦)
    1 − (1 − 𝑦) log(1 − 𝑦)
    1

    Si y = 1 𝐶𝑜û𝑡(𝑦,
    1 𝑦 ) = −1 log(𝑦)
    1
    Si y = 0 𝐶𝑜û𝑡(𝑦,
    1 𝑦 ) = −1 log(1 − 𝑦)
    1

    0
    1
    𝑚𝑖𝑛 𝐽 𝑊 = C −𝑦 (.) log(𝑦1 (.) ) − (1 − 𝑦 (.) ) log(1 − 𝑦1 (.) )
    𝑚
    ./"
    Le gradient descent

    Répéter jusqu’à la convergence {


    " (.)
    𝑤1 ≔ 𝑤1 - 𝛼 ∑0 1 (.) − 𝑦
    ./" (𝑦
    .
    ) . 𝑥1 (simultanément j = (0, …, n)
    0

    Vous aimerez peut-être aussi