Regresia logistică este un algoritm de învățare supravegheată utilizat pentru clasificarea binară.
Modelul analizează relația dintre variabilele de intrare și probabilitatea apariției unui anumit rezultat.
Printre exemple se numără:
- E-mailul este spam sau nu este spam
- Clientul va cumpăra sau nu
- Tranzacția este frauduloasă sau legitimă
- Pacientul suferă de o afecțiune sau nu
În loc să prezică direct o valoare numerică, regresia logistică prezice o probabilitate cuprinsă între 0 și 1.
Cuprins
Cum funcționează regresia logistică
Modelul utilizează variabile de intrare, denumite adesea caracteristici, pentru a estima probabilitatea unui anumit rezultat.
Procesul urmează, de obicei, acești pași:
- Colectarea și pregătirea datelor.
- Antrenarea modelului folosind exemple istorice.
- Calcularea probabilităților pentru observații noi.
- Conversia probabilităților în clasificări.
- Evaluarea preciziei predicției.
Scopul este identificarea tiparelor care ajută la distingerea unei clase de alta.
Variabile de intrare
Modelul primește una sau mai multe variabile independente ca date de intrare.
Exemple:
- Vârsta clientului
- Istoricul achizițiilor
- Activitatea pe site-ul web
- Prețul produsului
- Conținutul e-mailului
Aceste variabile sunt utilizate pentru a estima probabilitatea unui rezultat specific.
Funcția logistică
Spre deosebire de regresia liniară, regresia logistică utilizează o funcție logistică (sigmoidă) pentru a transforma rezultatele în probabilități.
P(y)=\frac{1}{1+e^{-z}}
Această funcție generează valori cuprinse între 0 și 1, ceea ce o face potrivită pentru estimarea probabilităților.
Prin urmare:
- Valorile apropiate de 0 indică o probabilitate scăzută.
- Valorile apropiate de 1 indică o probabilitate ridicată.
De la probabilitate la clasificare
După calcularea unei probabilități, modelul o compară cu un prag.
Un prag obișnuit este:
0,5
De exemplu:
| Probabilitate | Clasificare |
|---|---|
| 0,85 | Pozitiv |
| 0,72 | Pozitiv |
| 0,43 | Negativ |
| 0,12 | Negativ |
Organizațiile pot alege praguri diferite în funcție de cerințele de afaceri și de toleranța la risc.
Antrenarea unui model de regresie logistică
În timpul antrenării, modelul analizează date istorice care conțin:
- Variabile de intrare
- Rezultate cunoscute
Algoritmul ajustează parametrii interni pentru a minimiza erorile de predicție și a îmbunătăți precizia clasificării.
Modelul învață care variabile contribuie cel mai puternic la un anumit rezultat.
Evaluarea performanței modelului
După antrenare, modelul trebuie evaluat folosind date de testare separate.
Printre indicatorii de evaluare obișnuiți se numără:
Precizie
Măsoară procentul de predicții corecte.
Precizie
Măsoară câte predicții pozitive au fost efectiv corecte.
Recall (Sensibilitate)
Măsoară câte cazuri pozitive reale au fost identificate corect.
Scorul F1
Combină precizia și recall-ul într-un singur indicator.
ROC-AUC
Măsoară capacitatea modelului de a distinge între clase la diferite valori de prag.
Utilizarea mai multor metrici oferă o imagine mai completă a performanței modelului.
Avantajele regresiei logistice
Regresia logistică rămâne populară datorită mai multor avantaje practice.
Ușor de interpretat
Relația dintre variabile și rezultate este relativ ușor de înțeles.
Antrenare rapidă
Modelul poate fi adesea antrenat rapid, chiar și pe seturi mari de date.
Utilizarea eficientă a resurselor
Regresia logistică necesită o putere de calcul relativ redusă în comparație cu modelele mai complexe de învățare automată.
Model de referință puternic
Este frecvent utilizat ca punct de plecare în evaluarea problemelor de clasificare.
Limitările regresiei logistice
Deși este eficientă în multe scenarii, regresia logistică prezintă limitări.
Presupune o relație liniară
Modelul presupune o relație relativ simplă între variabile și rezultate.
Modelele complexe pot necesita algoritmi mai avansați.
Sensibil la calitatea caracteristicilor
Variabilele de calitate slabă sau irelevante pot reduce precizia predicției.
Provocări legate de dezechilibrul între clase
Atunci când o clasă este semnificativ mai frecventă decât alta, modelul poate întâmpina dificultăți în a prezice cu precizie clasele minoritare.
Aplicații comune
Regresia logistică este utilizată pe scară largă în numeroase industrii.
Marketing
- Predicția conversiei clienților
- Analiza ratei de abandon
- Calificarea clienților potențiali
Finanțe
- Aprobarea creditelor
- Detectarea fraudelor
- Evaluarea riscurilor
Sănătate
- Predicția bolilor
- Analiza rezultatelor pacienților
- Studii privind eficacitatea tratamentelor
Securitate cibernetică
- Filtrarea spamului
- Detectarea intruziunilor
- Clasificarea amenințărilor
Simplitatea și fiabilitatea sa o fac una dintre cele mai frecvent utilizate tehnici de clasificare.
Regresia logistică vs. regresia liniară
| Regresia logistică | Regresia liniară |
|---|---|
| Prezice categorii | Prezice valori numerice |
| Generează probabilități | Generează valori continue |
| Utilizată pentru clasificare | Utilizată pentru prognozare și estimare |
| Utilizează o funcție logistică | Utilizează o ecuație liniară |
Deși denumirile lor sunt similare, cele două modele rezolvă tipuri diferite de probleme.
Implicații practice
Regresia logistică este adesea unul dintre primele modele utilizate la rezolvarea problemelor de clasificare. Predicțiile sale sunt ușor de interpretat, antrenarea este eficientă, iar rezultatele pot fi adesea explicate atât publicului tehnic, cât și celui netehnic.
Pentru multe sarcini de afaceri și analitice, regresia logistică oferă un echilibru între simplitate, viteză și performanță predictivă.
Rezumat
Regresia logistică este un model de învățare automată utilizat pentru a prezice probabilitatea ca o observație să aparțină unei anumite categorii. Prin aplicarea unei funcții logistice asupra variabilelor de intrare, modelul generează probabilități care pot fi convertite în clasificări, cum ar fi rezultatele de tip da/nu sau adevărat/fals.
Ușurința de implementare, interpretabilitatea și aplicabilitatea largă fac din regresia logistică una dintre cele mai utilizate tehnici de clasificare în statistică, știința datelor și învățarea automată.