Data Science blokk tematikája (5 előadás)

CRISP-DM (Cross Industry Standard Process for Data Mining)

6 fázisú, iteratív módszertan adatelemzési projektekhez:

1. Üzleti célok megértése (Business Understanding) — mit akarunk megtudni / előrejelezni
2. Adatok megismerése (Data Understanding) — leíró statisztikák, vizualizáció, adatminőség-vizsgálat
3. Adatok előkészítése (Data Preparation) — a projekt 60-80%-a! Adattisztítás, transzformáció, feature engineering
4. Modellezés (Modeling) — regresszió / klasszifikáció / szegmentáció modellek tanítása
5. Értékelés (Evaluation) — modellek teljesítményének mérése, üzleti relevancia ellenőrzése
6. Fejlesztés / Üzembe helyezés (Deployment) — a modell éles használatba állítása

A fázisok között oda-vissza visszalépés gyakori.

Üzleti analitika típusai (érettség szerint)

Szerepkörök

• Business Analyst — üzleti igények és KPI-k
• Data Analyst — riportok, vizualizáció
• Data Scientist — modellezés, ML
• ML Engineer — modellek éles bevezetése
• Data Engineer — adatcsövek, ETL

2.1 Adatminőségi kritériumok (Data Quality)

A jó adat egyszerre rendelkezik ezekkel a tulajdonságokkal (bármelyik kiemelt jelentőségű lehet):

• Elérhetőség (availability) / hozzáférhetőség (accessibility)
• Pontosság (accuracy)
• Időszerűség (timeliness)
• Érvényesség (validity)
• Teljesség (completeness) — kevés / nincs hiányzó érték
• Egyediség (uniqueness) — nincsenek duplikátumok
• Relevancia (relevance) / hasznosság (usefulness)
• Összehasonlíthatóság (comparability)
• Egyöntetűség (uniformity) — egyforma mértékegység, formátum
• Hitelesség (credibility)
• Következetesség (consistency) / egyértelműség (clarity)

GIGO elv (Garbage In, Garbage Out): rossz adatból csak rossz modell jöhet ki.

2.2 Az adatelőkészítés lépései (CRISP-DM 3. fázis)

1. Adatok kiválasztása (Select Data)
2. Adatok megtisztítása (Clean Data)
3. Változó transzformáció, új változók (Construct Data, Feature Engineering)
4. Adatok integrálása (Integrate Data) — több táblából
5. Adatok formázása (Format Data)

Változónkénti lépések: 1. Felesleges adatok kiszűrése 2. Változók típusainak, mérési szintjének ellenőrzése 3. Outlierek és hiányzó értékek kezelése 4. Kategoriális változók ellenőrzése, dummyzás 5. Változók transzformálása (normalizálás / standardizálás) 6. Új változók létrehozása (származtatás, integrálás)

2.3 Mintavételezés

Akkor mintavételezünk, ha: - Költségek túl magasak - Populáció dinamikus - Populáció mérete túl nagy

Mintavételi egységek: - Elsődleges: amire a felvétel közvetlenül irányul (pl. bankok) - Végső: amire a következtetést akarjuk levonni (pl. ügyfelek)

Fajták: | Típus | Leírás | |——-|——–| | Egyszerű véletlen (EVM) | Minden elem azonos valószínűséggel | | Rétegzett — arányos | Rétegek populációs aránya szerint | | Rétegzett — nem arányos | Eltérő réteg-súlyok (kontrollcsoport stb.) |

Mintanagyság ökölszabályai: - Legkisebb részsokaság ≥ 30 elem - Kereszttáblánál minden cellában ≥ 5 elem

Hibatípusok: - Mintavételi hiba — abból, hogy csak részből következtetünk; matematikailag mérhető, csökken a mintaméret növelésével - Nem mintavételi hibák (nem tervezhetők): - Szelekciós (fedési) torzítás — nem mindenki kerül a mintába - Definíciós hiba — rossz változóképzés - Mérési / téves adatközlési hiba — outlierek, hibás adat - Nem válaszolási hiba — missing value - Feldolgozási hiba — pl. táblák rossz összekapcsolása

2.4 Adattisztítás (Data Cleaning)

2.5 Adatmanipuláció (Data Transformation)

2.6 Altair AI Studio operátorok — összefoglaló táblázat

3.1 Asszociáció — két kategoriális változó

Kontingencia tábla (kereszttábla) készítése.

Khi-négyzet (χ²) próba — H₀: a változók függetlenek

\[\chi^2 = \sum_{i=1}^{n} \sum_{j=1}^{m} \frac{(f_{ij} - F_{ij})^2}{F_{ij}}\]

ahol: - \(f_{ij}\) = megfigyelt gyakoriság - \(F_{ij} = \frac{f_{i\cdot} \cdot f_{\cdot j}}{N}\) = elméleti (várt, ha függetlenek volnának) gyakoriság

Szabadságfok: \(df = (sorok - 1) \cdot (oszlopok - 1)\)

Döntés: ha \(p < 0,05\) (vagy \(\chi^2 > \chi^2_{krit}\)) → szignifikáns kapcsolat (H₀-t elvetjük).

Goodman-Kruskal λ (PRE-elv = Proportional Reduction of Error): \[\lambda_{Y|X} = \frac{E_1 - E_2}{E_1}\] - \(E_1\): hiba Y becslésében X ismerete nélkül (móduszra tippelünk) - \(E_2\): hiba Y becslésében X ismeretében (X-csoportonkénti móduszra tippelünk)

3.2 Vegyes kapcsolat — kategoriális × numerikus változó

Azt nézzük, hogy a numerikus változó szóródásának hány %-át magyarázza a csoportosítás.

Variancia-felbontás: \[\sigma^2 = \sigma_B^2 + \sigma_K^2 \quad \text{és} \quad SS_T = SS_B + SS_K\]

H-mutató (szóráshányados): \[H^2 = \frac{\sigma_K^2}{\sigma^2} = 1 - \frac{\sigma_B^2}{\sigma^2}, \qquad H = \sqrt{H^2}\]

Értelmezés: - \(H = 0\): függetlenség (csoportátlagok egyenlők) - \(0 < H < 1\): sztochasztikus kapcsolat - \(H = 1\): determinisztikus (csoporton belüli szórás = 0)

Skála (durva tájékozódás): - \(H < 0,3\): gyenge / nincs - \(0,3 \leq H < 0,5\): gyenge-közepes - \(0,5 \leq H < 0,7\): közepes-erős - \(H \geq 0,7\): erős / nagyon erős

3.3 Korreláció — két numerikus változó

Kovariancia: \[\text{Cov}(X, Y) = \frac{\sum_{i=1}^{N} (x_i - \bar{x})(y_i - \bar{y})}{N}\]

Nem normált; pozitív érték → pozitív együttmozgás, negatív → ellenirányú.

Pearson-féle korrelációs együttható (r): \[r_{X,Y} = \frac{\text{Cov}(X, Y)}{\sigma_X \sigma_Y} = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum (x_i - \bar{x})^2 \sum (y_i - \bar{y})^2}}\]

• Tartomány: \(-1 \leq r \leq +1\)
• Szimmetrikus, mértékegység-független
• Outlierekre érzékeny

Interpretáció (kapcsolat erőssége): | |r| érték | Erősség | |————|———| | 0,9 – 1,0 | nagyon erős | | 0,7 – 0,9 | erős | | 0,5 – 0,7 | közepes | | 0,3 – 0,5 | alacsony | | < 0,3 | nincs / nagyon alacsony |

Figyelem: \(r = 0\) csak azt jelenti, hogy lineáris kapcsolat nincs — egyéb függvénykapcsolat lehet. A változók ilyenkor csak korrelálatlanok, nem feltétlenül függetlenek.

0,95+ abszolút érték gyanús: az egyik változó valószínűleg determinálja a másikat (pl. átszámítás).

Determinációs együttható (\(R^2\), \(r^2\)):

\[r^2 = \frac{SS_R}{SS_T} = 1 - \frac{SS_E}{SS_T}\]

Megmutatja: a magyarázó változó hány %-ban befolyásolja az eredményváltozó szóródását. Egyben a regressziós modell illeszkedését (magyarázó erejét) jellemzi.

3.4 Anscombe-kvartett

Négy adathalmaz közel azonos leíró statisztikákkal (átlag, variancia, \(r = 0{,}816\), regressziós egyenes \(y = 3 + 0{,}5x\), \(r^2 = 0{,}67\)), de teljesen eltérő eloszlással / formával. Tanulság: mindig nézz pontdiagramot, ne csak metrikákat. Az outlier akár teljesen elfedheti / kreálhatja az “összefüggést”.

3.5 Korrelációs mátrix és hőtérkép

Több változó esetén páronkénti \(r\) értékek mátrixban. Szimmetrikus (\(r_{ij} = r_{ji}\)), főátlóban 1-esek. Hőtérkép = mátrix színkódolt verziója. Jól látszanak rajta a redundáns (erősen korreláló) változópárok, amelyek közül érdemes az egyiket dobni a modellezésnél.

3.6 Vegyes kapcsolat vs. korreláció — összefoglaló

4.1 Fajtái

4.2 Előállítási lépések (Excel)

1. Forrásadatot táblázattá alakítani (Insert → Table)
2. Forrásterület kijelölése (fejléccel együtt)
3. Insert → Pivot Table
4. Pivot tábla helyének és területének beállítása
5. Drag & drop: változókat Rows / Columns / Values / Filters mezőkbe
6. Values mezőben: összesítés típusa (Sum, Average, Min, Max, Count …)

4.3 Ellenőrzendők a forrásadatban

• Az első sor minden oszlopa nevesített
• Az oszlopcímek egyediek
• Egy oszlopban egy adattípus és formátum
• Nincs üres oszlop az adatterületen belül
• “Hasonló de eltérő” értékek (pl. “Budapest” vs. “Budapest”) külön számítanak

Megjegyzés: a pivot nem case-sensitive és külön értékként kezeli a hiányzó értéket.

4.4 Példa — ATM napi készpénzfelvétel (2013-2018)

• Soronkénti összesítés: hónaponkénti összeg, átlag, max
• 3D kereszttábla: év × hónap × hét napja
• Vegyes kimutatás: SUM + AVERAGE + MAX egy táblában

4.5 Banki fiók gyakorlat (fő PDF 118-122)

Adattábla változói: Branch_id, Origin, Region, OpenDate, F_InMall, Tier, ClientSpace, Desks, Staff, F_Currencies, TrnCashRes, TrnNonCashRes, TrnCashCorp, TrnNonCashCorp.

Tipikus feladatok: 1. Pultok száma → kategória (1-4, 5-6, 7-8, 9-10, 11+), gyakoriságok 2. Origin szerinti megoszlás (%) 3. Tier kategóriák népessége csökkenő sorrendben 4. Pultszám kategória vs. valutázik (F_Currencies) — asszociáció 5. Tier vs. Staff — vegyes kapcsolat 6. Desks vs. Staff — korreláció és előrejelzés (10 pultnál hány ügyintéző?) 7. Valutázó vs. nem valutázó fiók Staff-átlagai

5.1 Alapfogalmak

• Egyszerű regresszió: 1 magyarázó változó
• Többszörös (multilineáris): ≥ 2 magyarázó változó
• Lineáris regresszió általános formája: \[Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \ldots + \beta_n X_n + \varepsilon\] ahol \(\beta_0\) a tengelymetszet, \(\beta_i\) a regressziós együtthatók, \(\varepsilon\) a hibatag (reziduum).
• Interpoláció: a megfigyelt X-tartományon belül becsülünk
• Extrapoláció: a tartományon kívül becsülünk (kockázatos!)

Üzleti alkalmazás: költségbecslés, ingatlanár, részvényhozam, marketing-ROI, eladás előrejelzés.

5.2 Lineáris regresszió feltételei

1. Linearitás — Y és X kapcsolata lineáris (egyébként transzformáció kell)
2. Multikollinearitás hiánya — magyarázó változók nem korrelálnak erősen egymással (VIF < 5-10)
3. Hibatagok normalitása — \(\varepsilon \sim N(0, \sigma^2)\)
4. Homoszkedaszticitás — hibatag varianciája konstans (nem függ X-től)
5. Hibatagok függetlensége (nincs autokorreláció) — főleg idősoros adatnál fontos
6. Hibatag X-től független — \(E[\varepsilon | X] = 0\)

5.3 Bemeneti változók kiválasztása

Szűrési alapelvek: - Felesleges: sok hiányzó, egyértékű, erősen korreláló változók - Komplexitás vs. pontosság trade-off

5.4 Pontosság / teljesítmény metrikák (regresszió)

• \(SS_E = \sum (y_i - \hat{y}_i)^2\) (reziduálisok négyzetösszege)
• \(SS_T = \sum (y_i - \bar{y})^2\) (teljes négyzetösszeg)
• \(n\) = mintaméret, \(p\) = magyarázó változók száma

Olvasati szabályok: - \(R^2 \approx \text{Adj.}R^2\) → modell stabilnak látszik - \(R^2 \gg \text{Adj.}R^2\) → felesleges változókat tartalmaz, túltanulás veszélye

5.5 Polinomiális regresszió

A magyarázó változókat hatványra emeljük: - Degree 2: \(y = b_0 + b_1 x_1 + b_2 x_1 x_2 + b_3 x_1^2 + b_4 x_2^2 + \ldots\) - Degree 3: \(y = c_0 + c_1 x_1 + c_2 x_1 x_2 + c_3 x_1^2 x_2 + \ldots\)

Görbe / nemlineáris kapcsolatra. Túltanulásra hajlamos magasabb fokszámnál.

5.6 Generalizált lineáris modell (GLM)

Általánosabb keret — a függő változó eloszlása nem feltétlen normál (lehet pl. Poisson, binomiális). Link-függvénnyel köti az \(E[Y]\)-t a lineáris kombinációhoz.

5.7 Alultanulás / túltanulás

Bias-variance trade-off: túl egyszerű = high bias, túl komplex = high variance. Cél: jól általánosító középút.

5.8 Tanító / teszt adatbázisok

Altair: SPLIT DATA, CROSS VALIDATION.

Fontos: a normalizálást csak a tanító adaton kell illeszteni, és onnan kapott paramétereket alkalmazni a teszt adatra (APPLY MODEL). Különben adatszivárgás történik.

5.9 Ames Housing demó (04.22) — workflow lépések

Cél: lakásár (SalePrice) becslése 59 változóból, 2930 megfigyelés.

1. RETRIEVE Ames Housing
2. SELECT ATTRIBUTES — felesleges (PID, Order, Garage Area, Misc Feature) eldobása
3. REPLACE MISSING VALUES — nominális: “NA”, numerikus: 0; Lot Frontage: átlag
4. Outlier kezelés — 99. percentilis számolása AGGREGATE-tel, CARTESIAN PRODUCT az eredeti tábla mellé, GENERATE ATTRIBUTES-szal min(x, p99) képletű csere
5. GENERATE ATTRIBUTES — ordinális kategóriák (Poor, Fair, … Excellent) numerikusra
6. REPLACE RARE VALUES — ritka kategóriák összevonása
7. ONE-HOT ENCODING — dummy oszlopok
8. SET ROLE — SalePrice = label
9. FILTER EXAMPLES — tanító: YR SOLD < 2009; teszt: ≥ 2009 (időbeli split, valós deployment-szerű)
10. NORMALIZE (Z-transformation) tanító adaton, APPLY MODEL a teszt adatra
11. LINEAR REGRESSION
12. APPLY MODEL → PERFORMANCE (REGRESSION) — R², MAPE

6.1 Problématípusok

Imbalance kezelése: oversampling (SMOTE), undersampling, súlyozott modell, küszöb módosítás.

6.2 k-NN (k-Nearest Neighbors) — lusta osztályozó

Új ponthoz megkeresi a \(k\) legközelebbi tanítópontot, és a többségi szavazat alapján sorol be (vagy átlag predikciónál).

Távolságfüggvények: - Euklideszi: \(d(x, y) = \sqrt{\sum_i (x_i - y_i)^2}\) - Manhattan (city-block): \(\sum_i |x_i - y_i|\) - Minkowski (paraméteres): \(\left(\sum_i |x_i - y_i|^q\right)^{1/q}\) - Mahalanobis — figyelembe veszi a kovarianciát

Súlyozott k-NN: közelebbi szomszéd nagyobb súllyal.

Előny: egyszerű, intuitív. Hátrány: drága predikciókor, érzékeny dimenzióátokra (curse of dimensionality), kell normalizálás.

6.3 Döntési fa (Decision Tree)

Elemei: csomópont (split), ág (kimenetel), levél (osztály).

6.4 Logisztikus regresszió

A lineáris kombináció kimenetét sigmoid (logistic) függvénnyel alakítjuk 0-1 közötti valószínűséggé:

\[g(z) = \sigma(z) = \frac{1}{1 + e^{-z}}, \quad z = \beta_0 + \beta_1 X_1 + \ldots\]

\[P(y=1 | X) = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \ldots)}}\]

• Odds: \(\frac{p}{1-p}\)
• Log-odds (logit): \(\ln \frac{p}{1-p} = \beta_0 + \beta_1 X_1 + \ldots\)
• Döntési küszöb (threshold): alapból 0,5; üzleti cél szerint állítható (pl. költségmátrix)

Standardizálás kötelező előtte (mert lineáris modell).

6.5 Metaklasszifikátorok (ensemble módszerek)

6.6 Klasszifikáció teljesítmény-metrikák

Confusion matrix (tévesztési mátrix):

ROC görbe: TPR vs. FPR a küszöb változtatásával. Ideális: bal felső sarok. AUC (Area Under Curve): ROC alatti terület. 0,5 = véletlen, 1,0 = tökéletes. Lift / Gain görbe: decilisek szerinti felül-teljesítés a véletlenhez képest.

Mikor melyiket? | Probléma | Cél | Metrika | |———-|—–|———| | Spam-szűrés | kevés hamis pozitív | Specificity ↑ / Precision ↑ | | Betegségdiagnózis | kevés hamis negatív | Recall ↑ | | Imbalanced | egyensúly | F1 / AUC | | Általános | osztálytól független | AUC |

6.7 Bank Marketing demó — workflow (04.29)

Cél: ügyfél elfogadja-e a betét-ajánlatot (y)? 45 211 megfigyelés.

1. RETRIEVE BankMarketing → SET ROLE (y = label)
2. GENERATE ATTRIBUTES — kategóriák → 0/1
3. ONE-HOT ENCODING — dummy
4. SPLIT DATA — 67% train / 33% test, random seed 1
5. NORMALIZE (z-transformation) tanítón → APPLY MODEL a tesztre
6. LOGISTIC REGRESSION (H2O) → APPLY MODEL mindkettőre
7. PERFORMANCE (CLASSIFICATION) → confusion matrix, accuracy

Döntési fa tuning ugyanezen az adaton: - Alap: train 100%, test 82% → erős túltanulás - maximal_depth = 10: train 90,7% / test 88,8% → jobb generalizáció - minimal_size_for_split = 400: train 89,4% / test 89,1% → még jobb

OPTIMIZE PARAMETERS (GRID) — paraméterkombinációk automatikus tesztelése.

7.1 Klaszterezési technikák

7.2 K-means (Lloyd algoritmus)

1. Inicializálás — k random pont vagy K-means++ kiválasztás
2. Hozzárendelés — minden pontot a legközelebbi centroidhoz
3. Centroid frissítés — klaszteren belüli átlag
4. Konvergencia — ha centroid nem változik, stop; egyébként 2-3 ismétlés
5. Maximum iteráció (pl. 100)

Paraméterek (Altair): k, max_runs (újrainicializálás), distance_measure, max_optimization_steps.

Előnyök: gyors, érthető. Hátrányok: outlier-érzékeny, lokális optimum, gömbölyű alakot feltételez, k előre adva.

7.3 K-medoids

K-meanstől eltérően a klaszter középpontja valós adatpont (medoid), nem átlag. Robusztusabb outlierre, de számításigényesebb (PAM, CLARA algoritmusok).

7.4 Hierarchikus klaszterezés (agglomeratív)

1. Minden pont saját klaszter (\(n\) klaszter)
2. Legközelebbi 2 klaszter összevonása
3. Távolságmátrix frissítése (linkage szerint)
4. Ismétlés, amíg 1 klaszter marad
5. Dendrogram szerkesztése

Linkage típusok: | Típus | Definíció | Jellemző | |——-|———–|———-| | Single | min pár-távolság | láncszerű, outlier-érzékeny | | Complete | max pár-távolság | gömbölyű, kompakt | | Average | átlag pár-távolság | kompromisszum | | Ward | variancia-növekedés minimalizálása | gömbölyű, általában legjobb |

Divizív = fordítva: minden 1 klaszterből indul, fokozatosan vág.

7.5 Távolságmérőszámok

Fontos: mielőtt távolságot számolunk, standardizálni vagy normalizálni kell! Különben a nagy értéktartományú változó dominál.

7.6 Klaszterszám-választás

ahol \(a_i\) = átlag-távolság a saját klaszteren belül, \(b_i\) = átlag-távolság a legközelebbi idegen klaszterhez.

7.7 Klaszterek validációja és értelmezése

Belső validáció: - \(SS_W = \sum_c \sum_{x \in C_c} d(x, \mu_c)^2\) — klaszteren belüli (minimalizálandó) - \(SS_B = \sum_c n_c \cdot d(\mu_c, \bar{\mu})^2\) — klaszterek közötti (maximalizálandó) - \(SS_T = SS_W + SS_B\) - Davies-Bouldin, Silhouette (lásd fent)

Külső validáció: ha vannak igazi címkék (Rand index, ARI).

Profilozás (üzleti értékelés): - Heatmap (változónkénti átlag klaszterenként) - Centroid chart (klasztermag-pozíciók) - Scatter plot a 2 legfontosabb dimenzión - Méret-eloszlás (ne legyen 95%-os szuper-klaszter) - Üzleti narratíva: lehet-e nevet adni (pl. “Premium”, “Price-sensitive”, “Inactive”)?

7.8 Last.fm demó (05.06) — workflow

Adat: 1000 felhasználó, 9 zenei műfaj × 3 felhasználási típus.

1. RETRIEVE LastFMUsage
2. SET ROLE — id = identifier
3. NORMALIZE — z-transformation (kötelező!)
4. K-MEANS — k = 9-10, max_runs = 10, EuclideanDistance
5. CLUSTER MODEL VISUALIZER — overview, heatmap, centroid chart, scatter

Opcionális k-keresés: - LOOP PARAMETERS (k: 2..20) — beágyazva: K-MEANS → CLUSTER DISTANCE PERFORMANCE → LOG - Outputban: k vs. \(SS_W\) vs. Davies-Bouldin görbe

8.1 Általános szempontok

8.2 Regressziós metrikák (összegzés)

8.3 Klasszifikációs metrikák (lift / gain / RAUC)

Lift görbe (decilis-bontás): - Rendezzük az adatot a modell pozitív-valószínűsége szerint csökkenőleg. - Decilisenként számoljuk a tényleges pozitívok arányát. - Lift = (top p% pozitív aránya) / (átlagos pozitív arány). - Lift = 1 → véletlen szint.

Gain (cumulative) görbe: Y = összegzett pozitívok %-a, X = adat %-a. Diagonális = véletlen.

RAUC (Relative AUC): \[\text{RAUC} = \frac{\text{ModelAUC} - 0{,}5}{\text{BestAUC} - 0{,}5}\]

Ahol BestAUC = a sokasági pozitív arány figyelembevételével maximális AUC.

8.4 Szegmentációs kiértékelés

• Belső: SSW, Davies-Bouldin, Silhouette
• Stabilitás: bootstrap / véletlen újrafutás
• Üzleti: profilozás, kommunikálhatóság, akcionálhatóság

8.5 Hiperparaméter-tuning

Altair: OPTIMIZE PARAMETERS (GRID), OPTIMIZE PARAMETERS (QUADRATIC).

8.6 Cost matrix és profit curve

Ha hibák költsége aszimmetrikus (pl. csalás-szűrésnél hamis negatív sokba kerül, hamis pozitív csak kicsi kellemetlenség), a confusion matrix elemeit pénzben súlyozzuk, és a profit-maximális küszöböt választjuk.

8.7 Explainable Machine Learning

• Feature importance (random forest / GBT) — globális
• SHAP (Shapley values) — egyedi predikciók magyarázata
• LIME — lokális linearizáció
• Partial Dependence Plot — feature hatása izoláltan

8.8 Modellek összehasonlítása (Classification_Visu_Opt.rmp)

COMPARE ROCS operátor: párhuzamosan futtat több modellt (Decision Tree, Random Forest, GBT, Logistic Regression, k-NN, Naive Bayes), és egy diagramon hasonlítja össze a ROC görbéket.

Adatelőkészítés

\[z = \frac{x - \bar{x}}{s} \quad \text{(standardizálás)}\] \[x' = \frac{x - \min}{\max - \min} \quad \text{(Min-Max normalizálás)}\]

Asszociáció — kategoriális × kategoriális

\[\chi^2 = \sum \sum \frac{(f_{ij} - F_{ij})^2}{F_{ij}}, \quad F_{ij} = \frac{f_{i \cdot} \cdot f_{\cdot j}}{N}, \quad df = (s-1)(o-1)\] \[\lambda_{Y|X} = \frac{E_1 - E_2}{E_1}\]

Vegyes — kategoriális × numerikus

\[H^2 = \frac{\sigma_K^2}{\sigma^2} = 1 - \frac{\sigma_B^2}{\sigma^2}, \quad H = \sqrt{H^2}\] \[\sigma_B^2 = \frac{\sum_j n_j \sigma_j^2}{N}, \quad \sigma_K^2 = \frac{\sum_j n_j (\bar{x}_j - \bar{x})^2}{N}, \quad \sigma_T^2 = \sigma_B^2 + \sigma_K^2\]

Korreláció — numerikus × numerikus

\[\text{Cov}(X,Y) = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{N}\] \[r = \frac{\text{Cov}(X,Y)}{\sigma_X \sigma_Y}, \quad -1 \leq r \leq 1\] \[r^2 = 1 - \frac{SS_E}{SS_T} = \frac{SS_R}{SS_T}\]

Regressziós metrikák

\[\text{MAE} = \frac{1}{n} \sum |y_i - \hat{y}_i|\] \[\text{MAPE} = \frac{100\%}{n} \sum \frac{|y_i - \hat{y}_i|}{y_i}\] \[\text{MSE} = \frac{1}{n} \sum (y_i - \hat{y}_i)^2, \quad \text{RMSE} = \sqrt{\text{MSE}}\] \[R^2 = 1 - \frac{SS_E}{SS_T}, \quad \text{Adj.}R^2 = 1 - \frac{(1-R^2)(n-1)}{n-p-1}\]

Klasszifikáció

Confusion matrix: TP, TN, FP, FN.

\[\text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}\] \[\text{Precision} = \frac{TP}{TP + FP}, \quad \text{Recall} = \frac{TP}{TP + FN}\] \[F_1 = \frac{2 \cdot P \cdot R}{P + R} = \frac{2TP}{2TP + FP + FN}\] \[\text{Specificity} = \frac{TN}{TN + FP}, \quad \text{FPR} = 1 - \text{Specificity}\] \[\kappa = \frac{\text{Acc} - \text{Acc}_{random}}{1 - \text{Acc}_{random}}\]

Logisztikus regresszió

\[P(y=1 | x) = \frac{1}{1 + e^{-(\beta_0 + \beta_1 x_1 + \ldots)}}\] \[\text{logit}(p) = \ln\frac{p}{1-p} = \beta_0 + \beta_1 x_1 + \ldots\]

Döntési fa

\[H(Y) = -\sum_x p_x \log_2 p_x\] \[I(Y, X) = H(Y) - \sum_i P(X = x_i) H(Y | X = x_i)\] \[\text{Gini}(T) = 1 - \sum_j p_j^2\]

Klaszterezés

\[SS_W = \sum_c \sum_{x \in C_c} d(x, \mu_c)^2, \quad SS_B = \sum_c n_c \cdot d(\mu_c, \bar{\mu})^2, \quad SS_T = SS_W + SS_B\] \[s_i = \frac{b_i - a_i}{\max(a_i, b_i)} \in [-1, 1]\] \[DB = \frac{1}{k} \sum_i \max_{j \neq i} \frac{\sigma_i + \sigma_j}{d(c_i, c_j)}\]

Távolságmérők

\[d_{Euclid}(x,y) = \sqrt{\sum (x_i - y_i)^2}\] \[d_{Manhattan}(x,y) = \sum |x_i - y_i|\] \[d_{Minkowski}(x,y) = \left(\sum |x_i - y_i|^q\right)^{1/q}\]

10.1 04.08 — Adatelőkészítés (WineKMC.xlsx)

Üzleti probléma: borkereskedés ügyfeleinek viselkedésvizsgálata (előkészítés szegmentációra). Forrás: John Foreman — Data Smart.

Workflow lépések (Altair AI Studio):

Végeredmény: ~100 ügyfél × 33 oszlop (név + 32 ajánlat) mátrix, értékek = adott ügyfél hányszor fogadta el az adott ajánlatot.

10.2 04.22 — Regresszió (AutomobileData.csv)

Üzleti probléma: személygépkocsi ár (PRICE) becslése (forrás: UCI Automobile dataset).

Workflow lépések:

Értékelési kérdések: - Train vs. test eltérés → túltanulás? - Polinomiális 2-ed fokon javít vagy ront? - GLM mit mond? - Melyik a legjobb test-MAPE / test-R² alapján?

10.3 04.29 — Klasszifikáció (ChurnModelingFinal.csv)

Üzleti probléma: churn (ügyfél-elvándorlás) előrejelzése telco adaton (3 333 ügyfél, 15 változó).

Adatváltozók:

Workflow lépések:

Kötelező: ≥ 5 modell, az alábbiakból: - DECISION TREE (kötelezően tuningolva — pl. depth, criterion, min_size) - RANDOM FOREST (number_of_trees, maximal_depth) - LOGISTIC REGRESSION (standardizálás előtte!) - K-NN (standardizálás kell) - NAIVE BAYES - GRADIENT BOOSTED TREES (number_of_trees, max_depth) - BAGGING

Mindegyikre: APPLY MODEL train és test → PERFORMANCE (BINOMINAL CLASSIFICATION) → train acc + test acc.

Dokumentáció a Klasszifikacio_HF_00.xlsx-be:

Értékelési kérdések: - Melyik modell teljesítette a legjobb teszt accuracy-t? - Melyik mutat túltanulást (nagy train-test delta)? - A CustServ_Calls jelentős prediktor lesz-e?

10.4 05.06 — Szegmentáció demó (LastFMUsage.csv)

Nincs külön HF-PDF, de a demó-workflow alapja a vizsgakérdéseknek.

Workflow lépések:

Opcionális k-keresés: - LOOP PARAMETERS (k: 2-20) — beágyazva: K-MEANS → CLUSTER DISTANCE PERFORMANCE → LOG - Output: k vs. SSW vs. Davies-Bouldin görbe → könyökpont keresés

Profilozási kérdések: - Mely műfajok jellemzik az egyes klasztereket (heatmap)? - Vannak-e szélsőséges (csak 1-2 elemű) klaszterek? - Adható-e üzleti név mindegyik szegmensnek?

Adatelőkészítés

1. Mi a CRISP-DM és mik a fázisai? 6 fázisú iteratív módszertan: 1) Business Understanding, 2) Data Understanding, 3) Data Preparation, 4) Modeling, 5) Evaluation, 6) Deployment. A projektidő 60-80%-a a 3. fázisra megy.

2. Hogyan kezelnéd a hiányzó értékeket? Először: a hiányzás mintáját megnézni (MCAR / MAR / MNAR). Ha a változó <30% töltött, érdemes elhagyni. Egyébként numerikusnál átlag / medián, kategoriálisnál módusz vagy “MISSING” speciális érték. Modell-alapú (kNN, regresszió) is opció. List-wise törlés csak MCAR-nál és ha bőven van adat.

3. Mi a különbség a normalizálás és a standardizálás között? Normalizálás (Min-Max): \((x - \min) / (\max - \min) \in [0, 1]\), érzékeny outlierre. Standardizálás (z-score): \((x - \bar{x}) / s\), átlag 0, szórás 1; akkor használjuk ha a korlátokat nem ismerjük.

4. Mi az outlier és hogyan kezeled? Olyan érték, ami az adatsor többi értékétől szignifikánsan eltér. Lehet adathiba, mérési hiba, vagy természetes szélsőség. Kezelés: törlés (ha kevés és hiba), transzformáció (log, sqrt), heurisztikus levágás (99 percentilis), külön klaszter, vagy modell-alapú imputálás.

5. Mi a feature engineering? Új, informatívabb változók származtatása (kombinálás, megbontás, aggregálás). Pl. dátumból év/hónap/hét, ár+mennyiségből összeg, GPS koordinátából távolság-fix-ponttól. Célja: a modell könnyebben tanulja meg a kapcsolatot.

Változókapcsolatok

6. Hogyan vizsgálnád két kategoriális változó kapcsolatát? Kontingencia táblát készítek, majd χ² próbával ellenőrzöm a függetlenséget. \(\chi^2 = \sum (f - F)^2 / F\), szabadságfok \((s-1)(o-1)\). Ha \(p < 0{,}05\), szignifikáns kapcsolat. Erősséget mérhetek Cramér’s V-vel vagy Goodman-Kruskal λ-val.

7. Mit jelent és hogyan számolod a H-mutatót? Vegyes (kategoriális × numerikus) kapcsolat mérőszáma. \(H^2 = \sigma_K^2 / \sigma^2 = 1 - \sigma_B^2 / \sigma^2\). Megmutatja, hogy a kategoriális változó hány %-ban magyarázza a numerikus szóródását. 0 = függetlenség, 1 = determinisztikus.

8. Mi a Pearson-féle korreláció és mit nem mond? Két numerikus változó lineáris kapcsolatának erőssége és iránya. \(r \in [-1, 1]\). \(r = 0\) csak a lineáris függetlenséget jelenti — nemlineáris kapcsolat (pl. parabola) ettől még lehet. A 0,9 felett gyanús, az 1-hez közeli pedig determinista. Érzékeny az outlierre.

9. Mire jó az Anscombe-kvartett? Megmutatja, hogy ugyanazokhoz a leíró statisztikákhoz (átlag, szórás, korreláció) teljesen eltérő eloszlások tartozhatnak. Tanulság: mindig nézz pontdiagramot is, ne csak metrikákat.

10. Mi a determinációs együttható? \(r^2\), a magyarázó változó hány %-ban “magyarázza” a célváltozó szóródását. Egyben a regressziós modell illeszkedését (magyarázó erejét) is jelzi. 1-hez közel = jó modell.

Regresszió

11. Mik a lineáris regresszió feltételei? Linearitás, multikollinearitás hiánya, hibatag normalitása, homoszkedaszticitás (állandó variancia), hibatagok függetlensége, \(E[\varepsilon | X] = 0\).

12. Mi a különbség az R² és Adjusted R² között? \(R^2\) a magyarázott variancia aránya, de minden új változóval nő — akár hasznos, akár nem. Az Adjusted R² bünteti a változók számát: \(\text{Adj.}R^2 = 1 - \frac{(1-R^2)(n-1)}{n-p-1}\). Ha messze elválik az \(R^2\)-től, túltanulás.

13. Hogyan választasz változókat? Forward (üresből léptet be), Backward (teljesből dob ki), Stepwise (mindkét irány), Enter (mind). A választás függhet a változószámtól (Backward kis modellre, Forward sok változónál).

14. Mit jelent az overfitting? Hogyan ismered fel és hogyan kezeled? A modell a tanító adat zaját is megtanulja — train R² magas, test R² alacsony. Felismerés: nagy train-test delta. Kezelés: kevesebb feature, egyszerűbb modell, regularizáció (Ridge / Lasso), több adat, keresztvalidáció.

15. Mi a tanító-teszt-validációs felosztás célja? Train: modell illesztése. Validáció: hiperparaméter-tuning. Test: végső, érintetlen kiértékelés a generalizációra. Tipikusan 60/20/20 vagy k-fold cross-validation.

Klasszifikáció

16. Mi a confusion matrix és mik a metrikák? TP / TN / FP / FN. Accuracy = \((TP+TN)/N\), Precision = \(TP/(TP+FP)\), Recall = \(TP/(TP+FN)\), F1 = \(2PR/(P+R)\), Specificity = \(TN/(TN+FP)\).

17. Mikor használsz precisiont és mikor recallt? Precision = pozitív predikcióból mennyi valós (cél: kevés hamis pozitív, pl. spam). Recall = valós pozitívokból mennyit találunk (cél: kevés hamis negatív, pl. betegségdiagnózis, csalás).

18. Mi az AUC és mit jelentenek az értékei? ROC görbe alatti terület. 0,5 = véletlen, 1,0 = tökéletes. Valószínűségi értelmezés: egy random pozitív és egy random negatív pár közül a modell mekkora valószínűséggel rendezi helyesen.

19. Mi a logisztikus regresszió, miben különbözik a lineáristól? Lineáris kombinációt sigmoid függvénnyel valószínűségé alakít: \(P(y=1) = 1/(1+e^{-z})\). A célváltozó bináris (0/1), a kimenet 0-1 közötti valószínűség. Standardizálás kell előtte.

20. Mi az entrópia és az információ nyereség egy döntési fában? Entrópia \(H(Y) = -\sum p \log_2 p\) a célváltozó bizonytalanságát méri. Információ nyereség \(I(Y,X) = H(Y) - H(Y|X)\) — az X megfigyelése mennyit csökkent a bizonytalanságon. ID3-ban a legnagyobb nyereséggel splitelünk.

21. Mi a Random Forest előnye? Bagging + véletlen feature-subsetting → csökkenti a variancia és túltanulás kockázatát. Stabilabb mint egy döntési fa, kevés tuning kell, feature importance is van. Hátrány: kevésbé értelmezhető, lassabb predikció.

Szegmentáció

22. Mi a különbség a k-means és a hierarchikus klaszterezés között? K-means: előre megadott \(k\), iteratív (Lloyd), átlag-centroidok, gyors, gömbölyű klaszter-feltételezés. Hierarchikus: \(k\) nélkül indítható, dendrogram, lassabb nagy adatra, tetszőleges linkage. A dendrogram után dönthetünk a \(k\)-ról.

23. Mi a Ward-féle linkage? A két legkisebb \(SS_W\)-növekménnyel járó klaszterpárt egyesíti minden lépésben. Általában a legkompaktabb, leghasonlóbb méretű klasztereket adja.

24. Hogyan döntöd el a klaszterek számát? Elbow: \(SS_W\) vs. k görbe könyökpontja. Silhouette: maximalizáljuk az átlag \(s_i\)-t. Davies-Bouldin: minimalizáljuk. Mindezt érdemes együtt nézni, plusz üzleti értelmezhetőséget.

25. Miért kell normalizálni szegmentáció előtt? A K-means euklideszi (vagy más) távolságon alapul. Ha az egyik változó értéke 0-1, a másik 0-1000, a második fogja dominálni. Standardizálással (z-score) minden változó azonos súlyt kap.

Modellek kiértékelése

26. Mit jelent a túltanulás / alultanulás és hogyan kerülhető el? Túltanulás: zajt is tanul, train >> test. Alultanulás: modell túl egyszerű, mindkét score rossz. Kezelés: bias-variance trade-off — komplexebb / egyszerűbb modell, több / kevesebb feature, regularizáció, több adat, korai leállítás.

27. Mi a keresztvalidáció és mire jó? Az adatot \(k\) fold-ra osztjuk, körönként az egyik a teszt, többi a train. Mind a \(k\) score-t átlagoljuk. Robusztusabb becslés a generalizációra; minden példa lesz egyszer test is. Tipikus \(k = 5\) vagy \(10\).

28. Hogyan tuningolod a hiperparamétereket? Grid Search (minden kombináció), Random Search (véletlen mintavétel), Bayesian optimization (előző eredményekből tanul). Mindig keresztvalidációval, hogy ne overfitteljünk a test halmazra.

29. Mi a cost matrix és mikor használnád? Aszimmetrikus hibaköltségnél. Pl. csalásdetekciónál egy FN milliós kár, egy FP csak ügyfélélmény-rontás. A confusion matrix elemeit pénzben súlyozzuk, és profit-maximális küszöböt választunk.

30. Mit jelent az “Explainable ML” és miért fontos? Magyarázható modellek. SHAP, LIME, feature importance, partial dependence plot. Fontos szabályozott iparágakban (banki, egészségügy, GDPR), bizalom-építéshez, és a modell hibáinak debugolásához.