Xulosa va savollar

9-bob 0 kod bloki 491 so'z

1. Accuracy nomutanosib ma'lumotda asosan ko'p klassdagi natijani ko'rsatadi. Hech narsa qilmaydigan model bilan solishtirmasdan unga ishonmang.
2. Confusion matrix: qatorlar — haqiqat, ustunlar — bashorat. sklearn da TN yuqori chapda, TP pastki o'ngda. Har doim (y_true, y_pred).
3. Nomlar: ikkinchi so'z — model nima dedi, birinchi so'z — to'g'rimi.
4. Precision — ustun, recall — qator. F1 ikkalasi ham yuqori bo'lgandagina yuqori bo'ladi.
5. Matritsa threshold ga bog'liq. Threshold rasmlarni ustunlar orasida ko'chiradi: precision va recall qarama-qarshi yo'nalishda o'zgaradi.
6. ROC curve — har bir threshold dagi (FPR, TPR) nuqtasi. AUC — tasodifiy positive tasodifiy negative dan yuqori score olish ehtimoli: 1.0 mukammal, 0.5 tasodifiy. AUC threshold ga bog'liq emas, modellarni solishtirish uchun qulay.
7. Nomutanosib ma'lumotda: PR curve ROC dan halolroq. Kam klassning qatoriga qarang. Fold larni stratify qiling. class_weight va threshold faqat trade-off dagi boshqa nuqtani tanlaydi: biri yaxshilansa, ikkinchisi yomonlashadi.
8. Threshold ni train (cross-validation) da tanlang, test ga faqat oxirida bir marta qarang.
9. Ko'p klassda qator bo'yicha normalizatsiya qiling va faqat xatolarga qarang. Shunda model qayerda adashayotgani ko'rinadi.

O'zingizni tekshiring (intervyu savollari)

1. Modelning accuracy si 99%. Bu yaxshimi? Bilmaymiz. Avval klasslar nisbatini ko'ramiz. Agar 99% bir klass bo'lsa, hech narsa qilmaydigan model ham 99% oladi. Confusion matrix va kam klassning recall/precision iga qarash kerak.

2. FP va FN ning farqi nima? Qaysi biri yomonroq? FP — model "bor" dedi, lekin yo'q (noto'g'ri signal). FN — model "yo'q" dedi, lekin bor (o'tkazib yuborilgan). Qaysi biri yomonroq ekani masalaga bog'liq: tibbiyotda FN, spam filtrida FP.

3. Precision va recall ni confusion matrix dan qanday topasiz? Precision — "bashorat: positive" ustunidagi TP ulushi. Recall — "haqiqat: positive" qatoridagi TP ulushi.

4. Nega F1 harmonic mean ishlatadi? Harmonic mean natijasi doim kichik qiymatga yaqin chiqadi. Precision 0.9 va recall 0.1 bo'lsa, oddiy o'rtacha 0.5, F1 esa 0.18. F1 bitta yomon metrikani yashirishga yo'l qo'ymaydi.

5. Threshold ni oshirsak, matritsada nima o'zgaradi? Qator yig'indilari o'zgarmaydi. Rasmlar "positive" ustunidan "negative" ustuniga o'tadi: FP → TN (precision oshadi), TP → FN (recall tushadi).

6. ROC AUC = 0.96 nima degani? Tasodifan bitta positive va bitta negative olsak, 96% holatda model positive ga kattaroq score beradi. AUC threshold ga bog'liq emas: u score lar tartibini baholaydi. 0.5 — tasodifiy model, 1.0 — mukammal.

7. Nomutanosib ma'lumotda nega ROC AUC ga emas, PR AUC ga qaraladi? FPR xatolarni katta klassning hajmiga bo'ladi, shuning uchun FP kichik ko'rinadi. Precision esa xatolarni model "positive" degan javoblar soniga bo'ladi. Bizda 1% holatda ROC AUC 0.960 dan 0.945 ga tushdi, PR AUC esa 0.810 dan 0.618 ga.

8. class_weight="balanced" nima qiladi va uning kamchiligi nima? Kam klassdagi xatoni qimmatroq qiladi (bizda taxminan 99 baravar). Recall oshadi, lekin precision tushadi. Bu trade-off dagi boshqa nuqta: recall yaxshilansa, precision yomonlashadi.

9. Nega stratify kerak? Har bir bo'lakda klasslar nisbatini saqlash uchun. Bizning misolda oddiy KFold ikkita fold ga bitta ham 5 bermadi.

10. Threshold ni qayerda tanlash kerak? Train dagi cross-validation (yoki alohida validation) score lari bo'yicha. Test set ga qarab tanlasak, test natijasi halol bo'lmaydi.