Мы уже умеем обучать модели, но как понять, насколько они хороши? Стоит продолжить обучать или можно встраивать модель в продакшн? Разберёмся, как оценивать обучившиеся алгоритмы и что делать, если модель стала слишком умной.

Видео

https://www.youtube.com/watch?v=VyM4jwQAa9k

Презентация

https://slides.com/bogdansalyp/deck-2e11e7/fullscreen

Ссылка: https://slides.com/bogdansalyp/deck-2e11e7/fullscreen

Код

https://colab.research.google.com/drive/14iwOifSzNyWm145kl1LaALNcREYDQTEG

ДЗ

Основное блюдо

Продолжаем работу с titanic.csv! Данные уже предобработаны, теперь вам надо обучить модель (для начала самую простую, LogisticRegression), используя навыки из лекции. Разбейте данные на тренировочные и тестовые, а затем используйте кросс-валидацию на тренировочных данных с четырьмя фолдами. Выведите значения accuracy, precision, recall, confusion matrix, F1 score и ROC AUC (желательно построить саму кривую тоже).