При создании любой модели машинного обучения всегда возникает вопрос оптимального соотношения цены и качества. С одной стороны data scientist-ы всегда стараются построить максимально производительную модель, с другой стороны бюджет, выделенный на ее построение всегда ограничен. Часть источников данных, может быть, платными, для части требуется наладить сложную процедуру сбора соответствующей информации, ограничено также и время, которое моделист может потратить на конкретную модель, ведь, по сути, эксперименты с различными фичами, выборками и параметрами можно проводить почти бесконечно. Все это приводит к тому, что в продакшене используются модели, которые могли бы быть существенно улучшены при больших затратах ресурсов, однако эти затраты зачастую очень сложно обосновать, в частности, потому что метрики качества модели бывает крайне не просто превратить в конкретные бизнес-показатели, связанные с деньгами. В данной статье я хочу предложить подход, связывающий метрики качества модели с ее финансовой полезностью, на примере одного класса моделей: моделей вероятности дефолта, хотя, по сути, аналогичные идеи могут быть использованы для любых моделей классификации.
