#ML #корпжиза Недавно хороший знакомый получил отказ на неплохую DS-позицию, пройдя все собеседования, но не пройдя полиграфистку. И пришел он с вопросом «что я сделал не так»? Само собой, я ответил что не надо было соглашаться на эту антинаучную ерунду — еще в 1983 доказано и в 2003 перепроверено что полиграф определяет физиологические реакции а не правду, более того, любые данные проходят еще и через «эксперта» — существо, которое выбрало очень странную профессию в жизни. А в 2025 подтвердили снова. В ЕС и США полиграфы кстати, запрещено использовать при приеме на работу. И хотя отдельные корейские исследователи в попытках заменить полиграфистку пытаются учить сетки в 2025 (и репортить f1 0.96 аж на 78 добровольцах — комментарии излишни), я все же удивлен насколько мы отказываемся применять теорему Байесса в ситуациях, которые касаются нас самих. Но давайте попробуем разобраться в DS-стиле, через precision и recall. Итак, применяется полиграф для скрининга — то есть в самом процессе с полиграфисткой максимизирован recall. Референсных значений, конечно же нет и быть не может, но давайте представим что сторонники полиграфа правы и в 99% лжецов полиграф ловит — то есть зададимся recall в 99%. Чтобы добиться того recall, полиграфиста должна быть очень бдительной — пусть она ошибочно обвиняет 20% честных кандидатов (FPR = 20%). Но как часто вы встречаете в жизни врунов? В отличие от полиграфа, это число как раз неплохо оценено — 5% популяции. Возьмем это за base rate позитивного класса. Тогда Precision = (Recall × Base Rate) / (Recall × Base Rate + FPR × (1 − Base Rate)) Precision = (0,99 × 0,05) / (0,99 × 0,05 + 0,20 × 0,95) Precision ≈ 20,67%. До полиграфа мы были на 95% уверены, что кандидат честен (5% лжецов). После того как эксперт объявил кандидата лжецом, мы всё ещё должны быть на 79,33% уверены, что кандидат честен. Но что если компания, отправляющая кандидата на полиграф, верит что ей врут 90% кандидатов (base rate = 90%)? Тогда уже ожидаемый Precision ≈ 97.8% (при нашей фантазийный процедуре с recall 99%). Хотя если просто каждого объявлять вруном то Precision будет 90% в таком мировоззрении Итого, при таких идеализированных вводных полиграф будет использовать компания, считающая по умолчанию всех людей врунами. Хотите работать в такой компании? А если прикинуть сколько денег у них уходит чтобы сторожить сторожей? _______ Источник | #datarascals