El desacord entre classificadors perd contra alguna cosa molt més simple
Mesura sobre 7.822 correus reals si el desacord entre quatre classificadors serveix per decidir què revisa abans un analista. Esperava que sí. Les dades diuen que no.
- machine-learning
- phishing
- triaje
- soc
- scikit-learn
- investigacion
Un analista no pot revisar tot el correu que marca un classificador. La pregunta que volia respondre amb dades, no amb intuïció: pot el desacord entre diversos classificadors dir-li a aquest analista quin ha de revisar primer? La motivació venia de dos llocs molt diferents: els models de verificació del BSC per al català, que entrenen dues còpies del mateix reconeixedor de veu amb meitats disjuntes del corpus perquè els seus errors no estiguin correlacionats, i un estudi del 2026 sobre transcripció mèdica que fa servir el desacord entre vuit transcriptors com a senyal sense referència per decidir què revisa un humà, recuperant el 93,7 % dels errors revisant el 28,6 % del text. L'estructura del problema en un SOC és idèntica: sense veritat de referència, amb revisió humana cara i escassa. Semblava traslladable.
El resultat, en una línia
Sobre 7.822 correus reals (Nazario phishing corpus + SpamAssassin públic), el desacord funciona per prioritzar la revisió (AUC 0,905 davant de 0,515 de l'atzar), però perd clarament contra un senyal molt més simple: la incertesa mitjana del mateix ensemble, amb AUC 0,959. Per capturar el 95 % dels errors cal revisar el 14,10 % del correu mirant només la incertesa mitjana. Amb el desacord per desviació, en calen el 22,62 %. No cal ensemble per al bon resultat: n'hi ha prou amb mirar on el model no està segur.
| Senyal de prioritat | AUC de triatge | Correu a revisar per al 95 % d'errors |
|---|---|---|
| Oracle (sostre teòric) | 0,991 | 1,75 % |
| Incertesa mitjana | 0,959 | 14,10 % |
| Desacord: desviació | 0,905 | 22,62 % |
| Desacord: força de majoria | 0,907 | 41,20 % |
| Atzar (terra) | 0,515 | 97,66 % |
Per què va fallar la hipòtesi
L'ensemble dona quatre vistes del mateix correu (remitent, URL, estructura de l'HTML i text), però no són igual de fortes. La vista de text (TF-IDF més regressió logística) sola arriba a un 98,17 % d'exactitud i AUC 0,998, pràcticament igualant l'ensemble complet. Quan un membre és molt superior a la resta, el desacord deixa de mesurar dubte genuí i passa a mesurar que els febles s'equivoquen, cosa que no informa sobre si l'ensemble encerta. Aquí hi ha la diferència amb el muntatge del BSC: els seus dos models tenen taxes d'error quasi idèntiques per disseny. Aquesta sembla ser la condició que fa útil el desacord, i és una condició que aquí no es compleix.
El control que gairebé invalida l'experiment
Els corpus públics de phishing arrosseguen un problema que gairebé mai es declara: el correu legítim i el phishing vénen d'èpoques diferents: el 87 % del phishing és del 2004-2007, el legítim és del 2002. Classificar fent servir només l'any dona un 99,74 % d'exactitud: la drecera existeix i és quasi perfecta. Restringint l'avaluació a la franja on les dues classes se solapen (2004 o abans), el rendiment no cau (98,31 %, AUC 1,000), cosa que indica que el model no està fent servir aquesta drecera, encara que amb la cautela que aquesta franja només té 31 casos de phishing: evidència indicativa, no concloent.
Límits, dits sense adorns
- No diu que el desacord sigui inútil. Diu que perd contra un baseline més simple en aquest muntatge concret, amb vistes de força desigual.
- Només 43 errors a la partició de prova: les corbes de triatge són sorolloses.
- El corpus és del 2004-2007: sense HTTPS generalitzat, sense escurçadors, sense typosquatting modern. Les conclusions de mètode haurien d'aguantar; les xifres absolutes no són extrapolables a un SOC d'avui.
- Una única partició 70/30 amb llavor fixa, sense validació creuada.
És el mateix problema, vist des de l'altre costat, que treballo a el classificador de phishing al navegador: allà la pregunta era classificar bé sense enviar res a cap servidor; aquí, un cop classificat, què fa perdre menys temps a l'analista que l'ha de revisar. El següent experiment que tinc a la llista: repetir això amb quatre models de la mateixa família entrenats sobre particions disjuntes del corpus, replicant el mètode del BSC en lloc de només la seva intuïció, per comprovar si el desacord remunta en equiparar forces entre vistes. El codi, els experiments i el README complet amb tots els números estan publicats.