Salta al contingut
← Tornar al blog
7 min ca

IA al SOC: què automatitza avui i què continua sent humà

On ajuda la IA en un SOC (resum, enriquiment, triatge) i on falla (context, falsos positius, decisions). Amb límits i exemples propis.

Escrit per Eduardo Olivares, analista SOC a Barcelona.

  • ia
  • soc
  • security copilot
  • owasp llm
  • nist ai rmf
  • analista soc

Qui busca "ai soc analyst" sol voler saber una de dues coses: si això li pren la feina o si li serveix avui per a alguna cosa. Aquí separo el que la documentació dels fabricants diu que fan aquestes eines d'allò que continua necessitant una persona, amb els límits que els mateixos fabricants reconeixen.

Resposta curta: la IA ajuda en tasques acotades sobre dades ja recollides: resumir alertes, traduir una pregunta a KQL, donar context sobre indicadors i redactar informes. Falla allà on cal conèixer el negoci, i la seva sortida pot ser inexacta o incompleta, de manera que algú l'ha de comprovar abans d'actuar. Microsoft ho escriu a la fitxa de Security Copilot: els seus agents estan dissenyats per augmentar la capacitat humana, no per substituir-la, i el client continua sent responsable de revisar els resultats.

Què vol dir "analista SOC amb IA"

Hi ha dos models d'ús i convé no barrejar-los. El copilot respon el que li preguntes i tu decideixes què fer amb la resposta. L'agent processa senyals de l'entorn, genera recomanacions i, segons la definició de Microsoft, pot executar accions acotades dins dels permisos configurats, amb l'aprovació d'un usuari o administrador. Microsoft els descriu com a fluxos semiautònoms amb supervisió humana.

La diferència canvia el risc. Un copilot equivocat et fa perdre temps; un agent equivocat amb permisos d'escriptura canvia coses a l'entorn. La llista OWASP Top 10 per a aplicacions LLM (edició 2025) ho recull com a LLM06, Excessive Agency.

Tasques on ajuda

Resumir alertes i incidents

És l'ús més ben documentat. Segons Microsoft Learn, Security Copilot genera resums d'alertes complexes i correlaciona senyals entre Microsoft Defender XDR, Microsoft Sentinel i altres productes integrats. Un resum serveix perquè es pot contrastar amb l'alerta original en segons. El meu criteri és llegir-lo com un índex i obrir l'alerta abans de donar res per tancat. Per saber en quin ordre mirar el que salta, tinc escrit el triatge d'alertes en un SOC.

Enriquir IOC i CVE, i escriure consultes

La documentació de Security Copilot descriu connectors que cerquen en articles i perfils d'intel·ligència d'amenaces de Microsoft Defender, en informes de threat analytics i en publicacions de vulnerabilitats. També tradueix llenguatge natural a consultes KQL per a hunting.

Part de l'enriquiment no necessita un model. Vigilar el catàleg KEV de CISA es resol amb un script, i ho vaig explicar en aquest post. La prioritat d'un CVE depèn de més coses que la seva puntuació, com explico a prioritzar CVE sense refiar-se només del CVSS. Amb KQL hi ha un avís explícit de Microsoft: el codi generat pot semblar vàlid sense ser correcte ni reflectir el que has demanat, i no ha d'arribar a producció sense validació. El seu exemple és revisar que l'interval de temps de la consulta coincideix amb el que vas demanar al prompt.

Redactar informes

Microsoft inclou entre els casos d'ús els informes per a diferents audiències, des de resums tècnics fins a executius. Recollir les dades és la part mecànica i es resol sense model, com a l'informe setmanal del SOC amb Python.

On falla o necessita revisió humana

Manca de context del negoci

Microsoft indica que les respostes depenen de les fonts de dades, les integracions i el context que aporti l'usuari, i que si falten dades rellevants el resultat pot ser incomplet o inexacte. Un model no sap que un servidor és crític per a la facturació si ningú no l'hi ha dit.

Al·lucinacions i traçabilitat

OWASP llista la desinformació com a LLM09 (Misinformation). Microsoft admet que Security Copilot pot produir respostes inexactes, incompletes o desactualitzades, i defineix l'excés de confiança com acceptar sortides incorrectes perquè els errors són difícils de detectar. Per a un analista, avisa, això pot traduir-se en amenaces no vistes o conclusions errònies. Com a mitigació, l'eina cita fonts i mostra els passos intermedis, i això convé exigir-ho a qualsevol producte.

Un exemple propi i petit de per què convé mesurar. Al post sobre el desacord entre classificadors vaig provar, amb 7.822 correus, una idea més sofisticada contra una base simple. El model de només text va arribar a una exactitud del 98,17 %, gairebé igual que el conjunt complet, i la idea elaborada va perdre contra ell. El corpus és de 2004 a 2007, de manera que aquestes xifres no es traslladen a un SOC actual. El que sí que es trasllada és el mètode: compara amb una línia base simple abans d'afegir complexitat.

Dades sensibles cap a tercers

OWASP inclou la divulgació d'informació sensible com a LLM02 i la injecció de prompts com a LLM01. La segona té una conseqüència concreta en un SOC: el correu o l'script que analitzes l'ha escrit l'atacant, i pot contenir instruccions dirigides al model. Sobre les dades, Microsoft indica que a Security Copilot els prompts i les respostes es tracten com a dades del client i no s'utilitzen per entrenar els models base. Aquesta garantia és d'aquest producte; en qualsevol altre cal demanar-la per escrit. Una alternativa és que la dada no surti de l'equip, com al classificador de phishing que corre al navegador, on la URL no surt del dispositiu.

Com avaluar una eina: llista de comprovació

  1. Dades: què surt del teu entorn, qui ho veu, quant de temps es conserva i si s'utilitza per entrenar.
  2. Permisos: què pot fer l'agent, amb quina identitat i si s'aplica el mínim privilegi. Microsoft recomana configurar RBAC i permisos d'agent amb aquest criteri.
  3. Auditoria: si mostra els passos i les fonts, i si queda registre de qui ha llançat què.
  4. Taxa d'error: demana una prova amb casos teus, comptant falsos positius i falsos negatius. Una xifra del fabricant sobre dades que no són les teves no et serveix.
  5. Cost i capacitat: a Security Copilot la capacitat es mesura en unitats de còmput (SCU), i Microsoft recomana vigilar-ne el consum.
  6. Marc de riscos: el NIST AI RMF 1.0 (publicat el 26 de gener de 2023, d'ús voluntari) organitza la gestió en quatre funcions: Govern, Map, Measure i Manage. L'OWASP Top 10 per a LLM 2025 serveix de llista de verificació tècnica.

Quines habilitats continuen pesant per entrar al SOC

Per comprovar una sortida d'IA cal saber fer la feina a mà. Això inclou llegir logs, entendre l'ordre del triatge, escriure i llegir KQL i conèixer com funciona l'entorn que es protegeix. Si estàs començant, què fa un analista SOC i les certificacions per començar són el punt de partida.

Preguntes freqüents

La IA reemplaçarà l'analista SOC?

No puc predir el futur. El que diu avui la documentació de Microsoft sobre Security Copilot és que està pensada per augmentar la capacitat humana i que els clients continuen sent responsables de revisar i validar-ne els resultats.

Què és un agent d'IA en un SOC?

Segons la definició de Microsoft, un programari que processa senyals de l'entorn, analitza dades i genera recomanacions, i que pot executar accions acotades dins dels permisos configurats, amb aprovació.

Puc enganxar dades d'un incident en un xatbot públic?

Depèn de la política de la teva organització i del contracte amb el proveïdor. OWASP inclou la divulgació d'informació sensible entre els riscos de les aplicacions LLM. Sense autorització expressa, no enganxis dades de clients ni d'usuaris.

Quins marcs ajuden a avaluar els riscos d'una eina d'IA?

El NIST AI RMF 1.0, d'ús voluntari, i l'OWASP Top 10 per a aplicacions LLM en l'edició 2025. NIST va publicar a més el juliol de 2024 un perfil específic per a IA generativa (NIST AI 600-1).

Cal saber KQL si una IA el genera?

Sí. Microsoft adverteix que el codi generat pot semblar correcte sense ser-ho i que cal validar-lo abans d'usar-lo en producció. Per detectar un error a la consulta cal saber llegir-la.