LLM’er kan skrive – men de bør ikke tage dine beslutninger

Fra Pre-ACL til praksis

På Pre-ACL 2025 så vi, at sprogmodeller kan tale varmt for et princip – og alligevel vælge anderledes, når situationen bliver konkret. For virksomheder betyder det, at en LLM kan skrive kloge forklaringer, men den er usikker som beslutningstager. Vores læring er enkel: Brug LLM’er til at beskrive beslutninger – ikke til at træffe dem.

Hvorfor lyder LLM klog – men vælger forkert?

• Principsnak vs. konkret valg: Modellen kan støtte et ideal, men falder til noget andet i en specifik sag.
• Høj sproglig selvtillid: Overbevisende ord er ikke det samme som valide beslutninger.
• Ustabilitet: Små prompt-ændringer kan føre til andre svar.
• Manglende virksomhedsdata: LLM kender ikke dine lokale constraints, omkostninger og risici.

SMV-beslutninger med konsekvens

Beslutninger med høj effekt i en ejerledet virksomhed omfatter fx leverandørvalg, kreditvurdering, rekruttering, priser og rabatter samt churn/retention. Fællesnævneren: målbare kriterier og reelle konsekvenser ved at vælge forkert.

Hvilken AI til hvad?

Mandag kl. 9-playbook (trin for trin)

1. Afgræns beslutningen: fx “Leverandørvalg Q4” og mål (“lav totalomkostning ved stabil kvalitet”).
2. Gør kriterierne målbare: 3–5 felter (pris, leveringstid, fejlrate, betalingsbetingelser, CO₂-score).
3. Lav en baseline: simpelt scorekort med vægte og tærskler; “go/no-go” pr. kritisk felt.
4. Sæt LLM rigtigt i spil: lad den producere tjekliste, evalueringsskabelon, beslutningsnotat og mails – men ikke selve afgørelsen.
5. Skalér til ML, når du har data: træn en let model (fx logistisk regression/GBM), mål performance og kalibrering.
6. Dokumentér & versionér: gem kriterier, vægte, KPI’er og ændringer over tid (audit-spor).
7. Hold mennesket i løkken: definer regler for eskalation (tærskel-nærhed, ny leverandør, manglende data).

Mini-case

En grossist samlede pris, leveringstid og fejlrate i ét scorekort. LLM hjalp med datastruktur, kriterietekster og ledelsesnotat.

Effekt: hurtigere beslutning, færre diskussioner, solid dokumentation – og ro i maven.

Governance – let og robust

• Sporbarhed: log input, score, beslutning og LLM-begrundelse.
• Override med omtanke: tillad leder-override med kort begrundelse.
• Driftskontrol: opsæt en simpel drift-alarm (afvigelser i score/fejlrate).
• Kompetencer: sørg for at brugere forstår hvordan og hvornår LLM indgår (assistent, ikke dommer).

“Vi har ingen data” – sådan starter du

1. Lav scorekort først (faglig viden + lidt historik).
2. Log beslutninger og resultater i 4–8 uger.
3. Træn en let ML-pilot (>50 cases), behold scorekort som fallback.
4. Brug LLM til standardnotater, mails og FAQ – ikke selve afgørelsen.

Typiske faldgruber – og hvordan du undgår dem

• For brede prompts: brug snævre, kontekstuelle prompts og faste felter.
• “LLM bestemmer alt”: hold fast i scorekort/ML + klare regler + LLM-forklaring.
• Manglende audit-trail: gem kriterier, score og LLM-notat sammen.
• Data drift overses: aftal faste reviews af nøgletal.

Næste skridt & værktøjer

Vil du i gang – eller vil du bare se et eksempel? Begge dele er helt okay. Du er naturligvis fri til at vente, hvis timingen ikke er rigtig.

Tjekliste til din næste beslutning

• [ ] Beslutningen er klart afgrænset (én sætning)
• [ ] Kriterierne er målbare (max 3–5)
• [ ] Baseline findes (regler/scorekort)
• [ ] LLM bruges til tekst/opsummering/kommunikation – ikke til afgørelsen
• [ ] Menneskelig eskalation er defineret
• [ ] Logging/audit-spor er på plads
• [ ] Nøgletal gennemgås regelmæssigt