Digee / Wiki / Základy AI
Vysvětlení
Halucinace AI: proč si AI vymýšlí?
Halucinace je situace, kdy AI sebejistě napíše něco, co není pravda – vymyšlené číslo, neexistující paragraf nebo špatný termín. Nejde o chybu v programu, ale o vlastnost jazykových modelů. Dá se s ní ale dobře pracovat.
Ve zkratce
- Model píše, co zní pravděpodobně – ne nutně, co je pravda.
- Nejvíc pomáhá dát AI vaše ověřené podklady a chtít odkaz na zdroj.
- U důležitých kroků vždy rozhoduje člověk.
Na této stránce
Proč k halucinacím dochází
Jazykový model nemá v sobě databázi faktů, kterou by prohledával. Skládá odpověď tak, aby zněla přirozeně a navazovala na otázku. Když potřebnou informaci nemá, často ji „doplní“ něčím, co vypadá věrohodně.
Typicky se to stává u přesných údajů: čísel, dat, jmen, citací zákonů nebo interních pravidel firmy, které model nikdy neviděl.
Jak halucinace vypadá v praxi
- Chatbot e-shopu slíbí zákazníkovi dopravu zdarma, kterou nenabízíte.
- AI shrnutí smlouvy uvede výpovědní lhůtu, která ve smlouvě není.
- Odpověď občanovi cituje neexistující vyhlášku.
Všechny tři případy spojuje jedno: AI odpovídala z „obecné paměti“ místo z vašich podkladů.
Jak halucinace omezit
- Dejte AI vaše podklady. Agent má odpovídat jen z ceníku, směrnic nebo dokumentů, které schválíte. Této technice se říká RAG.
- Chtějte zdroj. Ke každé odpovědi agent ukáže, ze kterého dokumentu čerpal. Kontrola je pak otázkou vteřin.
- Povolte „nevím“. Agent má jasnou instrukci: pokud odpověď v podkladech není, předá dotaz člověku.
- Kontrolujte strojově, co jde. Čísla, data a IČO se dají ověřit proti systému automaticky.
- Nechte rozhodovat člověka. U peněz, podmínek a citlivých věcí agent jen připravuje návrh (human-in-the-loop).
Znamená to, že AI nelze věřit?
Ne. Znamená to, že se AI má nasazovat stejně jako nový kolega: s jasnými podklady, pravidly a kontrolou. Dobře postavený agent chybuje méně, protože nepracuje „z hlavy“, ale z vašich dat – a když si není jistý, řekne to.
Časté otázky
Dá se halucinacím úplně zabránit?
Úplně ne, ale dají se výrazně omezit: prací s vlastními podklady, odkazem na zdroj u každé odpovědi, strojovou kontrolou údajů a schvalováním důležitých kroků člověkem.
Halucinují všechny modely stejně?
Ne. Novější modely halucinují méně a lépe přiznají, že něco nevědí. Rozhodující je ale způsob nasazení, ne jen výběr modelu.
Jak poznám, že AI halucinuje?
Nejspolehlivěji tak, že od ní chcete zdroj. Pokud neumí ukázat, odkud informaci má, berte ji jako neověřenou.
Chcete vědět, kde AI ušetří čas právě vám?
Projdeme s vámi běžný týden a najdeme první úkol, který má smysl předat agentovi. Nezávazně.
Související články
RAG: jak naučit AI vaše firemní dokumenty
RAG je způsob, jak AI odpovídá z vašich dokumentů místo z obecné paměti. Jak funguje, k čemu je ve firmě a na co si dát pozor.
→Vysvětlení · 3 minHuman-in-the-loop: člověk rozhoduje
Human-in-the-loop znamená, že AI připraví práci a člověk ji schválí. Jak nastavit hranice agenta, aby šetřil čas a zároveň nedělal chyby.
→Vysvětlení · 3 minVelký jazykový model (LLM)
Co je velký jazykový model (LLM), jak funguje a proč je základem ChatGPT i AI agentů. Vysvětlení bez matematiky pro majitele firem.
→