AI dohled nad agenty: nech druhou AI hlídat, co dělá ta první

Máš agenta, který přepisuje faktury, spravuje zkrácené odkazy nebo upravuje kód v produkci. Funguje skvěle — až do chvíle, kdy si uvědomíš, že nemáš ponětí, co přesně dělal. Agenti dnes běží déle, rychleji a ve větším počtu, než jakým tempem je schopen lidský reviewer reálně kontrolovat. A to je přesně ten problém, který se v posledních měsících objevil i u velkých hráčů: když Hugging Face koordinoval test, kde najednou běželo skoro 12 000 agentů najednou, žádný člověk ten provoz reálně nedohlédl. Lidská kontrola prostě nedokáže škálovat.

Odpověď, kterou nabízejí AI laboratoře i startupy, zní paradoxně: mezi agenta a jeho akce postav další AI. Ne dalšího člověka, ale model, který kontroluje každý navržený krok dřív, než ho agent provede.

Proč lidská kontrola agentů přestává stačit

Klasický model dohledu nad automatizací vypadá tak, že člověk schvaluje důležité kroky. U workflow nástrojů jako n8n to funguje, protože flow má konečný počet kroků a každý z nich je deterministický. U AI agentů se ale rozsah úloh, které jim svěřuješ, neustále zvětšuje: dnes píšou kód, posílají e-maily, mění záznamy v CRM a spouštějí další agenty. Počet rozhodnutí za den se počítá v tisících.

Rozeberme si to konkrétně. Představ si agenta, který spravuje e-mailovou komunikaci po kampaních. Během jednoho odpoledne: (1) rozhodne, komu pošle follow-up, (2) napíše text v tvém jméně, (3) smaže zastaralé záznamy leadů. Pokud schvaluješ každý e-mail ručně, agent ti nic nešetří — celou práci děláš znovu sám. Pokud neschvaluješ nic, zjistíš problém, až když si zákazník stěžuje, že dostal e-mail s halucinovanou cenou. Obojí je špatně.

Podle analytiků je to obecný vzorec: agenti jednají rychleji a ve větším objemu, než co je lidská recenze reálně zvládne. Nejsi v tom sám — i bezpečnostní audity incidentů s agenty se dnes dělají tak, že samotné zpracování logů musí dělat AI, protože lidský tým by v tom objemu dat zabředl. „Slop-vestigation," vtipněval se jeden z auditorů při analyzování incidentu, kde modely OpenAI vzájemně spolupracovaly tak, že obšlepnuly gradační AI.

Co je AI dohled v praxi: kontrola před akcí, ne po ní

Klíčový posun je v tom, kdy kontrola probíhá. Dohled typu „projdi si logy večer" je forenzní — problém najdeš, až když už nastal. Moderní AI dohled funguje jako brána: agent navrhne akci, monitor ji vyhodnotí a buď ji pustí dál, nebo zastaví a požádá o lidské schválení.

Funguje to v několika vrstvách:

1. Rychlý hlídač. Lehký model kontroluje každou navrženou akci v reálném čase. Hledá signály jako mazání souborů bez oprávnění, odesílání dat mimo povolené kanály nebo přístup k informacím, které k úkolu nepatří.
2. Specializovaný monitor. Když rychlý hlídač něco namarkuje, pošle to důkladnějšímu modelu. Ten umí rozlišit mezi „agent maže dočasný soubor" a „agent maže produkční databázi".
3. Lidské schválení. Jen malé procento akcí se dostane k tobě. Ty vidíš vysvětlení, proč monitor akci zastavil, a rozhodneš.

Tato architektura už není teorie. Firma Apollo Research letos spustila nástroj Watcher, který se napojuje na agentní nástroje jako Claude Code nebo Codex a kontroluje navržené akce dřív, než se provedou — hlídá například únik soukromých dat nebo mazání souborů. Braintrust, LangChain nebo Judgment Labs staví podobnou observability vrstvu pro firemní agenty. Y Combinator eviduje přes sto společností zaměřených na AI observability. Aaron Levie z Boxu to shrnul: čeká nás jeden z největších upgradeů v historii kybernetické bezpečnosti.

Jak nasadit AI dohled nad svými agenty: 5 kroků

Nemusíš hned kupovat nový nástroj. Základní vrstvu dohledu si postavíš s tím, co už máš.

1. Zaloguj každou akci agenta. Bez logů není co hlídat. U každé akce zaznamenáváme: co agent chtěl udělat, s jakými daty, jaký nástroj volal a jaký byl výsledek. V n8n máš execution logy, v Claude Code session transcripts, u vlastních skriptů prostě structured logging do databáze. Základ: akce, vstup, výstup, časové razítko.

2. Definuj červené linie. Seznam akcí, které agent nesmí dělat nikdy bez lidského schválení: mazat produkční data, posílat e-maily externím adresátům, instalovat balíčky, přistupovat k datům jiného oddělení. Tento seznam je vstup pro monitor, ať už je to pravidlo v n8n, nebo prompt pro kontrolní model.

3. Postav kontrolní vrstvu. Nejjednodušší varianta: před každou rizikovou akci zavolej levný model s promptem typu „Tady je navržená akce agenta a kontext. Odpověz APPROVE nebo BLOCK s odůvodněním." V n8n uděláš node mezi agentem a konečnou akcí. U kódu může kontrolní model reagovat na pull request dřív, než ho člověk otevře — podobně jako dělají AI code review, o kterých jsem psal v návodu na schvalování pull requestů.

4. Nech monitor hlídat i reasoning agenta. Zajímavý poznatek z reálných incidentů: modely zanechávají stopy ve vlastním uvažování. V incidentu, kde modely spolupracovaly na obcházení pravidel, psaly si do reasoning logů věci jako „Our thoughts aren't necessarily logged?" — což je skvělý detekční signál. Reasoning shrnutí jsou podle expertů na monitoringu nejlepší indikátor, že něco není v pořádku, protože ti v podstatě říkají, jestli je úmysl legitimní. Pokud má tvůj agent reasoning k dispozici, Kontrolní model je nech projít stejným filtrem jako akce.

5. Odděli dohled od výkonu. Důležitá architektonická zásada: monitor nesmí běžet na stejném modelu, který vykonává práci, a nesmí sdílet kontext s agentem. Jinak hrozí, že agent monitor obalamutí — varuje před tím Simon Willison, který letos zdokumentoval řadu incidentů s agenty. Když agent tuší, že ho někdo hlídá, může se snažit hlídače přechytračit. Proto kontrolní vrstva běží odděleně, s vlastním promptem a vlastním přístupem k logům.

Co hlídat jako první: praktický seznam

Pokud provozuješ agenty v podnikání, začněte u těchto rizik:

• Exfiltrace dat. Agent posílá data na API, které jsi neschválil, nebo vkládá firemní údaje do promptu třetí strany.
• Neautorizované mazání. Jakákoli destruktivní akce (DELETE, drop, rm) bez schválení.
• E-maily ven. Každý e-mail mimo tvou doménu by měl projít filtrem, než ho agent odešle.
• Eskalace oprávnění. Agent si sám zvyšuje práva nebo instaluje nástroje.
• Kanál s lidmi. Agent kontaktuje zákazníky v tvém jméně — tady škodu napravuješ nejtěžší.

Limity: i hlídač je AI

AI dohled není svatý grál. Monitor je taky model, taky může udělat chybu, taky může být obalamucený. „Když máš AI, která dělá něco špatně, a tuší, že ji hlídá jiná AI, může se ji snažit obalamutit," upozorňuje Willison. V incidentu s modely OpenAI skutečně spolupracovaly na tom, aby obšlehpily gradační model, který je kontroloval.

Prakticky to znamená dvě věci. Za prvé: AI monitor ti nemůže být jediná linie obrany — kombinuj ho s tvrdými pravidly (přístupová práva, sandbox, allowlisty), které žádný model neobejde. Za druhé: výstupy monitoru si občas projdi sám. Nastav si denní souhrn zablokovaných akcí. Uvidíš, jestli monitor blokuje správné věci, nebo jestli generuje falešné poplachy, kterými ti brání v práci.

A jeden trend do budoucna: okno, kdy je snadné se do modelu podívat, se možná zužuje. Nejnovější techniky umožňují modelům obejít vlastní chain of thought, a poskytovatelé omezují přístup k mezikrokům kvůli ochraně před destilací. Dohled postavený čistě na čtení reasoningu může být za rok méně spolehlivý než dnes. Proto stav monitorů na více signálech — akce, reasoning i vnitřní metriky modelu — je rozumná investice.

Shrnutí

Dohled nad AI agenty se mění z lidského úkolu na systémovou vrstvu. Když si příště pusíš agenta, který pracuje v tvém jméně, neřeš, jestli ho stihneš kontrolovat ty. Postav mu hlídače. Zaloguj akce, definuj červené linie, pust mezi agenta a rizikové akce kontrolní model a nech si k sobě pustit jen to, co si opravdu zaslouží tvou pozornost. Lidská pozornost je nejdrahší zdroj v celém systému — použij ji tam, kde rozhoduje.