Skill, který napíšeš za deset minut a nikdy neotestuješ, je jen tip v textovém souboru. Můžeš mít pocit, že funguje, protože ho Claude Code jednou použil. Jenže to, že se skill spustil, neříká nic o tom, jestli udělal, co jsi chtěl. Oficiální dokumentace to říká přímo: vidět, že se skill spustil, znamená jen to, že ho Claude našel. Jestli funguje, musíš změřit zvlášť.
Na to je určený plugin skill-creator. Z pomocníka, který skill napíše, se stal nástroj na testování: umí evaly, benchmark proti běhu bez skillu, slepé porovnání verzí a ladění popisu, podle kterého se skill spouští. Tenhle článek ukazuje, co přesně umí, jak ho nasadit a kde jsou jeho hranice.
Odkud informace jsou. Vycházím z oficiální dokumentace Claude Code (stránka o skillech, stav ke 2. 11. 2026). Názory z YouTube a X jsem do článku nepřidával, protože jsem je neověřoval. Skill-creator jsem v rámci tohoto článku sám nespouštěl, takže níže nejsou žádné moje naměřené výsledky, jen to, co popisuje dokumentace. Kdo ho zkusí, ať si počty a časy změří na svých skillech.
Proč skill potřebuje testy
Skill je soubor SKILL.md s popisem a instrukcemi. Claude Code si při startu načte jen seznam názvů a popisů a celý obsah skillu nahraje až ve chvíli, kdy ho použije. Z toho plynou dvě oddělené otázky:
- Spustí se skill, když má? Rozhoduje o tom popis (
description). Když je vágní, skill se nespustí vůbec nebo se spouští na špatné věci. - Udělá skill dobrou práci, když se spustí? To rozhodují instrukce uvnitř.
Obě chyby se dají snadno přehlédnout. Skill, který se nespouští, nevyvolá žádnou chybu, Claude prostě udělá úkol po svém. A skill, který se spustí a vyprodukuje průměrný výsledek, vypadá na první pohled v pořádku. Proto dokumentace doporučuje základní postup: vezmi pár realistických zadání, každé spusť v čerstvé session se skillem a podruhé bez něj a výsledky porovnej. Čerstvá session je důležitá, protože zbytky kontextu z psaní skillu by zakryly mezery v instrukcích.
Skill-creator tenhle postup zautomatizuje.
Instalace
Plugin se instaluje z oficiálního katalogu přímo v Claude Code:
/plugin install skill-creator@claude-plugins-official
Pak ho zapneš běžným zadáním. Dokumentace uvádí příklad:
evaluate my summarize-changes skill with skill-creator
Funguje to na skillech, které už máš (osobních, projektových i z pluginů). Můžeš ho použít i při psaní nového skillu, ale největší přínos je v tom, že u hotového skillu zjistíš, co mu chybí.
Čtyři režimy skill-creatoru
1. Evaly: testy pro skill
Eval je testovací případ: zadání, případné vstupní soubory a očekávané chování. Skill-creator je ukládá do souboru evals/evals.json ve složce skillu, takže je máš pod verzováním společně se skillem.
Při spuštění dělá tohle:
- pro každý testovací případ spustí samostatného subagenta s čistým kontextem, aby se testy navzájem neovlivňovaly,
- u každého běhu zaznamená počet tokenů a dobu trvání,
- každé tvrzení z očekávání zkontroluje proti výstupu a zapíše pass nebo fail s důkazem.
Zápis „s důkazem“ je praktický detail. Neřeší jen „prošlo/neprošlo“, ale ukáže ti, z čeho hodnocení vzniklo, takže poznáš, jestli je chyba ve skillu, nebo ve špatně napsaném očekávání.
Tip pro psaní evalů dávej do očekávání konkrétní, ověřitelné věci („výstup obsahuje sekci Rizika“, „soubor má méně než 200 řádků“), ne dojmy („výstup je kvalitní“). Čím víc dojmu, tím méně je hodnocení k použití.
2. Benchmark: vyplatí se skill vůbec?
Benchmark sečte výsledky běhů se skillem a bez něj do souboru benchmark.json. Dostaneš míru úspěšnosti, čas a tokeny pro obě varianty. Díky tomu vidíš, jestli zlepšení úspěšnosti stojí za navíc spotřebované tokeny a čas.
Využiješ to hlavně ve dvou situacích:
- Skill je dlouhý a drahý. Když vylepšuje výsledek o pár procent a stojí dvojnásobek tokenů, možná ho stačí zkrátit.
- Model se zlepšil. Co dřív zachraňoval skill, nový model zvládne i bez něj. Benchmark ukáže, jestli skill ještě něco přidává, nebo ho můžeš smazat a ušetřit kontext.
3. Porovnání verzí: slepé A/B
Když skill upravíš, nemáš jistotu, že je nová verze lepší. Skill-creator spustí slepé A/B porovnání dvou verzí, takže hodnotitel neví, která je která. Úpravu tak potvrdíš dřív, než ji commitneš. Je to stejný princip jako u testů v kódu: nespoléháš na pocit, že „teď je to lepší“.
4. Ladění popisu (trigger tuning)
Tohle je část, která řeší první otázku, tedy kdy se skill spustí. Skill-creator:
- vygeneruje zadání, na která se skill má spustit, a zadání, na která nemá,
- změří, jak často se skill spustí správně,
- když se aktivuje na špatných zadáních, navrhne úpravy popisu.
Dokumentace dodává dvě pravidla k popisu, která se hodí vědět předem. Za prvé, text description spolu s when_to_use se ve výpisu skillů ořezává na 1 536 znaků, takže hlavní použití patří na začátek. Za druhé, kvůli rozpočtu výpisu se při velkém počtu skillů zkracují popisy těch, které používáš nejméně, a ty pak přijdou o klíčová slova, podle kterých se skill hledá.
Bonus: HTML přehled
Čtvrtou pomůckou je prohlížeč výsledků. Otevře HTML report, kde si projdeš každý výstup a zapíšeš kvalitativní poznámky, které si další iterace přečte. Hodí se tam, kde skript neposoudí všechno, třeba tón textu nebo vzhled výstupu.
Praktický postup na jeden skill
Takhle bys to skládal dohromady na skillu, který už používáš (například na shrnutí změn v repozitáři):
- Sepiš 5 až 10 reálných zadání. Vezmi je z toho, co jsi skutečně chtěl po Claudovi. Přidej alespoň dvě okrajové situace (prázdný diff, obrovský diff).
- Napiš očekávání jako ověřitelné věty. Každé zadání dostane 2 až 4 tvrzení.
- Spusť eval. Podívej se hlavně na failed případy a na důkazy u nich.
- Spusť benchmark. Porovnej úspěšnost a spotřebu se skillem a bez něj.
- Uprav skill a spusť slepé A/B. Novou verzi přijmi, jen když vyhraje.
- Nakonec nech doladit popis. Teprve když instrukce fungují, má smysl řešit, kdy se skill spouští.
Pořadí je záměrné. Ladit popis skillu, který dává špatné výsledky, jen zajistí, že se špatný skill spustí častěji.
Když se skill nespouští: co zkontrolovat
Dokumentace má pro tuhle situaci krátký kontrolní seznam, který si můžeš projít, ještě než pustíš trigger tuning:
- Obsahuje popis slova, která uživatelé skutečně používají?
- Je skill vidět v odpovědi na dotaz „What skills are available?“
- Zkus zadání přeformulovat blíž popisu.
- Zavolej skill přímo přes
/nazev-skillu, pokud ho lze volat ručně. - Pokud skill nastavuje
paths, zkontroluj, že soubory, se kterými Claude pracuje, jsou v aktuálním pracovním adresáři.
Častá a zrádná chyba je rozbitý YAML na začátku SKILL.md. Skill se pak načte s prázdnými metadaty: /nazev-skillu funguje, ale Claude ho podle popisu nenajde. Chybu vidíš po spuštění s --debug. Soubory s nevalidním záhlavím najdeš i příkazem claude plugin validate na složce se skilly (vyžaduje Claude Code 2.1.233 nebo novější).
U opačného problému, kdy se skill spouští moc často, pomáhá zpřesnit popis nebo přidat disable-model-invocation: true, aby se skill spouštěl jen ručně.
Skill z pluginu: claude plugin eval
Pokud skill distribuuješ v pluginu, existuje druhá cesta. Příkaz claude plugin eval spustí každé zadání v izolované session s pluginem i bez něj, ohodnotí výsledek podle graderů, které si definuješ (nebo které za tebe napíše Claude), a skončí nenulovým kódem, když výsledek spadne pod práh. Dá se tedy zapojit do CI a hlídat kvalitu skillů při každé změně.
Pozor na jednu věc: formát evals.json ze skill-creatoru a formát pro claude plugin eval nejsou zaměnitelné. Nepočítej s tím, že evaly napsané pro jeden nástroj spustíš ve druhém.
Pro zjišťování, jak často se skill spouští, dokumentace doporučuje eval s graderem tool_used: Skill. Po každé změně popisu ho spustíš znovu a vidíš, jestli se míra spouštění zlepšila.
Úklid: /skill-doctor
K testování patří i údržba. Příkaz /skill-doctor ukáže, kolik kontextu každý skill stojí a jak často se používá, a upozorní na skilly, které se nikdy nespustily. Kombinace s benchmarkem je užitečná: skill-doctor najde kandidáty na smazání, benchmark ověří, že bez nich nic neztratíš.
Kdy se testování vyplatí a kdy ne
Není potřeba psát evaly ke každému osobnímu skillu na jedno použití. Vyplatí se tam, kde:
- skill používá víc lidí nebo víc projektů,
- skill dělá něco, co se nesmí pokazit (generování kódu, práce s produkčními daty),
- skill roste a čím dál víc zatěžuje kontext,
- po vydání nového modelu nevíš, jestli je skill pořád k něčemu.
U maličkostí stačí základní postup z dokumentace: tři zadání, běh se skillem a bez něj, porovnání očima.
Časté otázky
Co je skill-creator v Claude Code?
Je to plugin z oficiálního katalogu claude-plugins-official, který pomáhá skill nejen napsat, ale i otestovat. Umí evaly, benchmark se skillem a bez něj, slepé porovnání dvou verzí a ladění popisu, podle kterého se skill spouští.
Jak skill-creator nainstaluji?
V Claude Code spusť /plugin install skill-creator@claude-plugins-official. Potom Claudovi řekni, ať skill vyhodnotí, například „evaluate my summarize-changes skill with skill-creator“.
Kde se ukládají testovací případy?
Do souboru evals/evals.json ve složce skillu. Obsahuje zadání, vstupní soubory a očekávané chování, takže ho můžeš verzovat spolu se skillem.
Jak poznám, že se skill spouští na správná zadání?
Pomůže ladění popisu ve skill-creatoru: vygeneruje zadání, na která se skill má a nemá spustit, a změří úspěšnost. U skillů z pluginů to můžeš měřit i evalem s graderem tool_used: Skill přes claude plugin eval.
Můžu evaly ze skill-creatoru použít v claude plugin eval?
Ne přímo. Dokumentace upozorňuje, že formát evals.json a formát pro claude plugin eval nejsou zaměnitelné.
Shrnutí
Skill-creator dělá se skilly to, co testy dělají s kódem: místo pocitu dává měření. Postup je jednoduchý: napiš reálná zadání, změř skill proti běhu bez něj, každou úpravu potvrď slepým porovnáním a popis ladit až nakonec. Jestli se ti to u tvých skillů vyplatí, poznáš na prvním benchmarku, protože buď uvidíš jasné zlepšení, nebo zjistíš, že skill nic nepřidává a můžeš ho smazat.
Související články: Claude Skills návod, Jak postavit Claude Skills Library.
