AI Skills bauen und testen

01Was ist ein Skill?

Ein Skill ist eine wiederverwendbare Anweisung, die Claude Code automatisch aktiviert, wenn sie zum Kontext passt -- ohne dass du einen Slash-Command tippen musst.

Anatomie einer SKILL.md

---
name: frontend-design
description: |
  Create distinctive, production-grade frontend interfaces.
  TRIGGER when: user asks to build web components, pages,
  or applications.
---

# Frontend Design Skill

## Principles
- Never use default Bootstrap/Tailwind look
- Start with layout structure before colors
- Mobile-first responsive design

## Process
1. Understand the intent -- ask clarifying questions
2. Generate complete, self-contained HTML
3. Use inline CSS, no external dependencies
...

02Skills vs. Prompts -- und wann was?

Skills sind keine besseren Prompts. Sie loesen ein anderes Problem. Die Frage ist nicht "entweder/oder", sondern "wann welches Werkzeug".

Entscheidungsmatrix: Wo Skill, wo Prompt?

03Einen Skill bauen -- Schritt fuer Schritt

Der Skill Creator ist selbst ein Plugin fuer Claude Code. Er fuehrt dich durch den Prozess: von der Idee bis zum getesteten, optimierten Skill.

Workflow im Ueberblick

1. Plugin installieren

/plugin install skill-creator@claude-plugins-official

Danach steht der Slash-Command /skill-creator zur Verfuegung -- plus die zugehoerigen Agenten und Skills.

2. Neuen Skill beschreiben

Sag Claude einfach, was der Skill tun soll. Der Skill Creator startet ein kurzes Interview:

> Ich will einen Skill, der bei Code Reviews automatisch
  auf Security-Probleme hinweist.

Skill Creator: "Welche Sprachen soll er abdecken?"
Skill Creator: "Soll er auch Fixes vorschlagen oder nur warnen?"
Skill Creator: "Gibt es spezifische OWASP-Kategorien?"

3. SKILL.md wird generiert

Aus deinen Antworten entsteht eine SKILL.md mit optimierter Description und detailliertem Body.

4. Eval-Set definieren

Du definierst Testcases in evals/evals.json:

[
  {
    "query": "Review this Express endpoint for SQL injection",
    "should_trigger": true
  },
  {
    "query": "Add a new button to the navbar",
    "should_trigger": false
  },
  {
    "query": "Check my auth middleware for vulnerabilities",
    "should_trigger": true
  },
  {
    "query": "Write a unit test for the calculator",
    "should_trigger": false
  }
]

5. Testen und Optimieren

Der Skill Creator fuehrt parallele Eval-Runs durch, bewertet die Ergebnisse und verbessert iterativ die Description. Details dazu im naechsten Kapitel.

04Unter der Haube: So funktioniert der Skill Creator

Der Skill Creator ist kein simples Template-Tool. Er nutzt ML-Evaluierungsmethoden -- Train/Test-Splits, blinde Vergleiche und iterative Optimierung.

Die drei Phasen

Der Optimierungs-Loop im Detail

Warum Train/Test-Split?

Ohne Test-Set wuerde der Optimierungs-Loop die Description so lange anpassen, bis sie genau fuer die bekannten Queries funktioniert -- aber fuer neue Queries versagt. Das nennt man Overfitting. Der Skill Creator erkennt das:

Was genau wird optimiert?

Die description im YAML-Frontmatter. Sie ist der Matching-Schluessel. Der Improvement-Algorithmus:

1. Analysiert welche Queries nicht getriggert haben (obwohl sie sollten)
2. Analysiert welche Queries falsch getriggert haben (obwohl sie nicht sollten)
3. Bekommt die komplette History vorheriger Versuche
4. Generiert eine neue Description mit Fokus auf Generalisierung
5. Haelt sich an max. 1024 Zeichen

05Das Eval-System: 3 Agenten, blinder Vergleich

Der Skill Creator nutzt ein dreistufiges Bewertungssystem mit spezialisierten Agenten -- aehnlich wie ein kontrolliertes Experiment.

Die drei Bewertungs-Agenten

Quantitative Metriken

Der Benchmark-Vergleich: Mit Skill vs. Ohne Skill

Das System fuehrt identische Queries in zwei Konfigurationen aus:

Beispielwerte zur Illustration. Echte Ergebnisse variieren.

05bBundled Scripts -- Skills sind mehr als Markdown

Ein Skill ist nicht nur eine SKILL.md. Er kann ausfuehrbare Skripte, Templates und Referenz-Dateien mitbringen. Das macht Skills zu echten Werkzeugen.

Die drei Ressourcen-Typen

Vollstaendige Skill-Struktur mit Scripts

my-skill/
├── SKILL.md                # Pflicht: Anweisungen + Frontmatter
├── scripts/
│   ├── analyze_data.py     # Deterministische Analyse
│   ├── generate_chart.py   # Visualisierung erzeugen
│   └── validate_input.sh   # Input-Validierung
├── references/
│   └── style-guide.md      # Wird in Kontext geladen
├── assets/
│   └── report_template.html# Output-Template
└── evals/
    └── evals.json          # Testcases

Wie Scripts in der SKILL.md referenziert werden

Die SKILL.md sagt Claude, WANN und WIE die Scripts aufgerufen werden sollen:

---
name: data-report
description: |
  Generate data analysis reports with charts.
  TRIGGER when: user asks for data analysis, reports, or dashboards.
---

# Data Report Skill

## Process
1. Read the data file the user provides
2. Run the analysis script:
   ```bash
   python scripts/analyze_data.py input.csv --format json
   ```
3. Generate charts from the analysis:
   ```bash
   python scripts/generate_chart.py analysis.json --output charts/
   ```
4. Combine results using the template in `assets/report_template.html`

Progressive Disclosure: 3 Lade-Stufen

Konkretes Beispiel: Der Skill Creator selbst

Der Skill Creator ist das beste Beispiel fuer gebundelte Scripts. Er enthaelt 8 Python-Scripts:

Ohne diese Scripts waere der Skill Creator nur eine Anweisung. Mit den Scripts ist er ein vollstaendiges Werkzeug -- die SKILL.md orchestriert, die Scripts fuehren aus.

06Lokal installieren und nutzen

Ja, der Skill Creator laesst sich komplett lokal betreiben. Hier ist, was du brauchst.

Voraussetzungen

Installation

# Option 1: Als Plugin (empfohlen)
/plugin install skill-creator@claude-plugins-official

# Option 2: Manuell klonen
git clone https://github.com/anthropics/claude-plugins-official.git
cd claude-plugins-official/plugins/skill-creator

# Fuer den Improvement-Loop brauchst du:
pip install anthropic
export ANTHROPIC_API_KEY=sk-ant-...

Nutzung

# Neuen Skill erstellen (interaktiv)
/skill-creator

# Bestehenden Skill testen
/skill-creator test my-skill

# Skill optimieren (iterativer Loop)
/skill-creator improve my-skill

# Skill validieren
python3 quick_validate.py path/to/skill/

# Skill packen fuer Distribution
python3 package_skill.py path/to/skill/

Verzeichnis-Struktur nach dem Erstellen

my-skill/
├── SKILL.md              # Dein Skill
├── evals/
│   ├── evals.json        # Testcases
│   ├── runs/             # Eval-Ergebnisse
│   └── benchmark.json    # Aggregierte Metriken
└── resources/            # Gebundelte Dateien (optional)

07PM-Perspektive: Warum Skills dein AI-Tooling veraendern

Als Product Manager denkst du in Outcomes, nicht in Outputs. Skills bringen genau dieses Denken in die AI-Nutzung.

Was sich aendert

Konkrete Anwendungsfaelle fuer PMs

Die groessere Perspektive

Was der Skill Creator lehrt -- auch ohne ihn zu nutzen

1. Evals zuerst: Bevor du optimierst, definiere wie "gut" aussieht.
2. Train/Test-Trennung: Teste nicht mit den Daten, auf denen du optimiert hast.
3. Blinde Vergleiche: Lass den Comparator nicht wissen, welches "dein" Output ist.
4. Iteriere auf Daten, nicht auf Gefuehl: Der Loop verbessert, was messbar schwach ist.
5. Descriptions > Instructions: WANN ein Skill greift ist wichtiger als WAS er tut.

08Was du sonst noch wissen solltest

Skills vs. Commands vs. Agents -- die drei Plugin-Bausteine

Validierungsregeln fuer Skills

• Name: kebab-case, maximal 64 Zeichen
• Description: Maximal 1024 Zeichen, keine spitzen Klammern (< >)
• SKILL.md muss existieren -- ist die einzige Pflichtdatei
• Compatibility-Feld (optional): maximal 500 Zeichen, definiert Voraussetzungen

Packaging und Distribution

Ein fertig optimierter Skill kann als .skill-Datei gepackt werden. Das ist ein ZIP-Archiv das automatisch __pycache__, node_modules, .pyc, .DS_Store und den evals/-Ordner ausschliesst. Andere koennen es installieren -- inklusive aller gebundelten Ressourcen und Templates.

Das Plugin-Oekosystem

Der Skill Creator ist eines von 30+ offiziellen Plugins im claude-plugins-official Repo. Weitere spannende Plugins:

• frontend-design -- Production-grade UI ohne generisches Bootstrap-Look
• code-review -- Strukturierte Code-Reviews
• ralph-loop -- Recurring Tasks auf Intervall
• playground -- Experimentierumgebung
• agent-sdk-dev -- Custom Agents bauen