Zertifikate lügen, wie man Expertise wirklich misst

Quelle: Maxam & Davis (2024), "An Interview Study on Third-Party Cyber Threat Hunting Processes in the U.S. Department of Homeland Security", arXiv:2402.12252

Ich habe Zertifikate. ISC2 Certified in Cybersecurity. CSI Linux Certified Investigator. Information Security Officer nach ISO 27001 und BSI IT-Grundschutz. Einige haben mir geholfen, Konzepte zu ordnen. Andere haben mir vor allem geholfen, eine Stelle zu bekommen.

Was sie mir nie gegeben haben: die Fähigkeit, in einem unbekannten Netz innerhalb von 30 Minuten den normalen Traffic vom auffälligen zu trennen. Das kommt anders.

Was die DHS-Teams sagen

In der Studie von Maxam und Davis wurden elf erfahrene Threat Hunter des US-Heimatschutzministeriums befragt. Sechs von elf vertrauen Zertifizierungen nicht als Maßstab für Expertise.

Ein Team Lead formuliert es direkt: "It's really hard to define what a baseline of cybersecurity understanding is. You can't really say it's having a certain certification because there's plenty of people that have certifications that don't know what they're talking about."

Das ist keine Nörgelei. Das ist eine Beobachtung aus der Praxis.

Eine der befragten Organisationen hat eine interne Zertifizierung entwickelt, ein gut gemeinter Versuch, Expertise messbar zu machen. Drei Befragte sind damit unzufrieden. Ihre Kritik: Der Inhalt passe nicht auf die tatsächliche Arbeit. Das erforderliche Niveau, um die Zertifizierung zu bestehen, spiegele nicht wider, was für den Job wirklich nötig sei.

Ein weiterer Team Lead: "Having a course under your belt usually doesn't give me immediate confidence."

Was stattdessen zählt

Die befragten Hunter nutzen andere Indikatoren, keine formalen, keine standardisierten. Sie beobachten:

Praktische Erfahrung mit den Tools. Wer schon mehrere hundert Stunden mit SIEM-Systemen, EDR-Plattformen und Netzwerktelemetrie gearbeitet hat, entwickelt ein Gefühl für das Normale. Zertifikate messen das nicht.

Zeit außerhalb der Kernzeit. Mehrere Befragte erwähnen "off-hours", also das freiwillige Beschäftigen mit dem Job außerhalb der regulären Arbeitszeit. Das ist kein Überstunden-Fetisch, sondern ein Indikator für intrinsische Motivation. Wer sich in der Freizeit mit Angriffstechniken beschäftigt, baut ein mentales Modell auf, das man in Trainings nicht kaufen kann.

Verhalten im echten Einsatz. Wie reagiert jemand, wenn das Netz unbekannt ist? Wie geht er mit Unsicherheit um? Stellt er die richtigen Fragen, oder sucht er Bestätigung für seine Annahmen?

Das sind keine objektiven Metriken. Aber sie sind näher an der Realität als ein Multiple-Choice-Test.

Das Recruiting-Problem

Wenn Zertifikate kein verlässlicher Maßstab sind, hat das direkte Konsequenzen, nicht nur für einzelne Teams, sondern für Recruiting, Teameinteilung und Onboarding.

Im Recruiting entsteht ein klassisches Signalproblem: Organisationen, die nicht wissen, wie sie Expertise messen, greifen auf das zurück, was messbar erscheint. Das sind Zertifikate. Das Ergebnis ist bekannt: Menschen mit beeindruckenden Zertifikatslisten, die im ersten echten Einsatz überfordert sind.

Bei der Teameinteilung führt fehlende Einschätzung dazu, dass Junior-Analysten zu früh zu viel Verantwortung bekommen, oder erfahrene Hunter mit Aufgaben belastet werden, die unter ihrem Niveau liegen.

Beim Onboarding verlässt man sich auf Kurse und Zertifikate, die das neue Teammitglied absolvieren soll, obwohl die echte Lernkurve woanders stattfindet.

Was besser funktioniert

Die Studie liefert einen konkreten Hinweis: das Apprentice-Modell. Erfahrene Hunter begleiten Jüngere in echten Missionen. Sie beobachten. Sie kommentieren. Sie korrigieren. Nicht anhand einer Prüfungsordnung, sondern anhand der tatsächlichen Arbeit.

Das ist kein neues Konzept, Handwerker kennen es seit Jahrhunderten. In der IT-Sicherheit wird es zu selten bewusst eingesetzt.

Ergänzend dazu funktionieren praktische Übungen, die reale Szenarien simulieren: Capture-the-Flag-Übungen für technische Tiefe, Tabletop Exercises für das Zusammenspiel im Team und unter Druck. Beides misst Verhalten, nicht Faktenwissen.

Ich habe in meiner Karriere beides erlebt, strukturiertes Lernen und Lernen im Einsatz. Was hängengeblieben ist: die Vorfälle. Die Situationen, in denen ich unter Druck entscheiden musste und aus dem Ergebnis gelernt habe. Kein Kurs gibt das zurück.

Was das bedeutet

Zertifikate sind kein Beweis für Können. Sie sind Signale, manchmal nützliche, manchmal irreführende.

Wer Threat-Hunting-Expertise aufbauen will, im eigenen Team oder in der eigenen Organisation, sollte ehrlich fragen: Was misst uns wirklich? Was kann diese Person im Einsatz? Wie entwickeln wir das?

Das ist unbequemer als ein Zertifikatsliste. Aber es führt zu besseren Teams.

Der vollständige Paper: arXiv:2402.12252