Startseite / Beiträge / Praxis
Welche Mentoring-Verteidigungs-KI-Studenten mich über Evaluation gelehrt haben
Zwölf Monate der Überprüfung der Doktorarbeit Arbeit auf UAV-Bilder und Radar-Analyse, und der Ausfall-Modus, die fast jedes Mal zeigte.
Zwischen 2024 und 2025 war ich Industrie-Mentor im SAYZEK Studienarbeitsprogramm, das gemeinsam von Türkiyes Präsidentschaft der Verteidigungsindustrien und dem Rat für höhere Bildung durchgeführt wurde. Das Programm nahm 421 Bewerbungen von 119 Universitäten an, nahm 356 an und beauftragte 90 Industrie-Mentoren aus 20 Unternehmen. Jeder Schüler machte drei Zwischenberichte durch, die Mentoren überprüften und bewerteten.
Meine Studierenden arbeiteten an der KI-fähigen Bildbearbeitung für UAV- und bewaffnete UAV-Plattformen sowie an der Radardatenanalyse für KI-basierte Bodenlokalisierung und Zielklassifizierung. Alles unten befindet sich auf einer nicht-operativen Ebene. Hier erscheinen keine eingeschränkten Daten, Radarparameter oder Modellschwellen, und kein Student wird identifiziert.
Das Fehlermuster
Fast jedes Projekt kam mit der gleichen Form des Problems. Nicht ein Modellierungsproblem. Ein Bewertungsproblem.
Ein Student zeigte mir ein Ergebnis auf einem Test-Set und das Ergebnis wäre wirklich gut. Dann würde ich fragen, woher das Test-Set kam, und es würde sich herausstellen, dass unter Bedingungen nahe genug an dem Trainings-Set gesammelt worden wäre, dass der Split eher das Auswendiglernen als die Verallgemeinerung misst.
Das ist keine Nachlässigkeit. Das passiert, wenn Daten knapp sind und das Bewertungsprotokoll von einem Tutorial geerbt wird, anstatt aus der Bereitstellungsbedingung abgeleitet zu werden.
Die hilfreiche Frage
Mein nützlichster Beitrag war oft eine einzige Frage. Unter welcher Bedingung wäre dieses Modell falsch, und enthält Ihr Testset diese Bedingung?
Für die Bildbearbeitung kamen die Antworten schnell, sobald die Frage gestellt wurde. Niedriger Sonnenwinkel. Teilweise Okklusion. Ein Sensor, den das Modell nie gesehen hatte. Eine Zielklasse, die im Training selten ist, gerade weil sie in der Welt selten ist, was oft genau die Klasse ist, die zählt.
Für die Radararbeit war es subtiler, weil die Intuitionen, die Menschen von Computer-Vision-Transfer schlecht tragen. Clutter ist kein Lärm. Multipath ist kein Ausreißer. Ein Modell, das sie als Ärger statt Struktur behandelt wird ausgezeichnet auf einem sauberen Set aussehen und scheitern in der Art und Weise, die am meisten kostet.
Warum dies mit dem Rest der Arbeit verbunden ist
Ich habe nicht erwartet, eine Mentoring Verpflichtung, direkt in die Forschungsgestaltung zu füttern, aber es tat.
Die Gewohnheit, die ich auf die Schüler drückte, ist die Gewohnheit, die durch QANTIS läuft. Geben Sie die Betriebshülle an. Testen Sie an der Grenze statt der Mitte. Melden Sie die Bedingung, unter der das Ergebnis nicht mehr hält, und behandeln Sie diesen Bericht als Teil des Ergebnisses anstatt als Zulassung gegen Zinsen.
Das lässt sich leichter lehren als praktizieren. In einer Arbeit unter diesen Bedingungen lässt unsere Methode nach zu schreiben ist unbequem, weil Leser den Satz zitieren können. Ein Ergebnis ohne erklärte Grenze ist aber keine schwächere Behauptung als eines mit Grenze. Es ist eine nicht falsifizierbare Behauptung; das ist schlechter.
Das Zertifikat für dieses Programm ist vom 10. Juli 2025 und vom Präsidenten der Verteidigungsindustrien unterzeichnet. Es zeichnet einen Mentoring-Beitrag auf. Es ist kein Regierungspreis oder eine Wettbewerbsplatzierung, und ich beschreibe es so, weil es das ist, was es ist.