Forschung und Evaluation

Die Forschung hinter unseren Methoden.

Die Daten- und Evaluationsmethoden von Artabel stützen sich auf publizierte Forschung zu Datenqualität, Benchmarking und medizinischer KI sowie auf frühere angewandte Projekte. Diese Seite zeigt, wie diese Forschung in Kundenprojekte einfliesst, was eine Evaluation umfasst und was ein eingesetztes System festhält.

Methodentransfer Evaluation Governance

Methodentransfer

Von der Forschung zur Umsetzung.

Vier Beispiele, wie diese Forschung in Kundenprojekten genutzt wird.

Wie Forschungsmethoden bei Artabel in Kundenprojekte einfliessen Vier Zeilen, die je drei Stufen von links nach rechts durchlaufen. Forschung zur Prüfung der Datenqualität wird zu einem Prüfprotokoll für Datensätze, das die Labelfehler findet, welche die Genauigkeit eines Kundenmodells begrenzen. Forschung zum Benchmarking synthetischer Daten wird zum Entwurf von Vergleichsbasis und Abnahmekriterien, der zeigt, ob ein System die heutige Arbeitsweise übertrifft. Forschung zum Vergleich von Mensch und Maschine wird zu Prüfrastern und verblindeter Bewertung, die eine dokumentierte Beurteilung durch qualifizierte Fachpersonen ergeben. Quellengestütztes Beantworten von Fragen wird zur Suche mit Herkunftsnachweis, die Antworten mit Quellenangabe liefert. FORSCHUNG ANGEWANDTE METHODE WAS DER KUNDE ERHÄLT Prüfung der Datenqualität Selbstüberwachte Erkennung von Labelfehlern,Beinahe-Duplikaten und Fremdbeispielen Prüfprotokoll für Datensätze Triage, die die zweifelhaftestenFälle zuerst einer Fachperson vorlegt Ein saubererer Trainingsdatensatz Labelfehler, die die Genauigkeitbegrenzen, gefunden und behoben Benchmarking synthetischer Daten Systematische Evaluationsmetrikenund vergleichende Benchmarks Vergleichsbasis und Abnahmekriterien Die heutige Methode als Vergleichsbasis,Abnahmekriterien vorab vereinbart Eine belastbare Messung Der Nachweis, ob das System die heutigeArbeitsweise übertrifft Vergleich Mensch und Maschine Vergleich gelernter Repräsentationen,von Diagnoseverhalten und Leistung Prüfraster, verblindete Bewertung Urteil von Fachleuten, Zweitprüfung,Herkunft der Ergebnisse möglichst verdeckt Fachliche Freigabe Qualität beurteilt von den Personen,die für das Ergebnis verantwortlich sind Quellengestützte Antworten Antworten aus kuratierten Quellen,mit festgehaltener Quelle je Antwort Suche mit Herkunftsnachweis Quellenangabe, Zugriffsstufen undmenschliche Prüfung vor Veröffentlichung Antworten mit Quellenangabe Ergebnisse, die Ihre Fachleutean der Quelle prüfen können
Die mittlere Spalte ist der Engineering-Schritt: Forschungsergebnisse und Projekterfahrung in ein Protokoll überführen, das mit echten Daten und echten Prüfenden funktioniert.

Evaluation

Evaluation und Qualitätssicherung.

Die Evaluation zeigt, ob ein neues System besser ist als die heutige Arbeitsweise.

Was eine Evaluation umfasst

  • Eine Vergleichsbasis aus der heutigen Praxis. Verglichen wird mit dem manuellen Prozess, dem bereits genutzten Werkzeug oder einem Standardmodell mit einer vorgefertigten Suchlösung — je nachdem, was die echte Alternative ist.
  • Vor Arbeitsbeginn vereinbarte Abnahmekriterien. Was als ausreichend gilt, wird vorab festgelegt und dokumentiert, damit sich das Ziel nicht nachträglich an das anpasst, was das System zufällig erreicht.
  • Beurteilung durch qualifizierte Personen. Die Qualität wird von Fachleuten nach einem vorab vereinbarten Raster bewertet, mit einer unabhängigen Zweitprüfung bei wesentlichen Entscheidungen und, wo möglich, verdeckter Herkunft der Ergebnisse.
  • Referenzurteile von Menschen. Modellgestützte Bewertung kann die Analyse unterstützen, doch das Referenzurteil kommt von qualifizierten Prüfenden, und generierte Ergebnisse werden nicht als Ground Truth wiederverwendet.
  • Eine Stichprobe, die zur Aussage passt. Wie viele Wiederholungen ein Ergebnis braucht, hängt von der Aufgabe ab, von ihrer Streuung und davon, wie stark die Aussage ist. Wo die Grundlage für eine Zahl zu dünn ist, bleibt der Befund beschreibend und fliesst nicht in Gesamtaussagen ein.
  • Unsicherheit und Betreuungsaufwand werden ausgewiesen. Ergebnisse werden mit ihrer Unsicherheit angegeben, zusammen mit dem Zeitaufwand, den das Personal für Nutzung und Korrektur des Systems brauchte.

Governance

Aufzeichnungen und Freigaben.

Prüfaufwand nach Risiko: Eine interne Schreibhilfe braucht nicht dieselbe Prüftiefe wie ein klinisches Dokument. Eingesetzte KI-Systeme halten das Minimum fest, das nötig ist, um nachzuvollziehen, was sie getan haben und wer es freigegeben hat.

Ein kontrollierter KI-Ablauf bei Artabel Datenrechte und Zugriff begrenzen die gesamte Kette. Quellen speisen Erfassung und Indexierung, dann Modellierung und Suche, dann eine menschliche Prüfstufe, dann die Freigabe mit einem Nachweisprotokoll. Die Evaluation gegen eine vereinbarte Vergleichsbasis deckt die ganze Kette ab und führt Korrekturen in die Modellstufe zurück. Datenrechte, Zugriff und Aufbewahrung — geklärt, bevor eine Technologie gewählt wird Quellen Erfassung & Index Modell Prüfstufe Freigabe Dokumente, Bilder,Sensoren, Archive OCR, Metadaten,Embeddings, Schema Suche, Vorhersage,gestützte Generierung Benannte Prüfpersonkorrigiert oder lehnt ab Ergebnis mitNachweisspur manuelle Rückfallebene bleibt Evaluation gegen eine vereinbarte Vergleichsbasis Aufgabenerfolg · Fehlerrate und -schwere · Korrekturaufwand · Kosten pro Aufgabe · vorab vereinbarte Abnahmekriterien
So ist ein Einsatz für Dokumente oder Entscheidungsunterstützung aufgebaut: Datenrechte werden zuerst geklärt, und eine benannte Person prüft das Ergebnis, bevor es freigegeben wird.
  • Eine benannte Person für die Freigabe. Eine bestimmte Person in Ihrer Organisation gibt jedes Release frei und kann es korrigieren, ablehnen oder stoppen.
  • Ein Protokoll der Ausführung. Zweck, Datenquellen, Dienst und Modellversion werden für jedes eingesetzte System festgehalten, damit sich ein Ergebnis auch Monate später zurückverfolgen lässt.
  • Korrekturen werden protokolliert. Was das System falsch gemacht hat und wie oft, wird festgehalten — das zeigt auch, was die Korrekturen Ihr Personal kosten.
  • Prüfung nach EU AI Act und DSGVO auf Ebene des Arbeitsablaufs, mit Eskalationswegen, die vor der Inbetriebnahme festgelegt werden statt nach einem Vorfall.
  • Kein stiller Datenexport. Ihre Daten werden nicht ohne dokumentierte Genehmigung an allgemeine KI-Dienste gesendet.

Nächster Schritt

Soll ein System evaluiert werden?

Beschreiben Sie das System und die Entscheidung, die die Evaluation stützen soll.

Kontakt Kompetenzen