Investigación y evaluación

La investigación en la que se basan nuestros métodos.

Los métodos de datos y evaluación de Artabel se basan en investigación publicada sobre calidad de datos, benchmarking e IA médica, y en proyectos aplicados anteriores. Esta página muestra cómo se aplica esa investigación en los proyectos con clientes, qué contiene una evaluación y qué registros conserva un sistema desplegado.

Transferencia de métodos Evaluación Gobernanza

Transferencia de métodos

De la investigación a la implantación.

Cuatro ejemplos de cómo se utiliza esa investigación en proyectos con clientes.

Cómo llegan los métodos de investigación al trabajo con clientes en Artabel Cuatro filas; cada una recorre tres etapas de izquierda a derecha. La investigación sobre auditoría de la calidad de los datos se convierte en un protocolo de auditoría de conjuntos de datos, que detecta los errores de etiquetado que limitan la precisión de un modelo del cliente. La investigación sobre benchmarking de datos sintéticos se convierte en el diseño de la referencia y de los criterios de aceptación, que muestra si un sistema mejora la forma actual de trabajar. La investigación que compara a personas y máquinas se convierte en rúbricas de revisión y puntuación a ciegas, que producen una evaluación documentada por revisores cualificados. La respuesta a preguntas basada en fuentes se convierte en recuperación con procedencia, que produce respuestas que citan su fuente. INVESTIGACIÓN MÉTODO APLICADO LO QUE OBTIENE EL CLIENTE Auditoría de calidad de los datos Detección autosupervisada de erroresde etiquetado, casi duplicados, fuera de tema Protocolo de auditoría de datos Triaje que lleva primero los casosmás dudosos a un revisor humano Un conjunto de entrenamiento más limpio Errores de etiquetado que limitanla precisión, hallados y corregidos Comparativa de datos sintéticos Métricas de evaluación sistemáticasy benchmarks comparativos Referencia y criterios de aceptación El método actual como referencia,criterios de aceptación acordados antes Una medición defendible La prueba de si el sistema mejorala forma actual de trabajar Comparación entre personas y máquinas Comparar representaciones aprendidas,comportamiento diagnóstico y rendimiento Rúbricas, puntuación a ciegas Criterio profesional, segunda revisión,origen del resultado oculto si es posible Aprobación profesional Calidad evaluada por las personasque responderán del resultado Respuestas basadas en fuentes Respuestas a partir de fuentes elegidas,conservando la fuente de cada respuesta Recuperación con procedencia Atribución de fuentes, niveles de accesoy revisión humana antes de publicar Respuestas que citan su fuente Resultados que sus expertos puedencomprobar en la fuente
La columna central es el paso de ingeniería: convertir resultados de investigación y experiencia de proyectos en un protocolo que funcione con datos reales y revisores reales.

Evaluación

Evaluación y aseguramiento de la calidad.

La evaluación muestra si un sistema nuevo mejora la forma actual de trabajar.

Qué contiene una evaluación

  • Una referencia tomada de la práctica actual. La comparación se hace con el proceso manual, la herramienta que ya utiliza o un modelo estándar con una solución de recuperación lista para usar — según cuál sea la alternativa real al trabajo.
  • Criterios de aceptación acordados antes de empezar. El nivel que se considera suficiente se fija y se registra primero, para que el objetivo no se desplace hacia lo que el sistema consiga alcanzar.
  • Juicio de personas cualificadas. La calidad la puntúan profesionales con una rúbrica acordada de antemano, con una segunda revisión independiente para las decisiones importantes y con el origen del resultado oculto cuando es posible.
  • Juicios de referencia humanos. La puntuación asistida por modelos puede apoyar el análisis, pero el juicio de referencia procede de revisores cualificados, y los resultados generados no se reutilizan como verdad de referencia.
  • Una muestra a la medida de la afirmación. Cuántas repeticiones necesita un resultado depende de la tarea, de su variabilidad y de la fuerza de la afirmación. Cuando la evidencia es demasiado escasa para sostener una cifra, el resultado se presenta de forma descriptiva y queda fuera de las afirmaciones agregadas.
  • Se informa de la incertidumbre y del esfuerzo de soporte. Los resultados se presentan con su incertidumbre y con el tiempo que el personal necesitó para usar y corregir el sistema.

Gobernanza

Registros y aprobaciones.

Garantías proporcionales al riesgo: una herramienta interna de ayuda a la redacción no necesita la profundidad de revisión de un documento clínico. Los sistemas de IA desplegados conservan el registro mínimo necesario para reconstruir qué hicieron y quién lo aprobó.

Un flujo de trabajo de IA con gobernanza en Artabel Los derechos sobre los datos y el acceso delimitan toda la cadena. Las fuentes alimentan la ingesta y la indexación, después la modelización y la recuperación, después una etapa de revisión humana y después la puesta en producción con un registro de evidencias. La evaluación frente a una referencia acordada cubre toda la cadena y devuelve correcciones a la etapa del modelo. Derechos sobre los datos, acceso y conservación — resueltos antes de elegir ninguna tecnología Fuentes Ingesta & índice Modelo Revisión humana Publicación Documentos, imágenes,sensores, archivos OCR, metadatos,embeddings, esquema Búsqueda, predicción,generación con fuentes Revisor designadocorrige o rechaza Resultado contrazabilidad con alternativa manual Evaluación frente a una referencia acordada Éxito de la tarea · tasa y gravedad de errores · esfuerzo de corrección · coste por tarea · criterios de aceptación acordados de antemano
Estructura de un despliegue documental o de apoyo a la decisión: los derechos sobre los datos se resuelven primero, y una persona designada revisa el resultado antes de publicarlo.
  • Un responsable de aprobación. Una persona designada de su organización aprueba cada publicación y puede corregirla, rechazarla o detenerla.
  • Un registro de lo que se ejecutó. Finalidad, fuentes de datos, servicio y versión del modelo quedan registrados para cada sistema desplegado, de modo que un resultado pueda rastrearse meses después.
  • Correcciones registradas. Los errores del sistema, y su frecuencia, quedan registrados — lo que también indica cuánto le cuesta a su personal corregirlos.
  • Análisis según el Reglamento de IA de la UE y el RGPD a nivel de flujo de trabajo, con vías de escalado definidas antes de la puesta en marcha y no después de un incidente.
  • Ninguna exportación de datos sin su conocimiento. Sus datos no se envían a servicios de IA de uso general sin autorización documentada.

Siguiente paso

¿Necesita evaluar un sistema?

Describa el sistema y la decisión que debe respaldar la evaluación.

Contacto Capacidades