Skip to main content

Qualità, verifiche e protezione dei dati

Principi non negoziabili​

Il sistema viene sviluppato secondo alcuni principi che valgono in tutte le fasi:

  • nessuna richiesta senza fonte: ogni requisito deve essere sostenuto dal testo ufficiale;
  • nessuna risposta senza requisito: i contenuti della proposta devono avere una funzione riconoscibile;
  • incertezza esplicita: i casi dubbi devono essere segnalati e affidati a una revisione umana;
  • significato prima della quantità: suddividere il testo non deve far perdere condizioni, eccezioni o relazioni;
  • controllo umano nei passaggi decisivi: il sistema supporta, ma non sostituisce, le decisioni scientifiche e strategiche;
  • protezione coerente con la sensibilità dei dati: le informazioni riservate non devono essere inviate a servizi non autorizzati;
  • risultati misurabili: ogni miglioramento deve essere verificato su casi controllati.

Benchmark​

Un benchmark è una prova ripetibile: il sistema analizza un insieme di passaggi per i quali gli esperti hanno già definito la risposta corretta. I risultati vengono confrontati con il Golden Dataset.

La verifica deve includere Topic differenti e casi difficili, non soltanto esempi facili o formulati in modo esplicito. Alcuni Topic vengono utilizzati durante il miglioramento; altri vengono mantenuti separati per verificare il comportamento su materiale non usato in precedenza.

Soglie di qualità​

Il progetto stabilisce soglie minime prima di usare un risultato nelle fasi successive. Queste soglie sono i quality gate.

Per esempio, non si dovrebbe considerare affidabile un insieme di requisiti se:

  • molte richieste reali non sono state trovate;
  • numerose frasi di contesto sono state trasformate in requisiti;
  • mancano le citazioni;
  • una richiesta complessa è stata suddivisa perdendo condizioni importanti;
  • i casi obbligatori risultano ancora incerti e non revisionati.

Il mancato superamento di una soglia non viene nascosto: indica che occorre migliorare il metodo o completare la revisione prima di procedere.

Uso dei modelli linguistici​

I modelli linguistici possono aiutare a interpretare formulazioni, classificare passaggi, proporre una scomposizione e confrontare testi. Le loro risposte devono però essere controllate rispetto alla fonte e misurate sul Golden Dataset.

Quando il lavoro riguarda esclusivamente documenti pubblici del bando, possono essere utilizzati servizi esterni autorizzati. Quando iniziano a essere raccolti contributi dei partner, trascrizioni, documenti interni, dati sperimentali o altre informazioni riservate, il trattamento deve passare a modelli ospitati in un ambiente controllato.

La scelta non dipende soltanto dalla capacità del modello, ma anche dalla classificazione dei dati. Non è previsto un passaggio automatico verso servizi esterni quando il contenuto è riservato.

Ruolo degli esperti nelle verifiche​

Gli indicatori numerici mostrano quanto spesso il sistema concorda con il riferimento, ma non spiegano da soli la gravità degli errori. Gli esperti contribuiscono a distinguere:

  • una classificazione secondaria discutibile;
  • la perdita di un vincolo di ammissibilità;
  • l'introduzione di un obbligo inesistente;
  • una suddivisione formalmente corretta ma scientificamente fuorviante;
  • un requisito individuato correttamente ma privo della condizione decisiva.

Questa lettura qualitativa orienta le priorità di miglioramento e stabilisce se il sistema può essere impiegato nella fase successiva.