Percorso e ruoli degli esperti
Il lavoro procede per cicli. Si parte da pochi Topic chiusi e ben documentati, si confrontano i giudizi indipendenti e si usa il risultato per migliorare l'analisi dei Topic successivi.
Le fasi del percorso
1. Scelta dei Topic
Il gruppo seleziona Topic Horizon chiusi nel settore biotecnologico. È utile includere testi diversi per tema e formulazione: bioprocessi, biomanufacturing, bioeconomia circolare, biomolecole, genomica o terapie avanzate.
In questa fase gli esperti aiutano a verificare che:
- il contenuto sia realmente pertinente alle biotecnologie;
- siano disponibili i documenti ufficiali necessari;
- il Topic contenga abbastanza varietà da essere utile come caso di studio;
- il gruppo conosca l'esito o disponga di esperienza pregressa sul tema, quando possibile.
2. Preparazione del campione
I documenti vengono raccolti e suddivisi in passaggi leggibili. Ogni passaggio diventa una unità di annotazione, cioè un breve testo da esaminare con il contesto precedente e successivo.
Il coordinatore controlla che i documenti siano completi prima di iniziare. Se mancano allegati o il testo non è leggibile, l'annotazione viene rimandata.
3. Revisione indipendente
Due esperti leggono separatamente la stessa unità. La valutazione iniziale proposta dal sistema non viene mostrata, per evitare che influenzi il giudizio.
Ogni esperto decide se il passaggio:
- contiene una richiesta rilevante;
- non contiene una richiesta rilevante;
- è troppo ambiguo per decidere con sicurezza.
Quando la richiesta è rilevante, l'esperto ne indica la categoria, la forza, la citazione esatta e la scompone in uno o più punti elementari.
4. Confronto dei disaccordi
Se i due esperti concordano, la decisione può entrare nel riferimento condiviso. Se non concordano, un terzo esperto o il responsabile scientifico esamina entrambe le interpretazioni e prende la decisione finale, spiegandone la ragione.
Il disaccordo non è un errore: segnala un passaggio difficile e quindi particolarmente utile per migliorare il sistema e le linee guida.
5. Verifica della qualità
Quando un numero sufficiente di unità ha una decisione condivisa, il sistema viene confrontato con questo riferimento. Il gruppo verifica soprattutto due rischi:
- richieste perse: il testo contieneva una richiesta, ma il sistema non l'ha riconosciuta;
- false richieste: il sistema ha trattato come richiesta una frase descrittiva o informativa.
6. Estensione del campione
Il ciclo viene ripetuto su nuovi Topic. Alcuni possono essere usati per migliorare il sistema, altri devono essere tenuti da parte per verificarne la capacità su testi mai usati in precedenza.
Ruoli pratici
| Ruolo | Responsabilità principale |
|---|---|
| Coordinatore del campione | Sceglie i Topic, controlla le fonti, crea il dataset e assegna lo scopo dei casi |
| Esperto revisore | Valuta i passaggi in modo indipendente e descrive le richieste rilevanti |
| Responsabile del confronto | Risolve i disaccordi e rende coerenti le decisioni tra i diversi esperti |
| Responsabile scientifico | Approva le linee guida e valuta i casi che richiedono una decisione di dominio |
Una stessa persona può ricoprire più ruoli in un gruppo piccolo, ma non dovrebbe confrontare le due revisioni prima di aver completato la propria valutazione indipendente.