Annotare le unità
Aprire la propria coda
Entrate nel dataset e aprite la scheda Annotazione. La Coda di annotazione blind mostra i passaggi ancora da esaminare. Blind significa che non vedete la risposta proposta dal sistema né quella dell'altro revisore.
Selezionate un passaggio. Il sistema lo assegna alla vostra coda e mostra:
- documento e pagina;
- titolo della sezione;
- passaggio da valutare, evidenziato al centro;
- testo precedente e successivo, quando disponibili.
Leggete sempre il contesto. Non basate la decisione su una sola parola.
📷 Screenshot da inserire —
golden-dataset-06-coda-annotazione.png
Inquadrare la coda blind con titolo della sezione, pagina, stato e anteprima del passaggio.
Didascalia: Scelta dell'unità da revisionare.
Prima domanda: è una richiesta rilevante?
Rispondete alla domanda È una richiesta rilevante per il proponente?:
- Sì: il testo impone, delimita o valuta un'azione o un contenuto della proposta;
- No: è contesto, obiettivo generale, definizione, esempio o altra informazione senza richiesta applicabile;
- Incerto: il testo non permette una decisione affidabile neppure considerando il contesto disponibile.
Usate Incerto per ambiguità reali, non per evitare una decisione difficile. Nelle note spiegate che cosa manca per decidere.
📷 Screenshot da inserire —
golden-dataset-07-decisione.png
Inquadrare fonte, contesto e i comandi Sì, No, Incerto.
Didascalia: Valutazione indipendente della rilevanza del passaggio.
Se scegliete No
Indicate la categoria che descrive meglio il passaggio e la motivazione. Esempi frequenti:
- obiettivo politico generale;
- descrizione del contesto;
- risultato atteso che non contiene, da solo, un'azione richiesta al proponente;
- definizione o esempio;
- frammento incompleto.
Non create Requirement Atom per un passaggio rifiutato.
Se scegliete Sì
1. Scegliere la classe
Indicate se si tratta di requisito del proponente, condizione di ammissibilità, limite dello scopo, risultato da produrre, prova richiesta o aspettativa di valutazione. Usate la tabella nella pagina Capire il Golden Dataset come riferimento.
2. Indicare la motivazione
La motivazione deve spiegare perché il testo è stato ammesso. Se nessuna scelta è adatta, selezionate OTHER e chiarite il caso nelle note.
3. Indicare la forza
Scegliete MANDATORY, EXPECTED, RECOMMENDED oppure OPTIONAL in base alla formulazione originale e al contesto.
4. Riportare la citazione esatta
Nel campo Citazione esatta lasciate soltanto le parole presenti nella fonte che sostengono la decisione. La citazione deve essere sufficientemente completa da conservare soggetto, azione e condizioni importanti.
5. Creare i Requirement Atom
Per ogni richiesta separabile compilate:
- Actor: chi è responsabile, per esempio
PROPOSAL,APPLICANT,CONSORTIUMoPROJECT; - Action: l'azione richiesta, espressa con un verbo chiaro, per esempio
DESCRIBE,DEMONSTRATE,PROVIDEoSUBMIT; - Object: l'oggetto scientifico o progettuale dell'azione;
- Testo canonico: una frase breve, completa e fedele alla fonte.
I campi Actor e Action propongono sia termini canonici sia termini già utilizzati nel dataset. Potete selezionare una proposta oppure scrivere un nuovo valore quando quelli disponibili non descrivono correttamente la richiesta. Prima di introdurre un termine nuovo, controllate che non esista già un termine equivalente: usare un vocabolario coerente rende più semplice confrontare e raggruppare i requisiti.
Testo canonico
Il Testo canonico non è normalmente il copia-incolla della citazione. È una riscrittura controllata della singola richiesta che deve essere:
- breve, senza il contesto narrativo non necessario;
- completa e autonoma, comprensibile anche fuori dal paragrafo originale;
- atomica, con una sola azione verificabile;
- fedele alla fonte, senza aggiungere condizioni, risultati o interpretazioni non presenti;
- coerente nella forza, conservando il significato di espressioni come must, shall, should o may.
La Citazione esatta conserva le parole originali e permette di verificare il collegamento con la fonte. Il Testo canonico rende invece la richiesta uniforme e direttamente utilizzabile nelle fasi successive.
Esempio di citazione:
Proposals must demonstrate the scalability of the process and provide evidence of its economic viability.
La citazione contiene due azioni indipendenti e deve quindi produrre due atom:
The proposal must demonstrate the scalability of the process.The proposal must provide evidence of the process's economic viability.
Potete partire copiando una parte della citazione, ma controllate sempre che il risultato abbia un soggetto esplicito, una sola azione e tutte le condizioni necessarie. Se la frase contiene due azioni verificabili, utilizzate Aggiungi atom e create due testi canonici distinti.
Usate Aggiungi atom quando il passaggio contiene più richieste verificabili. Usate Rimuovi se un atom è duplicato o non è sostenuto dal testo.
📷 Screenshot da inserire —
golden-dataset-08-requirement-atom.png
Inquadrare classe, motivazione, forza, citazione esatta e campi del Requirement Atom.
Didascalia: Classificazione e scomposizione di una richiesta ammessa.
6. Aggiungere una nota, se utile
Le note servono a spiegare ambiguità, dipendenze da altre sezioni o scelte terminologiche. Non sostituiscono la citazione.
Controllo prima di salvare
Prima di selezionare Salva annotazione, chiedetevi:
- Ho letto il contesto?
- La decisione riguarda ciò che il testo chiede, non ciò che ritengo scientificamente importante?
- La classe descrive la funzione della frase?
- La forza deriva dalla fonte?
- La citazione contiene le parole esatte?
- Ogni atom esprime una sola richiesta?
- Tutti gli atom sono sostenuti dalla citazione?
Dopo il salvataggio tornate alla coda e proseguite con l'unità successiva.
📷 Screenshot da inserire —
golden-dataset-09-salvataggio.png
Inquadrare il comando Salva annotazione e il ritorno alla coda.
Didascalia: Completamento della revisione di un'unità.
Errori da evitare
- ammettere una frase perché contiene terminologia biotecnologica specialistica;
- trasformare un obiettivo auspicato in un obbligo non scritto;
- usare conoscenze esterne per aggiungere condizioni assenti dalla fonte;
- copiare tutto il paragrafo come citazione senza individuare il passaggio decisivo;
- unire più azioni indipendenti in un solo atom;
- separare una richiesta in modo da perdere una condizione comune;
- confrontarsi con l'altro revisore prima di salvare il proprio giudizio.