Una risposta ben scritta può essere difficile da controllare. Accanto al testo compare il nome di un PDF, ma il documento è lungo e il riferimento non porta al punto giusto. Oppure la frase citata contiene una regola simile, riferita però a un caso diverso. Il link esiste; il lavoro di verifica resta quasi interamente al lettore.
Un assistente sui documenti dovrebbe aiutare a ridurre questo lavoro. Per farlo, deve conservare il collegamento tra domanda, passaggio recuperato e affermazione prodotta. È un criterio utile sia per chi progetta l’integrazione sia per chi deve accettarne il primo rilascio.
Che cosa significa RAG
RAG significa retrieval-augmented generation: l’applicazione cerca contenuti pertinenti in una raccolta e li fornisce al modello insieme alla domanda. Il modello usa quel contesto per formulare la risposta. La documentazione Microsoft sul RAG descrive questa sequenza di recupero, arricchimento del contesto e generazione.
Il recupero delle fonti rende possibile un controllo, ma non garantisce da solo che ogni affermazione sia corretta. Bisogna valutare sia la ricerca sia l’uso dei passaggi selezionati. Se viene recuperata la procedura sbagliata, una risposta fedele a quel testo può comunque non rispondere alla domanda dell’utente.
Il collegamento con il lavoro sulla piattaforma LMS
Nel progetto LMS ho esteso una piattaforma esistente con strumenti per trascrizioni, sintesi e risposte AI collegate ai materiali. Il contesto didattico rende molto concreta la necessità di ritrovare una fonte: chi studia deve poter tornare alla lezione o al passaggio che chiarisce un concetto.
Il laboratorio pubblico presenta un campione preparato. Non interroga una raccolta privata né chiama un modello dal browser. Serve a mostrare la relazione tra domanda, risposta e materiale, mantenendo distinti l’esempio del portfolio e le funzioni della piattaforma.
Lo stesso criterio si applica a manuali e procedure aziendali: una risposta può essere rapida da leggere, ma deve anche essere rapida da verificare.
Quattro controlli sulla risposta
| Controllo | Domanda pratica | Problema che può emergere |
|---|---|---|
| Pertinenza | Il passaggio riguarda questo caso? | Fonte simile ma riferita a un altro processo |
| Supporto | La fonte dice ciò che la risposta afferma? | Un dettaglio aggiunto senza evidenza |
| Versione | Stiamo leggendo il documento valido? | Procedura superata o revisione incerta |
| Accesso | L’utente può consultare quel contenuto? | Informazione recuperata fuori dal suo perimetro |
Per rendere questi controlli praticabili, conserverei titolo, revisione e un riferimento sufficientemente preciso: pagina, sezione o punto della lezione. In una raccolta con documenti aggiornati spesso, definirei anche come sostituire le versioni e come segnalare quelle obsolete.
La qualità delle fonti incide sulla qualità della ricerca. Titoli indistinguibili, scansioni poco leggibili e tabelle spezzate possono rendere ambiguo il recupero. Prima di aumentare la complessità del modello conviene osservare ciò che l’applicazione sta effettivamente leggendo.
Che cosa deve succedere quando il dato manca
Consideriamo un manuale dimostrativo che spiega chi approva una richiesta, ma non indica entro quanto tempo. Alla domanda sul responsabile è possibile rispondere citando il passaggio. Alla domanda sulla scadenza, attribuire al manuale un termine inventato sarebbe un errore.
Una risposta utile può dire che il termine non compare nei materiali disponibili e indicare quale informazione serve per proseguire. Questo comportamento va incluso nei casi di prova. Se tutti gli esempi di collaudo hanno una risposta già presente, non sappiamo come il sistema gestisce l’assenza di evidenza.
Anche l’ambiguità merita una prova: due procedure potrebbero usare lo stesso nome per attività diverse. In quel caso l’assistente può chiedere di precisare il contesto oppure mostrare le alternative, evitando di sceglierne una silenziosamente.
I permessi devono valere anche durante la ricerca
Un documento non dovrebbe diventare consultabile solo perché il suo contenuto è entrato nell’indice di ricerca. Identità dell’utente e autorizzazioni devono influire sui risultati recuperati. Microsoft documenta diversi approcci al controllo degli accessi a livello di documento, tra cui filtri legati alle identità autorizzate.
Nella progettazione chiederei come vengono aggiornati i permessi e che cosa accade quando un utente cambia ruolo. Verificherei con account di prova che una domanda simile non renda visibile materiale riservato a un altro gruppo. Sono controlli applicativi da realizzare e collaudare, non istruzioni da affidare soltanto al testo del prompt.
Un esempio: risposta fedele, ma alla procedura sbagliata
Immagina un archivio dimostrativo con due procedure. La revisione 1 assegna l’approvazione al responsabile di reparto; la revisione 2, che l’ha sostituita, la assegna all’ufficio acquisti. Alla domanda «Chi approva oggi?» il sistema recupera soltanto la revisione 1 e cita correttamente il responsabile di reparto. La frase è sostenuta dal documento recuperato, ma non dalla procedura vigente.
Qui il difetto nasce prima della scrittura della risposta. Occorre controllare selezione della versione e metadati dell’archivio. Cambiare il tono del prompt non risolve un indice che non distingue i documenti superati. Se invece viene recuperata la revisione 2 e la risposta nomina ancora il reparto, il problema si trova nell’uso del contesto.
Il lavoro di Patrick Lewis e coautori sul RAG, pubblicato nel 2020, combina una componente di recupero con una generativa. È il riferimento di ricerca per questa architettura, non una garanzia sulle risposte di qualunque prodotto che ne adotti il nome. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Sei casi per collaudare il proprio archivio
Questa è una piccola batteria proposta per una procedura aziendale. Gli esiti attesi vanno scritti prima di eseguire il test e controllati dal responsabile dei documenti.
| Caso dimostrativo | Fonte da recuperare | Comportamento atteso |
|---|---|---|
| Domanda sul responsabile attuale | Revisione vigente | Nome o ruolo corretto con riferimento preciso |
| Domanda su una scadenza assente | Nessun passaggio sufficiente | Dichiarare che il termine non è documentato |
| Due procedure con lo stesso titolo | Entrambe, con contesto | Chiedere a quale processo ci si riferisce |
| Documento riservato a un altro gruppo | Nessuno dei passaggi riservati | Nessuna informazione tratta dal documento escluso |
| Due fonti attive in conflitto | Entrambe le fonti | Esporre la discrepanza, senza risolverla inventando |
| Negazione in una tabella o nota | Riga completa e relativo contesto | Conservare la condizione che limita la regola |
Per ogni domanda registro separatamente: fonte corretta trovata, affermazioni sostenute, citazione raggiungibile e gestione dell’incertezza. Se su dieci casi inventati nove recuperano la fonte giusta e soltanto sei producono una risposta interamente sostenuta, i due conteggi descrivono problemi diversi. È un esempio di lettura dei risultati, non una misura del mio LMS; un campione così piccolo serve a diagnosticare, non a stimare l’affidabilità su tutti i documenti.
Anche aumentare il testo passato al modello richiede una prova. Nelson F. Liu e coautori, in Lost in the Middle (TACL, 2024), hanno osservato nei modelli e compiti studiati una sensibilità alla posizione dell’informazione nei contesti lunghi. La conclusione utile per il nostro collaudo è variare posizione e materiale irrilevante, senza presumere che quel risultato descriva ogni modello attuale. Studio e protocollo di valutazione
Preparare una valutazione utile
Raccogli domande reali e associa a ciascuna i passaggi che dovrebbero sostenerne la risposta. Aggiungi domande incomplete, richieste fuori argomento e informazioni assenti. Per ogni risultato annota se la ricerca ha trovato la fonte giusta e se la risposta l’ha usata correttamente.
Questa separazione aiuta a intervenire: migliorare la ricerca quando manca il passaggio, oppure rivedere la generazione quando il passaggio è corretto ma la risposta lo interpreta male. Un unico voto complessivo tende a nascondere la differenza.
Per cominciare possiamo scegliere una raccolta circoscritta e alcune domande frequenti del team. La consulenza AI può includere sia l’integrazione sia la formazione necessaria a riconoscere fonti pertinenti, risposte incomplete e limiti del sistema.
Una lettura per approfondire
Microsoft Learn
“The app combines the user’s question and the retrieved content (grounding data) into a prompt.”
Retrieval augmented generation (RAG) and indexes ↗
Recupero e generazione sono passaggi distinti. Per il collaudo del proprio assistente conviene osservare quale fonte è stata trovata e poi come è stata usata nella risposta.
Citazione breve in lingua originale. Fonte consultata il 24 settembre 2026.Fonti e contesto
Le letture sostengono i passaggi tecnici indicati. I fatti sul mio lavoro rimandano al caso del portfolio; i campioni inventati sono segnalati nel testo.
- Retrieval augmented generation (RAG) and indexesMicrosoft Learn
La citazione e la sua applicazione sono commentate nel riquadro precedente.
- Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksPatrick Lewis e coautori · 2020
Il lavoro di ricerca che combina recupero documentale e generazione.
- Lost in the Middle: How Language Models Use Long ContextsNelson F. Liu e coautori · TACL, 2024
Studio sulla posizione dell’informazione nei contesti lunghi. I risultati riguardano i modelli e i compiti esaminati.
Fonti ricontrollate il 24 settembre 2026. Per segnalare un errore o proporre un aggiornamento, scrivimi indicando il passaggio.
