Valuta output stocastici con metriche deterministiche.
DIBER confronta gli output IA con una ground truth strutturata e trasforma copertura, qualità, errori, stabilità, coerenza logica, metodologia ed esposizione del contesto in misure riproducibili e auditabili. Nessun LLM-as-a-judge.
Prompt Regression · Candidate
Model-A · prompt-v2 · synthetic demo
same model · same context · prompt changed · valori sintetici dimostrativi
Un solo score non spiega perché un sistema IA è migliorato.
E una valutazione affidata a un altro modello introduce un ulteriore livello di variabilità. DIBER separa i fenomeni e mantiene deterministico il calcolo delle metriche.
Copertura ≠ Qualità
Una risposta può toccare tutti i punti ma trattarli male, oppure essere corretta solo su una parte del problema.
Una run non misura la stabilità
Le configurazioni ripetute permettono di leggere media, dispersione, range e confidence interval invece di confondere un singolo campione con il comportamento della configurazione.
A/B test controllati
Il report distingue replication, confronto con una sola variabile modificata e test multidimensionali.
Coerenza relazionale
Una conclusione apparentemente corretta non basta se poggia su una premessa errata, omessa o allucinata.
Dal criterio umano al report auditabile.
DIBER non decide autonomamente cosa è vero. Riceve una ground truth e classificazioni esplicite, poi applica regole, pesi, relazioni e aggregazioni deterministiche.
Definisci la ground truth
Punti materiali, importanza, documenti sorgente e dipendenze semantiche.
Classifica ogni punto
Separa Coverage e Status: ciò che è stato affrontato da come è stato trattato.
Calcola e confronta
Metriche per run, repeated-run statistics, transizioni, methodology audit, exposure e matrici modello/prompt.
Architettura multi-asse
Non un voto unico: sei prospettive complementari sul comportamento del sistema.
1 · Coverage × Quality
Separa ciò che è stato affrontato da come è stato trattato; combina le dimensioni in usable ed effective information.
2 · Repeated-run statistics
Mean, min, max, range, variance, standard deviation e confidence interval.
3 · Relation consistency
Traccia relazioni come depends_on, supports e contradicts; il Core applica regole deterministiche alle relazioni supportate dalla logica corrente.
4 · A/B methodology
Rileva variabili mutate e distingue replication, strictly controlled e multidimensional comparison.
5 · Input exposure
Traccia i documenti realmente disponibili, i punti fuori contesto e l’assessment dell’esposizione.
6 · Model / Prompt Matrix & Behavioral Profile
Raggruppa risultati per modello/prompt e aggrega dimensioni comportamentali esplicite come tone adaptation e irony recognition quando fornite.
Dove DIBER diventa utile.
Gli stessi meccanismi possono essere applicati a scenari diversi purché esista una ground truth o un criterio strutturato.
Prompt regression
Confronta versioni del prompt mantenendo fissi modello e contesto.
Model comparison
Confronta modelli sullo stesso perimetro senza ridurre tutto a un unico score.
Repeated-run stability
Misura media e dispersione di una configurazione ripetuta.
RAG / context exposure
Distingue errori del modello da punti che non erano disponibili nel contesto effettivo.
CI/CD quality gates
Applica soglie riproducibili su metriche critiche prima di una release.
Audit manuale di una risposta
Con DIBERA Free un utente può definire i propri punti attesi e ottenere un report locale senza un secondo LLM.
Prima guarda il risultato. Poi, se vuoi, scendi fino al JSON.
La Demo completa usa scenari sintetici per mostrare KPI, confronto A/B, Coverage × Quality, error profile, repeated-run statistics, transizioni, relazioni, methodology audit, exposure, model/prompt matrix e behavioral profile.
Prompt v1 → Prompt v2
synthetic · prompt onlyTre modi per entrare in DIBER.
Scegli il livello di profondità che ti serve.
DIBERA Free
Audita una risposta reale in modalità guidata, tutto nel browser.
Dibera una risposta →Developer Hub
Playground, API, CLI, schema, formule, validation e report output.
Apri le docs →Non sei uno sviluppatore? “Dibera” una risposta IA.
Incolla domanda e risposta, definisci i punti che ti aspettavi, classificali con una guida in italiano e ottieni un report deterministico. Puoi salvare una bozza locale, importare/esportare l’audit e scaricare il report JSON. Nessun LLM judge.
Integra il Core senza trasformare la Home in una reference API.
Il Developer Hub contiene Core Tester, installazione, CLI/CI-CD, API, schema JSON, dizionario Coverage/Status, formule, configurazione, validation, aggregazioni e formato completo del report.
import { buildExperimentReport } from '@anonipro/diber-core'; const report = buildExperimentReport({ experiment, groundTruth, evaluations }); if (report.runs[0].metrics.gt_hallucination_rate > 0.02) { throw new Error('Quality gate failed'); }
Auditabile anche nel modo in cui calcola.
DIBER è presentato come progetto open source con licenza MIT. Il Developer Hub rende espliciti schemi, pesi, formule, denominatori, validation e struttura del report, così il comportamento del motore può essere ispezionato e riprodotto.
Deterministic core
Il punteggio deriva da input strutturati e regole esplicite, non da una seconda generazione.
Transparent schema
Ground truth, evaluations e report hanno campi documentati e ispezionabili.
Portable outputs
Il report JSON può essere salvato, confrontato e usato in pipeline o strumenti esterni.
Human-defined criteria
La qualità del risultato resta legata alla qualità della ground truth e delle classificazioni fornite.