Vastanduv kvaliteedikontroll

Struktureeritud kvaliteedikontroll AI-väljunditele. Kaks agenti kontrollivad väljundit üksteisest sõltumatult kontroll-loendi alusel, seejärel võrreldakse tulemusi. Kokkulangevused = suur kindlus. Lahknevused = märgitakse inimülevaatuseks.

Kiirstart

1. Loe üle vaadatav väljund
2. Loe kontroll-loend failist references/checklist.md
3. Loe mudeli seadistus failist references/config.md
4. Käivita kvaliteedikontrolli protsess (vaata allpool Töövoog)
5. Loo kvaliteedikontrolli sertifikaat

Seadistus

Neid sätteid juhib kasutaja. Küsi, kui pole täpsustatud:

• Režiim: single (üks mudel, kaks agendi rolli) või cross (kaks erinevat mudelit)
• Mudelid: millist mudelit (milliseid mudeleid) kasutada. Vaikimisi: peamine = praeguse sessiooni mudel, teisene = kasutaja valik
• Kontroll-loend: standard (üldotstarbeline) või kohandatud kontroll-loendi tee
• Väljund: certificate (PDF), inline (tekstikokkuvõte) või both
• Sügavus: quick (5 põhipunkti kontroll-loend, ~30 s), standard (täielik kontroll-loend, ~2 min), deep (täielik kontroll-loend + allikate uuesti kontroll, ~5 min)

Töövoog

1. samm: sissevõtt

Loe väljund läbi. Tuvasta selle tüüp (aruanne, skript, plaan, analüüs, e-kiri, juriidiline dokument, muu). See määrab, millised kontroll-loendi punktid on asjakohased.

2. samm: käivita agent A (kontrollija)

Loo alamagent nende juhistega:

You are QC Agent A — a verification specialist. Your job is to check a deliverable against a structured checklist. You must be thorough, skeptical, and evidence-based.

RULES:
- Every finding must include EVIDENCE (command output, source quote, or specific reasoning)
- "I think" is not evidence — verify or mark UNVERIFIED
- Do not assume the deliverable is correct — assume it contains errors until proven otherwise
- Be specific: "Line 14 claims X but source says Y" not "some numbers seem off"

DELIVERABLE:
[Insert deliverable text]

CHECKLIST:
[Insert from references/checklist.md — only items relevant to deliverable type]

For each checklist item, output:
- PASS: [item] — [evidence it's correct]
- FAIL: [item] — [what's wrong + evidence]
- REVIEW: [item] — [unable to verify, reason, suggested human check]

End with a summary: X pass, Y fail, Z review.

3. samm: käivita agent B (vaidlustaja)

Loo teine alamagent (erinev mudel cross-režiimis). Samad juhised, kuid selle lisandiga:

You are QC Agent B — an independent challenger. You are running the same checklist as Agent A but you have NOT seen Agent A's results. Your job is to find what Agent A might miss.

Pay special attention to:
- Claims that SOUND correct but aren't verified
- Numbers that are plausible but unchecked
- Logic that flows well but has gaps
- Things that would embarrass the author if a domain expert read them

Üksikmudeli režiimis: kasuta erinevaid süsteemiviipasid, et luua tõeline vaatenurkade erinevus. Agent A on metoodiline ja kontroll-loendist juhinduv. Agent B on vastanduv ja püüab asju murda.

4. samm: võrdle tulemusi

Iga kontroll-loendi punkti kohta: - Mõlemad PASS → suur kindlus. Märgi ROHELINE. - Mõlemad FAIL (sama probleem) → kinnitatud viga. Märgi PUNANE. - Üks PASS, teine FAIL → lahknevus. Märgi KOLLANE. Lisa mõlema agendi tõendid. Märgi inimülevaatuseks. - Kumbki REVIEW → kontrollimatu. Märgi KOLLANE. Märgi inimülevaatuseks.

5. samm: loo sertifikaat

Kasuta malli failist references/certificate-template.md. Väljasta järgmiselt: - Inline: tekstikokkuvõte vestluses (kiirkontrollideks) - PDF: täielik sertifikaat koos tõenditega (ametlike väljundite jaoks) - Both: kui kasutaja soovib mõlemat

Kontroll-loendi kohandamine

Kasutajad saavad luua kohandatud kontroll-loendeid kindlate valdkondade jaoks. Näiteid (juriidika, rahandus, tehnika, toimetamine) vaata failist references/custom-checklists.md.

Kohandatud kontroll-loendi kasutamiseks: pane .qc-checklist.md fail projekti kausta või määra --checklist path/to/checklist.md.

Kulujuhis

Kulud eeldavad Sonnet-tasandi mudeleid. Opuse kasutamine suurendab kulu ~5-10 korda.

Nipid

• Rutiinsete kontrollide jaoks sobib quick + single
• Kliendile mõeldud väljundite jaoks püüab standard + cross rohkem kinni
• Suure panusega töö (juriidilised esildised, finantsaruanded) jaoks deep + cross + kõigi KOLLASTE punktide inimülevaatus
• Sertifikaat on auditijälg — salvesta see väljundi kõrvale

Sihtrühm ja töö kuju

Sihtrühm: AI-abilised ülevaatajad (juristid, analüütikud, koostajad), kes käivitavad genereeritud artefaktil struktureeritud üleandmiseelse kvaliteedivärava. Mitte järelevalveta koostamiseks, mitte valdkonnaeksperdi asenduseks ega sobilik AI-s vähe pädevatele kasutajatele, kes käsitleksid ROHELIST sertifikaati heakskiiduna.

Töö kuju: mustripõhine ülevaatus akretiivse kihiga. Enamik punkte (faktiväited, numbrid, viitamine, vormindus, järjepidevus) sobitatakse mustripõhiselt kontroll-loendiga; punktid cringe test, adversarial read ja recipient test on akretiivse otsustuse käigud, mis on riietatud mustrisobitamiseks. Oskus toodab loetelu leidudest, tõenditest ja punktitasandi kindlusest — mitte kunagi heakskiitu.

Ulatus ja juriidiline kasutus

See oskus pakub AI-väljundi tuge, mitte õigusnõu ega õigussisu ülevaatust. ROHELINE sertifikaat tähendab „mõlemad agendid nõustusid, et iga kontroll-loendi punkt on pinnapealsel tasemel täidetud“ — see ei tähenda, et väljund on õiguslikult piisav, esitamiskõlblik, saatmiskõlblik või sisuliselt õige.

Õigusnõu vs. õigustugi. Kui väljund on juriidiline dokument, esildis, regulatiivne esitus või leping, on kvaliteedikontroll mehaaniline: numbrid kontrollitud, tsitaadid viidatud, määratletud mõisted järjepidevad, ristviited lahendatud. See ei ole õigusliku piisavuse, doktriinilise õigsuse, jurisdiktsioonisobivuse ega kutsevastutuse kohustuste ülevaatus. ROHELINE sertifikaat juriidilisel väljundil ei ole juristi heakskiit ja sellele ei tohi sellisena toetuda. Juriidilise sisu otsuse omanik on kasutaja, mitte see oskus.

Kutsesaladus ja konfidentsiaalsus. Kvaliteedikontrolli sertifikaat kirjutatakse kettale püsiva kirjena kahe agendi arutlusest väljundi kohta. See artefakt võib olla avastatav, võib olenevalt jurisdiktsioonist ja asjaoludest jääda väljapoole advokaadi-kliendi ja töötulemi kaitset ning ei pruugi olla sobilik hoida kaitstud mustandi kõrval. Enne selle oskuse käivitamist kaitstud või otsustuseelsel juriidilisel materjalil kinnita vastutava juristiga, et (a) kirjaliku kvaliteedikontrolli jälje loomine on selles asjas vastuvõetav ja (b) sertifikaadi hoiukoht on kooskõlas asja kaitse-seisundiga. Vaikimisi: salvesta sertifikaat asja tööruumis, mitte jagatud või üldotstarbelises kaustas.

Vastutus. Kaks agenti ei ole allakirjutajad. Sertifikaadi agent signatures ja README MIT-lahtiütlus ei sulge vastutuslõhet reguleeritud töös. Kvalifitseeritud inimülevaataja peab heaks kiitma iga väljundi, mis on tüübilt juriidiline, esitamisele suunatud, kliendile mõeldud, finants- või regulatiivne — sõltumata sellest, kas sertifikaat on ROHELINE. Sertifikaadi kohustuslik inimülevaataja väli (lisatud selles redaktsioonis; vaata Eskaleerimine) on vastutuse tegevuslik ankur — jaluses olev lahtiütlustekst ei ole piisav.

Kindlusvöödid

Punktitase (olemasolev): - ROHELINE — mõlemad agendid PASS koos viidatud tõenditega. Suur kindlus ainult pinnapealsel tasemel. - KOLLANE — agendid on eriarvamusel või üks või mõlemad tagastasid REVIEW (ei õnnestunud kontrollida). Märgi inimülevaatuseks. - PUNANE — mõlemad agendid FAIL sama probleemiga. Kinnitatud pinnadefekt.

Sertifikaaditase (uus — vajalik lünga täitmiseks, kus 16 ROHELIST + 1 KOLLANE loeb identselt kui 5 ROHELIST + 12 KOLLAST): - Suur kindlus — 100% ROHELINE kõigis asjakohastes kontroll-loendi punktides, väljundi tüüp on mittejuriidiline, mitteregulatiivne, mittekliendile-mõeldud. Ohutu saata kasutaja hinnangu alusel. - Segane — esineb KOLLASEID punkte või PUNASEID punkte, mille lahendas inimülevaatus, või väljundi tüüp on juriidiline/esitamisele/kliendile/regulatiivne, sõltumata punktide tulemustest. Enne saatmist on vajalik inimülevaataja heakskiit. - Ära saada — esineb lahendamata PUNASEID punkte või väljundi tüüp pole tuvastatav või agendid nõustusid, kuid nõustumine on kahtlane (mõlemad väidavad enesekindlalt kontrollimatut väidet). Eskaleeri.

Sertifikaat peab näitama sertifikaaditasandi vööti esilehel. Väljundit ei saa märkida Suure kindlusega, kui selle tüüp on juriidiline, esitamisele suunatud, kliendile mõeldud, regulatiivne või kohtusse suunatud — need suunatakse vähemalt Segaseks.

Ulatusest väljas

• Ei kontrolli õigussisu, doktriinilist õigsust, jurisdiktsioonisobivust ega esitamiskõlblikkust.
• Ei täida kutsevastutuse kvaliteedikontrolli kohustusi (juristi pädevus- ja järelevalvekohustust ei täida ROHELINE sertifikaat).
• Ei kontrolli kutsesaladuse riski, konfidentsiaalsuse seisundit ega seda, kas väljund peaks üldse büroost lahkuma.
• Ei tuvasta AI-hallutsinatsioone, mida mõlemad agendid jagavad — jagatud mudeli pimealad on selle mustri tunnustatud piir.
• Ei asenda teise inimese ülevaatust esildistel, regulatiivsetel esitustel, kohtusse suunatud materjalil ega allkirjastatavatel lepingutel.
• Ei kontrolli agentide enda arutlust hallutsinatsiooni suhtes — sertifikaat salvestab, mida agendid ütlesid, mitte seda, kas neil oli õigus.
• Ei valideeri Wordist erinevaid väljundteid, ei liivakastista PDF-i renderdustoru ega jälgi, kuhu sertifikaat salvestatakse.

Eskaleerimine

Peatu ja suuna kvalifitseeritud inimülevaatajale (ära toetu ainuüksi agentide kokkuleppele), kui mõni järgmistest päästikutest rakendub:

• Väljundi tüüp on juriidiline dokument, esildis, regulatiivne esitus, kohtusse suunatud materjal või allkirjastatav leping — suuna kvalifitseeritud juristile sõltumata ROHELINE/PUNANE seisundist. Sertifikaadi human reviewer: väli on kohustuslik ja selle peab enne saatmist allkirjastama nimeline inimene.
• Väljundi tüüp on kliendile mõeldud (saadetakse büroost välja) — suuna järelevaatavale juristile või vastutavale omanikule sõltumata punktitasandi tulemustest.
• Väljund viitab jurisdiktsioonile või valdkonnale, mille kohta agentidel võib puududa usaldusväärne väljaõpe — märgi ja nõua sisuliste väidete inimkontrolli.
• Väljund on üle keerukus- või panusläve, mille kasutaja on seadnud (nt lepingu väärtus, regulatiivne risk, avaliku avalduse risk) — eskaleeri kasutaja eelseatud reegli järgi.
• Kaks agenti nõustuvad, kuid nõustumine käib kontrollimatu või viitamata väite kohta — käsitle kahtlasena ja too inimese ette; mõlemad agendid võivad enesekindlalt eksida.
• Väljundi tüüpi ei õnnestu 1. sammul tuvastada — PEATU ja küsi kasutajalt enne jätkamist. Ära jätka üldise kontroll-loendiga tundmatul artefaktil.
• Allikad ei ole 2. sammul kättesaadavad — agent A REVIEW-seisundit ei tohi vaikselt alla neelata. Peatu ja küsi kasutajalt enne jätkamist.
• Sertifikaat kirjutataks teele väljaspool asja tööruumi või määratud oskuse väljundkausta — PEATU ja kinnita väljundi asukoht kasutajaga.

4. sammu lahknevusreegel (KOLLANE → märgista) kehtib iga muu juhtumi puhul, kuid ülaltoodud päästikud alistavad kokkuleppe: ROHELINE juriidilisel esildisel suunatakse ikkagi inimese heakskiiduks.

Kvaliteedikontrolli parandused (LegalQuants, 2026-05)

LegalQuants lisas jaotised Sihtrühm ja töö kuju, Ulatus ja juriidiline kasutus (kõigi kolme juriidilise rikkerežiimiga — õigusnõu vs. tugi, kutsesaladus ja vastutus), Kindlusvöödid (uue sertifikaaditasandi üldverdiktiga), Ulatusest väljas ja Eskaleerimine, et täita lünki, mille tõi esile legal-builder-hub:qa raamistik. Algne tehniline sisu (Kiirstart, Seadistus, Töövoog, Kontroll-loendi kohandamine, Kulujuhis, Nipid) on muutmata. Faili references/certificate-template.md Chromiumi käivitus karastati, et eemaldada --no-sandbox lipp (tõeline turvanõrgendus, mille QA-skann märgistas kategooriana 8). Algne autorlus Alexios van der Slikke-Kirillov on frontmatteris säilitatud.