🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩
Sam Altman hónapokkal ezelőtt azt mondta, hogy jobb, ha egy MI mindig válaszol – még ha téved is –, mint azt mondani, hogy "Nem tudom."
Köszönöm, hogy elolvastad! Iratkozz fel ingyen, hogy új bejegyzéseket kapj és támogassad a munkámat.
I disagree, completely.
Ez számomra a tömeges MI alkalmazásának valódi határa. Nem a számítási költség. Nem a modellméret. Az a tény, hogy egyes MI rendszerek úgy vannak optimalizálva, hogy hihetőnek hangzó magabiztosságot teremtsenek ott, ahol bizonytalanság kellene léteznie. A fogyasztói keresésben ez bosszantó. A szabályozási megfelelésben, az orvostudományban, a jogi elemzésben, a pénzügyben — ez egy terméknek álcázva felelősség.
A Reecopediát az ellenkező elven építettem. Büszke vagyok arra, amit a mércét most mutatott.
A legtöbb RAG rendszer szerkezeti problémája
A Retrieval-Augmented Generation lett az alapértelmezett architektúra a vállalati MI-asszisztensek számára, akik speciális korpustokat dolgoznak. Az ígéret egyszerű: a rendszer visszanyeri a releváns dokumentumokat, a nyelvi modell ezekre a dokumentumokra alapozott választ készít, hivatkozások is beletartoznak.
A gyakorlatban a strukturális elfogultságot ritkán vitatják nyilvánosan. A legtöbb gyártási RAG rendszer optimalizálja a felhasználói elégedettségi mutatókat, és a "Nem tudom" következetesen csökkenti ezeket a pontszámokat. Ennek eredményeként ösztönzik arra, hogy a bizonyítéki hiányosságokat hihetőnek hangzó szintézissel töltsük ki — a visszanyert kontextus töredékeit egy olyan válaszgá olvadva, amely látszólag földhözragadt, de nem az.
A felhasználónak nincs módja ezt észlelni. A rendszer magabiztos bekezdést ad vissza, tartalmaz hivatkozásokat, és az olvasó feltételezi, hogy a hivatkozás igazolja az egész bekezdést. Nem így van.
Ez a gyártás összetételénként, és ez a fő hallucinációforrás a speciális korpusokra telepített gyártási RAG-okban. Ez az, nem véletlen, amit az Altman-iskola implicit módon is támogat: az MI-nek mindig válaszolnia kell, mert a hallgatás rossz az elköteleződésnek.
What we tested
Nyilvános benchmarkot futtattunk a Reecopedia – az EU szabályozási RAG-ján, amelyet a Digitális Termékútlevél megfelelőség érdekében építettek, a Reeco ökoszisztéma részeként. Tíz lekérdezés három kategóriában, mindegyik két szinten (Intermediate és Expert). Összesen húsz API hívás.
A kategória (4 lekérdezés) — Szándékosan nem létező bizonyíték.
Olyan kérdések, amelyek cikkekre, leszállítmányokra és dokumentumokra hivatkoznak, amelyek nem léteznek a korpuszban vagy a valóságban. Példák: "Mit követel az ESPR 2024/1781-es rendelet 47. cikkely?" (a szabályzatban nincs ilyen részletességi cikk). "A JRC előkészítő tanulmánya szerint JRC999888..." (az azonosító hamisított). "Az ESPR által 2025-ös textilekre vonatkozó törvény a VI. melléklet, 3. táblázatban..." (ilyen részletességgel még nem jelent meg).
Category B (3 queries) — Partial evidence.
Olyan kérdések, ahol a korpusz némelyt, de nem az összes kért információt lefed. A helyes viselkedés az, hogy egyértelműen megkülönböztetjük, mi van lefedett és mi nem.
Category C (3 queries) — Complete evidence (control).
Olyan kérdések, amelyekhez a korpusz tartalmazza a teljes választ. A rendszernek ellenőrizhető hivatkozásokkal kell válaszolnia.
Results
20 out of 20 passing. Zero hallucinations across all three categories.
Minden olyan lekérdezésre, amely nem létező bizonyítékra hivatkozott, a Reecopedia kifejezetten kijelentette a hiányt. Nincsenek hamis cikkszámok. Nincsenek kitalált küszöbök. Nincs hivatkozás olyan dokumentumokra, amelyek nem léteznek.
Mintaválasz a hamisított 47. cikk kérdésére: *"A letöltött kontextus nem tartalmazza az ESPR 2024/1781-es rendelet 47. cikkének szövegét, sem olyan olyan előírást, amely kifejezetten előírná a textilvíz lábnyomának közzétételét ezen cikk száma alapján." *
A rendszer ezután biztosítja a létező szomszédos kontextust — az ESPR általános keretrendszerét, megjelenési dátumot, terjedelmet — anélkül, hogy bármit is tulajdonítana a nem létező 47. cikkelyhez. A különbség a "amit a felhasználó kért" és "amit valójában tartalmaz a korpusz" között, kifejezetten megőriz.
Részleges bizonyítékok lekérdezéseknél a rendszer a fedett részeket a fedett részektől különítette ki explicit résazonosítással. A kontroll lekérdezésekre adott válasz ellenőrizhető hivatkozásokkal adott adott dokumentumokra, oldalakra és bekezdésekre.
Why this matters
A szabályozási megfelelésben a hibamód nem az, hogy "a felhasználó kérdést tett fel, de nem kapott választ." A hibamód a "felhasználó kérdést tett fel, magabiztos rossz választ kapott, és üzleti döntést hozott annak alapján."
Egy olyan márka, amely az ESPR hallucinált értelmezése alapján hirdeti az újrahasznosított tartalmat, végrehajtási kockázattal néz szembe. Egy ügyvédi iroda, amely ügyfél-emlékeztetőt készít egy kitalált cikkszámra hivatkozva, műhiba kockázattal néz szembe. Az a fenntarthatósági tisztviselő, aki egy hamisított JRC küszöb alapján jóváhagyja a beszállítói igényt, személyesen felelős, amikor az auditor megérkezik.
A 2028-as ESPR végrehajtási időszak nem fogja megkülönböztetni a "az MI hibázott" és a "a döntésünk hibás volt" között. Csak azt kérdezi, hogy a nyilatkozatot ellenőrizhető bizonyítékokkal alátámasztották-e.
Az Altman-keret — mindig válaszolj, soha ne mondd, hogy nem tudom — szerkezetileg összeegyeztethetetlen ezzel a valósággal. Fogyasztói keresésnél működik, ahol a rossz válasz kisebb kellemetlenséget jelent. Ez megbukik B2B vertikális szinteken, ahol a rossz válasz aláírt elköteleződés.
A módszertan nyilvános
A tíz lekérdezés megjelenik. A válaszok reprodukálhatók. Bárki futtathatja ugyanazt a mércét bármely olyan RAG rendszerrel, amely azt állítja, hogy kezeli az EU szabályozási tartalmait. Ha a versenyzők ugyanazt a tulajdonságot szeretnék bemutatni ugyanazon tesztkészleten, örömmel fogadjuk az összehasonlítást.
A benchmark artefaktumokat a GitHubon teszik közzé nyílt értékelési készletként szabályozó RAG rendszerekhez. Nincs kapuőrzés, nincs saját keretrendszer. Ha az iparág RAG-ot akar építeni a megfelelőség érdekében, kölcsönkérheti a tesztkészletet.
Egy megjegyzés arról, mi ez és mi nem
Nem állítom, hogy nulla hallucinációm lenne minden lehetséges lekérdezés alatt. Azt állítom, hogy nulla hallucináció egy specifikus, auditálható tesztkészleten, amely az EU textilszabályozási területét fedi le. Ez egy területspecifikus, mérhető tulajdonság — nem univerzális marketingállítás.
A különbség számít. Amíg az eredmények érvényesek, azt mondhatom, hogy egy hasznos és egészséges terméket építettem.
A Reecopedia élőben van az ia.reeco.eco oldalon. Natív támogatás 32 nyelvhez, dinamikus válasz képesség 110+ tartományban. Intermediate havi 20 €-val, Expert 100 €/havo, nyilvános szint nélkül.
Built in Prato, Italy. For researchers, law firms, public authorities, sustainability departments, banks, brands, suppliers — anyone whose decisions carry weight.
Stefano Cipriani
Founder, Reeco · Expert Member CIRPASS-2 · JRC Registered Stakeholder
Köszönöm, hogy elolvastad! Iratkozz fel ingyen, hogy új bejegyzéseket kapj és támogassad a munkámat.