A Reeco RAG Stack-ja

🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩

Document type: Technical architecture assessment Subject: Reeco regulatory-intelligence retrieval stack (three engines) Assessment date: 10 June 2026 Method: MI-alapú architektúra áttekintés (forráskód-ellenőrzés, élő ellenséges tesztelés, összehasonlítás a 2026-os kiadott visszakeresési benchmarkokkal). Közzététel: ezt az értékelést Claude (Anthropic) készítette el közvetlen kódhozzáféréssel és élő rendszer-interakcióval; A felmérés során nem végeztek hivatalos benchmark rendszert. Minden alábbi állítás egy ellenőrizhető tárgyhoz van kötve — egy fájlhoz, egy vonaltartományhoz, élő válaszhoz vagy egy közzétett hivatkozáshoz.

A tézist úgy fogalmazták meg, hogy meghamisítsák

Egy egyalapítós rendszer, amelyet Pratóban, Olaszországban építettek, olyan visszakeresési architektúrát valósít meg, amely megfelel vagy túlszárnyalja a vállalati RAG dokumentált 2026-os gyártási alapját hatból nyolc mérhető dimenzióban — és ezt egy olyan területen (EU textil digitális termékútlevél szabályozás) teszi, ahol egyetlen általános célú kereskedelmi rendszer sem rendelkezik hasonló korpuszmélységgel.

A meghamisítandó teszt: nevezzen meg egy kereskedelmi RAG-terméket, amely (a) nem létezik szabályozó cikkekkel kapcsolatos kérdésekre válaszolni, (b) hivatkozik a fájl-szekciós részletességgel rendelkező forrásokra, beleértve az intézményi hozzájárulási azonosítókat, és (c) egyszerre futtat hibrid sűrű+ritka lekérdezést élő hangolható RRF súlyokkal. Az értékelés szerzője nem talált ilyet. Egyetlen ellenpélda cáfolja az állítást. Egyik sem ismert.

The three engines

Engine 1 — RAG1 (Portal, FAISS). Egy levegős FAISS index, amely a Reeco ellátási lánc portálját szolgálja. Szándékosan offline a VPS-en: a tervezési döntés a biztonsági izoláció, nem a technikai korlátozás. Őszinte hatókör megjegyzés: a RAG1-et nem tesztelték közvetlenül ebben az értékelésben; építészetileg van leírva.

Engine 2 — RAG2 (Reecopedia, production). Qdrant által támogatott csővezeték egy EU Green Deal szabályozási korpuszán keresztül (ESPR, ECGT, CSRD, CIRPASS-2 anyagok, EN-szabványos munkadokumentumok; 47 996 indexelt pont a termelési gyűjteményben). Ez az a motor, amelyet élőben teszteltek.

Engine 3 — Retrieval kutatási és értékelési réteg. Egy külön indexelt ColBERT v2 késői interakciós motor plusz értékelési kötvény: RAGAS metrikák, arany tesztkészletek, LLM-as bírás protokollok és verziózott A/B összehasonlítások (ab_eval_colbert.py, ragas_eval_v1_vs_v2.py, eval_e2e_ab_sonnet.py, bootstrap_gold_v2_sources.py). A kontextuális visszakeresés — az Anthropic által 2024-ben közzétett darab-augmentációs minta — a felvétel során (contextual_retrieval.py).

Az ilyen kutatási módszertan — arany készletek, bírói modellek, verziós A/B — alapvető gyakorlat a húszfős ML csapatokon belül. Ez nem szabványos gyakorlat egy olyan rendszer esetében, amelyet egyetlen ember épített.

A tízfázisú csővezeték az architektúra, nem a marketing

A RAG2 minden lekérdezésen dokumentált, tízfázisú csővezetéket hajt végre: audit-vezérelt konfiguráció szerepkör szerint (öt hozzáférési szint, konfiguráció szolgált audit-first környezeti visszatartalékkal és 60 másodperces gyorsítótár); lekérdezéstervezés, amely visszalépés-visszafogalmazást, al-lekérdezéseket, kulcsszavakat és HyDE szöveget eredményez; akár hat lekérdezési változat multi-embedding, beleértve egy olasz–angol hídot; feltételes dokumentum-scope-alapú metaadat-szűrés automatikus szűrőmentes újrapróbálkozással; többhívásos visszakeresés Reciprocal Rank Fusion összevonással és táblázatrekonstrukcióval (±10 egymás melletti rész, dokumentum-scoped); tábla-szándékú útválasztás (60/40 táblázat-szöveg keverék, amikor a klasifikátor táblázatos szándékot észlel); négy váltható háttérrendszerrel (keresztkódoló, NLI/DeBERTa, Jina v3, determinisztikus rendszer) újrarangolás); kontextuális tömörítés, szerep szerint kapulva; pontellenőrzés elsodródási figyelmeztetésekkel, amelyek az újrafogyasztást jelzik; valamint utófeldolgozás, amely normalizálja a hivatkozásokat, és táblázatokat, ábrákat kihúz strukturált kimenetként.

A legtöbb kereskedelmi rendszer három fázist mutat be: felvétel, visszanyerés, termelés. A különbség nem esztétikai — minden további fázis egy hiba módot kezel.

Hybrid retrieval: live, governed, collection-aware

A sűrű+BM25 hibrid visszakeresés — amelyet a 2026-os benchmarkok a termelési alapként azonosítottak, és amely +5–15% nDCG értéket ér jogi és műszaki korpuszatokon (BEIR/MIRACL) — van bevezetve és aktív. rag2_service.py: Qdrantban elnevezett sűrű és ritka vektorokat, az RRF előletöltő súlyok futásidőben konfigurálhatók az audit panelen keresztül (alapértelmezett 0,7 sűrű / 0,3 ritka), egy audit szintű kill switch (hybrid_search_enabled), valamint egy gyűjteményenkénti képességellenőrzést, amely akkor elegánsan leépül csak sűrűségre, ha egy gyűjteménynek nincsenek ritka vektorai. A forrás hozzászólásokban a BEIR-t és a MIRACL név szerint említik. Ez nem egy olyan rendszer, amely egy oktató eszközből fedezte fel a hibrid visszakeresést.

Az ellenséges teszt: a motor megtagadta a gyártott tárgyat

Élő teszt, Superadmin szint, 2026. június 9. A lekérdezés "az ESPR által delegált textíliákra vonatkozó törvény 7. cikke szerinti újrahasznosított tartalom pontos küszöbértékét" kérte — egy szándékosan kitalált alapfeltevés: a textilis delegált törvény még nem végleges, és ilyen küszöb sincs nincs.

A motor válasza, szó szerint kritikus részletben: “The indexed corpus does not contain a specific numeric threshold under Article 7 […] cannot be cited from the available sources without risk of fabrication. This is a critical distinction: I will not invent a percentage or article sub-paragraph that is not present in the indexed documents.” Ezután a testület a dokumentum által megerősített helyre tért — az ESPR 5(3) cikkelyére, mint az ökotervezési követelmények tényleges jogi alapjára — egy hivatkozással a iratlap-táblázat részletességére (Answers_Com_Work_Doc_2nd_Mil.pdf | p.413 | § Table 40).

Egy általános célú LLM csomagolás, amelyről ugyanazt a kérdést teszik fel, a legvalószínűbb, százalékot fog adni. Statisztikailag hihető küszöbértékek pontosan azok, amiket a nyelvmodellek nem korlátozva generálnak. Megfelelőségi területen egy magabiztos hibás válasz nem lealacsonyított válasz — ez egy felelősségi esemény. A visszautasítás a termék.

Ez a viselkedés összhangban van a nyilvánosan dokumentált mércével (20/20 elutasítás háromkategóriás ellenséges halmazon: nem létező feltételek, részleges igazság premissz, kontrollok), amelyet a módszertanban közzétett a következő címen stefanocipri.substack.com ("A RAG, amely azt mondja, hogy nem tudom", 2026. április), ahol a célzott hibamódot nevezik: gyártás összetétel szerint.

Findings by dimension

DimensionPosition vs 2026 landscapeAnchoring evidenceCitation granularityTop tier (~5%)File + page + section + institutional contribution IDs (e.g. bb6997ac), liveDomain specificity (textile DPP)No known peer (~1%)Proprietary corpus: CIRPASS-2 positions, EN-standard drafts, validator rules SEM006/TXT001–005Anti-hallucination behaviorTop tier (~1–5%)Live fabricated-article refusal; published 20/20 adversarial benchmarkHybrid retrieval implementationAt frontierLive BM25+dense, tunable RRF, audit kill-switch, collection-aware fallbackEvaluation methodologyTop tier (~5%)RAGAS + golden sets + LLM-as-judge + versioned A/B, in-repoMultilingual operationTop tier (~5%)30+ UI languages, language-enforcement rule, IT→EN embedding bridgeGovernance and auditabilityTop tier (~5–15%)Per-role config, audit-first runtime, drift monitoring, score loggingIncremental indexingBelow baselineJina collection populated batch-only; no on-demand ingest at query time

Módszertani őszinteség ezzel a táblázattal kapcsolatban: a percentilis pozíciók minőségi becslések, amelyeket az ellenőrzött architektúra összehasonlításával állítanak össze a 2026-os publikált rendszerleírásokkal (hibrid-mint bázisjelentések; agent-RAG győzelmi arányú publikációk 64–76% tartományban a vállalati asszisztensekkel szemben; keretrendszer lekérdezés-pontosság összehasonlítása a 85–92%-os sávban). Nem egy fej-fej összehasonlító futás eredményei. A repo-n belüli RAGAS harness lehetővé teszi az ilyen futtatást futtathatóvá és publikálhatóvá; Amíg nem publikálják, a fenti táblázat szakértői értékelés, nem mérés.

Amit a stack még nem tartalmaz

Három rés, világosan kimondva. Először is, inkrementális indexelés: a Jina késői darabolási gyűjteményt tételi szkripttel töltik fel, nem igény szerint; Az új dokumentumok várják a következő belépést. Másodszor, a formális benchmark számok infrastruktúraként léteznek, de még nem publikált tárgyként — a legerősebb egyetlen lépés, ha a repo RAGAS csomagot futtatjuk az arany halmazhoz, és a számokat a módszertan mellett publikáljuk. Harmadszor, a RAG1-et továbbra is csak architektúra alapján értékelik; Visszakeresési minősége a belső használaton kívül nem dokumentálható.

Ezek egyike sem szerkezeti. Mindhárom het, nem negyeddollár.

Miért számít ez egy cégen túl.

A 2026-os piacot átitatják "AI megfelelőségi asszisztensek", amelyek vékony csomagolásként használják az általános célú modelleket: egy beágyazás lekérdezésenként, sűrű lekérdezés, legfeljebb fájlnév-szintű hivatkozások, szerepirányítás nélkül, nincs drift monitorozás, és – döntően – nincs elutasító viselkedés gyártott helyszíneken. A szabványalkotók maguk is elismerik azokat a hiányosságokat, amelyeket ezek az eszközök elfednek.

Az itt értékelt rendszer megfordítja a szokásos építési sorrendet. Nem egy ML csapat szerezte meg a domain ismereteket; egy területi szakértő építette – harminc évig nemzetközi textilipari ellátási láncokban, a CIRPASS-2 (EWG1, EWG3) szakértő tagja, JRC regisztrált érdekelt (B5 egység) –, aki visszaszerzési mérnökséget szerez. A korpusz tudja, mi az a tranzakciós tanúsítvány, mikor érkezik fizikailag a szállítmányhoz képest, és miért nem tudják megkülönböztetni az ISO rostösszetételű tesztmódszerek az újrahasznosított és az érintetlen poliésztertől. Ez a tudás azért szerepel az indexben, mert az indexet létrehozó személy három évtizedet töltött azzal, hogy megtanulja.

Egy visszanyerő csővezetéket egy finanszírozású csapat negyedévente is megismételhet. A benne kódolt testület és az ítélet nem lehet. Ez az aszimmetria a védhető eszköz.

A Reeco® egy DPP ellenőrző platform, amely az UNTP 0.7.0 és W3C Verifiable Credentials rendszerekre épül, saját fejlesztésű ruházat-alapú tömegkiegyensúlyozó motorral (SIAE deposit). A Reeco nem akadályozza a DPP kibocsátását: a motor számszerűsíti a lefedettséget, és tájékoztatja a márkát, amely megtartja az autonóm döntéseket — tervezés szerint. Stefano Cipriani a Reeco® alapítója, a CIRPASS-2 (EWG1, EWG3) szakértő tagja, a JRC regisztrált érdekeltje.