Jev v agentoch a vývojových nástrojoch

Návrh architektúry

Oddelený adaptér má dostať stručný stav a otázky. Výsledok normalizuje do internej schémy. Nasleduje kontrola pravidiel; až potom prípadná akcia. Rovnaký návrh môže neskôr porovnať viac poskytovateľov bez zmeny obchodnej logiky.

Vhodná prvá rola

Začnite pozorovacím režimom: model len označí operáciu ako súvisiacu, nejasnú alebo rizikovú. Operátor uvidí odporúčanie, ale nič sa samo nevykoná. Tak získate vzorku nepravdivých poplachov aj prehliadnutých rizík.

Pevné pravidlá nad modelom

Odporúčame neobchádzať ľudské schválenie presnej verzie zmeny, nemeniť rozsah oprávnení podľa skóre a držať deštruktívne príkazy za nezávislou kontrolou. Chyba siete nesmie znamenať automatické povolenie.

Testovanie adaptéra

Jednotkové testy majú pokryť všetky tri typy odpovedí, neplatnú schému, prázdnu odpoveď, timeout, limit poskytovateľa a neznámu kategóriu. Integračné testy oddeľte od lacných lokálnych testov. Platené volania majú mať výslovný rozpočet.

Výrobca opisuje adversariálny vstup ako slabinu modelu. S07 Preto neprezentujeme klasifikátor ako samostatnú obranu pred prompt injection. Je to len ďalší signál medzi viacerými kontrolami.

Čo zatiaľ na JEV.sk nesľubujeme

Nepredávame auditovaný bezpečnostný produkt. Neuvádzame zaručenú úspešnosť ochrany ani nezávislú certifikáciu. Tento obsah je návrh bezpečného inžinierskeho postupu na vlastné overenie.