FCA upozorňuje na autonomní agenty, lidský dohled a hlášení odvrácených incidentů. Článek vysvětluje také omezení finančních rad obecných chatbotů.
Britský finanční regulátor varuje instituce, že stále samostatnější AI může způsobit rozsáhlé výpadky, vystavit klienty kyberhrozbám a ztížit určení odpovědnosti. Chce hlášení závažných selhání i situací, kdy se škodě jen těsně zabránilo, dříve než přerostou ve větší problém.
AI se rychle stává běžnou součástí bankovnictví: zákaznických chatbotů, detekce podvodů i automatizovaných finančních rozhodnutí. Co se ale stane, když udělá drahou chybu, odhalí citlivá data nebo téměř způsobí katastrofu?
Právě na tyto scénáře chce britský Financial Conduct Authority, FCA, firmy připravit. Požaduje hlášení významných problémů s AI včetně těsně odvrácených incidentů.
Hlavní body
- FCA chce hlášení významných selhání AI a těsně odvrácených incidentů, nejen událostí se skutečnou škodou.
- Podle regulátora používá AI již 86 % finančních firem. Odkazuje přitom na připravovaný společný průzkum s Bank of England.
- Autonomní agenti mohou s přístupem k platbám, investicím a transakcím přinést nová kybernetická rizika.
- Firmy mají provádět zátěžové testy, zachovat lidský dohled a připravit náhradní postupy.
- Spotřebitelé stále častěji hledají finanční rady u obecných chatbotů, často bez znalosti omezené ochrany.
Selhání AI jako priorita dohledu
Jessica Rusu, ředitelka FCA pro data, informace a zpravodajství, upozornila, že rostoucí závislost finančního sektoru na AI přináší rizika, na něž musí reagovat ochranná opatření.
„Špatně řízená AI může poškozovat spotřebitele, vytvářet kybernetické slabiny a provozní selhání, potenciálně mnohem rychleji a ve větším měřítku,“ uvedla 19. října na Bloomberg UK Policy Series.
Firmy již musí hlásit velké provozní incidenty. Podle Rusu má povinnost zahrnovat i významná selhání AI a těsně odvrácené události.
Takovou událostí může být pokus AI o neoprávněnou transakci zablokovaný bezpečnostním opatřením nebo nebezpečně chybná finanční informace chatbota zachycená před doručením klientovi.
Ani jedno nemusí okamžitě způsobit škodu, ale obojí může odhalovat slabinu vedoucí později k vážnému problému.
Princip připomíná bezpečnostní hlášení v letectví: vyšetřování těsně odvrácených nehod pomáhá předcházet budoucím katastrofám.
Oznámení FCA vyjadřuje očekávání dohledového orgánu. Nejde o nový, dokončený režim hlášení specifický pro AI.
Když AI začne rozhodovat o penězích
FCA se zvlášť obává agentní AI: systémů schopných jednat za uživatele, nikoli pouze odpovídat.
Na rozdíl od běžných chatbotů mohou agenti porovnávat finanční produkty, zahajovat platby, spravovat investice a komunikovat s dalšími automatizovanými systémy.
Slibují větší pohodlí, přinášejí ale nové bezpečnostní výzvy.
Asistent s nepřesnou informací může klienta zmást. Autonomní agent jednající podle téže informace může provést nechtěnou transakci ještě před odhalením chyby.
Napadení agenti, zmanipulované instrukce, nadměrná oprávnění a slabé ověřování vytvářejí příležitosti pro kyberzločince.
Útočník může například přimět finančního asistenta ke změně platebních údajů nebo zveřejnění citlivých klientských informací.
Regulátor chce jasnější pravidla pro identitu agentů, delegované pravomoci, odpovědnost a vykonávání transakcí.
Instituce tedy musí určit nejen schopnosti AI, ale také odpovědnost při problému.
Banky už s AI chybují
Spolu s projevem FCA zveřejnil příklady dobré a špatné praxe pozorované při spolupráci s finančními firmami.
Některá zjištění naznačují, že zavádění AI předbíhá tvorbu ochranných mechanismů.
FCA identifikoval nástroje nasazené bez dostatečného testování, řízení zavedené až po nasazení i nedostatečné záznamy automatických rozhodnutí.
Varoval také před čistě formálním lidským dohledem.
V jednom příkladu kontroloři stále častěji přijímali doporučení AI bez smysluplného prověření, i při známkách chyb.
Mezi lepší postupy zařadil omezení chatbotů na schválené zdroje, auditní záznamy a možnost předat problém lidskému poradci.
Správně fungující testovaný systém se může chovat jinak v neobvyklé situaci, při změně modelu nebo velkém počtu souběžných transakcí.
Rusu doporučila zátěžové testy, porozumění závislostem na externích technologiích a náhradní postupy při selhání automatizace.
Spotřebitelé nemusejí chápat omezenou ochranu AI rad
Regulátor řeší také vyhledávání finančních rad u obecných AI chatbotů.
Podle citovaných údajů použili AI při investování čtyři z pěti méně zkušených investorů ve věku 18 až 40 let.
Jen 40 % spotřebitelů si však uvědomuje, že postup podle rady obecného AI nástroje neposkytuje stejné možnosti regulatorní nápravy jako rada autorizovaného finančního poradce.
FCA žádá poskytovatele AI o konzistentní a přiměřená upozornění vysvětlující tato omezení.
Spotřebitel má rozumět rozdílu mezi jednáním s autorizovanou finanční institucí a informací vygenerovanou modelem.
Jak chránit finance při využívání AI
AI může vysvětlovat pojmy, porovnávat terminologii a pomoci formulovat otázky. Nemá se však považovat za neomylnou finanční autoritu.
Rizika pomáhají omezit následující opatření:
- Nezávisle ověřujte doporučení. Investiční tvrzení, poplatky, rizika a podrobnosti produktů kontrolujte v oficiálních zdrojích.
- Ověřte protistranu. Ve Spojeném království slouží k ověření autorizace poskytovatele FCA Firm Checker.
- Opatrně s finančním přístupem agentů. Rozumějte tomu, co asistent vidí, které transakce může zahájit a zda potřebuje váš souhlas.
- Nesdílejte citlivá data. Do obecných chatbotů nevkládejte bankovní hesla, ověřovací kódy ani zbytečné osobní údaje.
- Sledujte podvody s napodobováním pomocí AI. Přesvědčivé zprávy, hlasy a weby mohou předstírat banku, investičního poradce i podporu.
- Zabezpečte účty a zařízení. Používejte vícefaktorové ověřování, aktualizace a důvěryhodnou ochranu proti phishingu, škodlivým odkazům a dalším hrozbám.
Při nečekané transakci či podezřelé radě automatizované bankovní služby s ní přestaňte komunikovat a oslovte instituci oficiální cestou.
Závěr
FCA nechce, aby banky AI opustily. Žádá je, aby uznaly rizika šířící se rychleji než běžná provozní selhání.
S přechodem od odpovědí k rozhodnutím a transakcím se následky chyb hůře omezují.
Hlášení odvrácených incidentů, skutečný lidský dohled a testování nečekaného chování pomáhají odhalit nebezpečné slabiny dříve, než za ně zaplatí klienti.
Související témata v původním blogu
Británie varuje před bezpečnostními riziky výkonných AI modelů ještě před zveřejněním.
AI agenti chtějí nakupovat za vás; banky varují před podvody a riziky soukromí.
Britské úsilí o bezpečnější internet.
