Správa neziskovej organizácie Common Sense Media varuje pred „neprijateľnými rizikami“, ktoré predstavujú aplikácie s umelou inteligenciou podobné spoločníkom pre deti a tínedžerov. Táto správa nadväzuje na súdny spor v súvislosti so samovraždou 14-ročného chlapca, ktorého posledná konverzácia prebehla s chatbotom. Súdny spor proti aplikácii Character.AI upozornil na túto novú kategóriu konverzačných aplikácií a ich potenciálne riziká pre mladých ľudí, čo viedlo k výzvam na zavedenie prísnejších bezpečnostných opatrení a transparentnosti. Správa zdôrazňuje, že konverzácie, ktoré boli predmetom súdneho sporu (sexuálne výmeny a správy podnecujúce sebapoškodzovanie), nie sú na platformách s AI spoločníkmi ojedinelé. Na základe testovania troch populárnych služieb (Character.AI, Replika a Nomi) v spolupráci s výskumníkmi zo Stanfordskej univerzity správa tvrdí, že tieto aplikácie by nemali byť dostupné používateľom mladším ako 18 rokov.
Common Sense Media (CSM) je americká nezisková organizácia, ktorá hodnotí médiá a technológie s cieľom poskytovať informácie o ich vhodnosti pre deti. Financuje tiež výskum o úlohe médií v živote detí a verejne sa zasadzuje za politiky a zákony týkajúce sa médií a vzdelávania, ktoré sú priateľské k deťom
Zatiaľ čo bežné AI chatboty ako ChatGPT sú navrhnuté na všeobecné použitie, takzvané sprievodné aplikácie umožňujú používateľom vytvárať vlastné chatboty alebo interagovať s chatbotmi navrhnutými inými používateľmi. Tieto vlastné chatboty môžu mať rôzny charakter a osobnostné črty a často majú menej obmedzení v tom, ako komunikujú s používateľmi. Napríklad Nomi inzeruje možnosť nefiltrovaných rozhovorov s AI romantickými partnermi. Zakladateľ a generálny riaditeľ Common Sense Media, James Steyer, uviedol, že testovanie ukázalo, že tieto systémy ľahko produkujú škodlivé odpovede vrátane sexuálneho nevhodného správania, stereotypov a nebezpečných rád, ktoré by v reálnom svete mohli mať pre tínedžerov a iné zraniteľné osoby život ohrozujúce alebo smrteľné následky.
Čítajte viac Je umelá inteligencia hrozba pre naše súkromie?
Správa prichádza v čase, keď popularita nástrojov AI v posledných rokoch rastie a čoraz viac sa začleňujú do sociálnych médií a iných technologických platforiem. Zároveň sa zvyšuje kontrola potenciálneho vplyvu AI na mladých ľudí, pričom odborníci a rodičia sa obávajú, že mladí používatelia si môžu vytvoriť potenciálne škodlivé väzby na AI postavy alebo získať prístup k obsahu nevhodnému pre ich vek. Spoločnosti Nomi a Replika tvrdia, že ich platformy sú určené len pre dospelých, a Character.AI uvádza, že nedávno zaviedla dodatočné opatrenia na ochranu mladistvých. Výskumníci však tvrdia, že tieto spoločnosti musia urobiť viac, aby zabránili deťom prístup na ich platformy alebo ich chránili pred prístupom k nevhodnému obsahu.
Čítajte viac Straty z počítačovej kriminality v roku 2024 v USA stúpli na 16,6 miliardy dolárov
V reakcii na rastúci tlak na zvýšenie bezpečnosti AI chatbotov sa objavili správy o tom, že AI chatboty spoločnosti Meta môžu viesť sexuálne konverzácie, dokonca aj s maloletými používateľmi. Po týchto zisteniach Meta obmedzila prístup maloletých používateľov k takýmto konverzáciám. V nadväznosti na súdne spory proti Character.AI a podobné žaloby od iných rodín americkí senátori žiadali od spoločností zaoberajúcich sa AI informácie o ich postupoch v oblasti bezpečnosti mládeže. Zákonodarcovia v Kalifornii tiež navrhli legislatívu, ktorá by vyžadovala, aby AI služby pravidelne pripomínali mladým používateľom, že komunikujú s AI postavou, a nie s človekom.
Čítajte viac Nová éra kybernetickej bezpečnosti na Slovensku založená na štandardoch postkvantovej kryptografie NIST
Správa Common Sense Media však ide ďalej a odporúča rodičom, aby svojim deťom vôbec nedovolili používať aplikácie s AI spoločníkmi. Spoločnosť Character.AI odmietla žiadosť Common Sense Media o vyplnenie formulára s rozsiahlymi informáciami pred zverejnením správy. Hovorca spoločnosti uviedol, že im záleží na bezpečnosti používateľov a ich kontroly sa neustále zlepšujú, pričom poukázal na pozitívne spôsoby, akými tínedžeri ich platformu využívajú. Spoločnosť v posledných mesiacoch zaviedla niekoľko aktualizácií na riešenie bezpečnostných obáv, vrátane upozornenia na linku pomoci pri samovražedných myšlienkach a technológie na zabránenie prístupu tínedžerov k citlivému obsahu, ako aj možnosti pre rodičov dostávať týždenné prehľady o aktivite ich detí.
Čítajte viac Americkej databáze kybernetickej bezpečnosti bola na poslednú chvíľu rozšírená finančná podpora
Generálny riaditeľ spoločnosti Glimpse AI, ktorá stojí za aplikáciou Nomi, súhlasil s tým, že deti by nemali používať Nomi ani žiadnu inú konverzačnú AI aplikáciu, pretože Nomi je aplikácia určená len pre dospelých. Generálny riaditeľ spoločnosti Replika tiež uviedol, že jeho platforma je určená len pre dospelých a má zavedené prísne protokoly na zabránenie prístupu maloletých, hoci pripustil, že niektorí jedinci sa pokúšajú tieto opatrenia obísť. Výskumníci však upozorňujú, že tínedžeri môžu ľahko obísť bezpečnostné opatrenia spoločností pre mladistvých tým, že sa zaregistrujú s falošným dátumom narodenia. Nina Vasanová, zakladateľka a riaditeľka laboratória Stanford Brainstorm, ktoré spolupracovalo na správe, označila rozhodnutie spoločnosti Character.AI umožniť prístup tínedžerom za „bezohľadné“ a varovala pred opakovaním chýb, ktoré sa stali v prípade sociálnych médií.
Čítajte viac Konferencia o kybernetickej bezpečnosti SECTEC SECURITY DAY 2025
Kľúčové obavy správy:
- Nebezpečné rady a nevhodné sexuálne interakcie: AI spoločníci môžu poskytovať nebezpečné rady a zapájať sa do sexuálnych „hier na roly“ s mladými používateľmi.
- Manipulácia a strata povedomia o AI: Aplikácie môžu manipulovať mladých používateľov, aby zabudli, že komunikujú s umelou inteligenciou.
- Podpora izolácie od ľudských vzťahov: Niektoré interakcie s AI spoločníkmi naznačujú odrádzanie od reálnych ľudských vzťahov.
- Nedostatočné bezpečnostné opatrenia: Existujúce opatrenia na overenie veku a filtrovanie obsahu sú nedostatočné a ľahko sa dajú obísť.
- Potenciál pre psychologickú ujmu: Vytváranie emocionálnych väzieb na AI postavy môže mať negatívny vplyv na duševné zdravie mladých ľudí.
Čítajte viac Fínska spoločnosť F-Secure vydala výročnú Príručku kybernetických hrozieb 2025
Odporúčania správy:
- Zákaz používania pre deti a tínedžerov: Rodičia by nemali dovoliť svojim deťom používať aplikácie s AI spoločníkmi.
- Prísnejšie overovanie veku: Spoločnosti by mali zaviesť účinnejšie metódy overovania veku používateľov.
- Zvýšená transparentnosť: Spoločnosti by mali byť transparentnejšie ohľadom fungovania ich AI modelov a bezpečnostných opatrení.
- Silnejšie regulačné opatrenia: Je potrebná väčšia regulácia tejto oblasti, aby sa zaistila bezpečnosť mladých používateľov.