Anetta Jedličková: AI vyžaduje neustálý dohled a odpovědnou kontrolu ****************************************************************************************** * ****************************************************************************************** „Umělá inteligence je nástroj, který má nejen potenciál přinášet inovace, ale dokáže také principy otevřené demokracie, jako jsou transparentnost, participace veřejnosti a dialog o říká doktorka Anetta Jedličková. Spolu s výzkumným týmem z FHS je součástí interdiscipliná projektu CZDEMOS4AI: Prospěšný multiagentní AI avatar v malé demokratické společnosti, jen financování v rámci grantového programu SIGMA TA ČR. Řešitelský tým zvolil čtyři klíčové o transformující se demokratické společnosti – bezpečnostně-mediální, eticko-právní, psychol a historicko-edukační – jež jsou důležité pro rozvoj všech společenských, humanitních i um oborů. S doktorkou Jedličkovou jsme probrali vize projektu, jeho budoucí výstupy a zmíněné s efektivnějším využitím AI v demokratické společnosti. Je výzkum „šitý na míru“ pro grantovou soutěž, nebo byl již dlouhodobě připravovaný? Projekt je výsledkem kombinace několika faktorů. Již hodně dlouhou dobu jsem přemýšlela na vytvoření strategie pro posuzování etických aspektů systémů umělé inteligence. Svůj záměr s kolegy z rozličných institucí a odborných oblastí a snažila jsem se zkušenosti expertů p mi bylo jasné, že nemohu postavit tak rozsáhlý projekt sama. Když jsem se dozvěděla o vyhl v programu SIGMA Technologické agentury ČR [ URL "https://www.tacr.cz/soutez/program-sigma soutez-dilci-cil-5-dlouhodobe-zamery-s-prvky-shuv/"] , všechno do sebe perfektně zaklaplo. představovala ideální cestu jak poposunout svou původní myšlenku na další úroveň a rozvino praktickému využití. A jak pak projekt vznikal? Projekt se vyvíjel postupně. Nejdříve jsme se zúčastnili předvýběrového řízení v rámci Uni v němž tři fakulty podaly vlastní návrh projektu nezávisle na ostatních. V této fázi jsme vůbec nevěděli. Za každou instituci, tedy i za naši univerzitu, mohl být v rámci každého v soutěže programu SIGMA podán pouze jeden návrh. Odbor pro vědu a výzkum rektorátu UK však že všechny návrhy jsou zajímavé, ale potřebují ještě doladit a hlavně propojit. Tím začala mezi fakultami. Posléze jsme do projektu zapojili další instituce, které mohly přispět svý v oblasti AI. Idea multiagentního AI avatara tedy vznikla v pozdějších fázích příprav, běh projekt postupně promýšlen a dotvářen. Myslím si, že kdyby kterákoli z fakult rozvíjela je původní návrh, naše šance na úspěch v soutěži by byly výrazně menší. Pomohlo nám, že za Un mohl do soutěže programu SIGMA postoupit pouze jeden návrh, a právě díky propojení a sjedn nápadů jsme dokázali vytvořit komplexní a silný projekt s reálnou šancí na úspěch. Bylo výběrové řízení náročné? Co se týče přípravné fáze, v našem případě byla náročnější zejména z hlediska koordinace, jedná o velký projekt složený z odborníků různých profesí. Na tomto místě bych chtěla vyzd kolegů z Fakulty sociálních věd UK a ocenit jejich koordinační činnost. Vyžadovalo to opra zkoordinovat specifické myšlenky, představy i plány různých členů osmičlenného konsorcia, projektový tým, což se povedlo právě díky FSV. Příprava návrhu tedy byla nejnáročnější z p koordinace, ale každý z nás už dlouho předtím měl jasnou vizi, jakým způsobem chce do proj díky tomu jsme společně našli cestu, jak projekt efektivně postavit. Které instituce jsou součástí týmu? Řešitelský tým projektu tvoří osmičlenné konsorcium, které zahrnuje univerzity, výzkumné i technologické společnosti. Každý člen má přesně určené odborné začlenění, své kompetence a Hlavním řešitelským pracovištěm je Univerzita Karlova, a to prostřednictvím pěti fakult. F věd, která celý projekt koordinuje, reprezentuje jeho sociálně-vědní sekci, a je tak odpov historicko-edukační a bezpečnostně-mediální AI asistenty avatara. Fakulta humanitních stud reprezentuje humanitně-vědní sekci a zabývá se etickými aspekty při vývoji všech čtyř AI a Za vývoj poradenského AI asistenta v oblasti duševního zdraví, tedy za psychologickou a ad perspektivu projektu, je odpovědná 1. lékařská fakulta. Zapojila se také Matematicko-fyzik konkrétně Ústav formální a aplikované lingvistiky, který garantuje výzkum, vývoj a správu a hardwarových zdrojů, a Filozofická fakulta, která spolupracuje na vývoji historicko-eduk asistenta. Mezi další členy konsorcia patří Právnická fakulta Masarykovy univerzity a Ústa práva AV ČR, tedy instituce, které tvoří právní sekci týmu a jsou odpovědné za vývoj etick asistenta. Součástí týmu jsou také partneři z komerční oblasti. Jedná se o firmy zaměřujíc produktů a poskytování služeb v oblasti umělé inteligence. Velké podniky jsou v týmu zasto IPSOS [ URL "https://www.ipsos.com/cs-cz"] , která garantuje nastavení metodologie výzkumn dat a interpretaci kvantitativních výzkumů, jež povedou k designu multiagentního AI avatar podniky zastupují společnosti MAMA AI [ URL "https://themama.ai/"] Coolma a PHYSTER TECHNO "https://www.physter.com/"] . Tito partneři jsou odpovědni za bezprostřední návrhy a vývoj přípravu datových korpusů, tréninkových modelů, přenos dat, vývoj neuronových sítí pro syn synchronizaci řečové a vizuální modality apod. Všichni AI asistenti multiagentního avatara tedy vzniknou ve spolupráci technického sektor zajišťující danou oblast? Přesně tak. Například mediální sekci tvoří Česká tisková kancelář, která poskytne datové z odpovědná za popularizaci a medializaci projektu. Další výzkumnou organizací je spolek Prg "https://prg.ai/"] , který zajišťuje komunikaci s veřejnou správou a je klíčový pro vytvoř propojení na aplikační sféru a pro přenos výstupů projektu do praxe. Každý z nás má svou r víme, co je potřeba udělat, a už jsme se do toho také aktivně pustili. Jak byste shrnula roli týmu FHS v projektu? Etická část výzkumného projektu zastřešovaná týmem FHS se vyznačuje výrazným interdiscipli Vzájemná provázanost a důraz na etické aspekty při vývoji multiagentního AI systému ve vše projektu představují unikátní koncept, který umožní využít poznatky z technologického vývo dopadů umělé inteligence pro vytvoření obecných opatření, postupů, metodik a doporučení. N dohlížet, aby všechny čtyři AI moduly multiagentního AI avatara byly navrženy, vyvíjeny a implementovány v souladu s etickými standardy a požadavky. Tento přístup je nezbytný pro v umělé inteligence a její přijetí ve společnosti. Důraz na dodržování právních a etických s patrný téměř ve všech institucích a je také předmětem legislativní regulace. Příkladem je [ URL "https://eur-lex.europa.eu/legal-content/eng/TXT/PDF/?uri=OJ:L_202401689"] , schvále Evropské unie, které se zaměřuje na posuzování a řízení rizik a odpovědné využití AI techn celého vývoje multiagentního systému propojených pokročilých odborných AI asistentů bude n kontinuálně sledovat, pravidelně analyzovat a vyhodnocovat všechny parametry, které mají p posuzované etické aspekty. Na spolupráci se těším, protože se oblasti etiky AI věnuji posledních několik let a nyní m podílet se na procesu přímo od vývojové fáze, nikoli pouze jako posuzovatel hotového systé zapojím do projektu jako interní poradkyně etiky AI a také mě těší, že to bude „náš“ avata týmem z FHS UK. Máte již představu, jak bude AI avatar fungovat? AI avatar a jeho konverzační asistenti se budou určitě lišit od současných chatbotů, jež j primárně textové interakce, generování textů a poskytování inteligentních odpovědí. Náš av multiagentním systémem bude zahrnovat čtyři tematické AI asistenty podle zmíněných společe a bude založen spíše na interaktivním konverzačním podkladu. Každý AI asistent bude navrže reflektoval specifické potřeby dané oblasti a poskytoval uživatelům relevantní podporu. Pů systém, který integruje znalosti z různých oborů a umožní dialog o hodnotách a rozhodnutíc naši společnost, a bude tak přispívat ke zkvalitnění demokratických procesů ve společnosti její odolnosti. Dokázala byste přiblížit každého ze čtyř AI asistentů a pro koho budou určeni? Obecně plánujeme širokospektré využití, ale pojďme se na ně podívat jednotlivě. Bezpečnost AI asistent se zaměří na podporu v boji proti dezinformacím a na posílení bezpečnostní pol vyvinut na základě speciálních výzkumů dopadů umělé inteligence na zpravodajsko-bezpečnost asistent bude doplňovat stávající strategickou komunikaci státu a jeho institucí v rozličn to i vůči hybridním hrozbám. S cílem posílit bezpečnostní politiku bude postaven na ověřen ČTK a zaměří se jak na vnitrostátní a mezinárodní konflikty, tak i na migraci a její dopad kritické infrastruktury a na energetickou a ekonomickou bezpečnost. Je to obšírná oblast a mediální asistent bude určen pro širokou škálu uživatelů. Myslíte si, že stát a jeho instituce jako jedni z cílových uživatelů, přistoupí k využití ve svých bezpečnostních službách? Osobně tomu pevně věřím a myslím si, že už dnes je AI v určitých oblastech využívána, např souvislosti s bezpečnostními kamerovými systémy ve specifických případech. Některé bezpečn se už nyní analyzují a vyhodnocují pomocí umělé inteligence. Umím si také představit, že z bude náš projekt končit, budou technologie AI i v tomto odvětví využívány ještě více. Nicm konstruktivnímu a spolehlivému využití AI v bezpečnostní politice a zabránění případným ri plynou, je ještě dlouhá. Je podle vás AI bezpečná? Je bezpečná v rukou odpovědných uživatelů. Samozřejmě musíme sledovat nejen její využití, naprogramování. Jsou zde rizika, kterým se nevyhneme, proto je třeba ji neustále kontrolov že hrozby existují – je však na nás, abychom je uměli řešit. Na vysoce rizikové systémy AI abychom zajistili, že splňují požadavky stanovené nařízením AI Act. Jaký bude avatar v rámci eticko-právní oblasti? Právní AI asistent zpřístupní právní předpisy široké veřejnosti. Bude fungovat jako analyt výkladu a aplikaci práva, což by mělo přispět k srozumitelnosti právních předpisů. Také by specifického analytického AI nástroje pro práci s českými právními texty a dokumenty. Právníci si často „hrají“ se čtením a interpretací zákonů a jiných norem. Myslíte si, že s naprogramovat tak, aby dokázala podchytit nuance? Systémy umělé inteligence pracují s daty poskytovanými člověkem. Pokud jim poskytneme vhod tréninková data, měly by být vytrénovány správně. Je však pravda, že autonomní rozhodování nás zůstává v některých případech záhadou, možná právě kvůli zachycení jemných nuancí, o n neuvažujeme. Kolikrát nevíme, proč AI zvolí konkrétní řešení, což je jedním z důvodů, proč pečlivá kontrola. Když posuzujeme jednotlivé systémy AI, musíme z etického hlediska důsled transparentnosti, jež nám pomáhá vysvětlit rozhodování, určit odpovědnost a zajistit srozu rozhodnutí, tedy jak určitý systém AI rozhodl, proč právě určitým způsobem a také kdo nese dané rozhodnutí. V této souvislosti je klíčová auditovatelnost systémů AI. Představíte dalšího AI asistenta? Psychologicko-zdravotní AI asistent bude fungovat jako poradenský nástroj AI pro oblast du Jeho vytvoření bude předcházet výzkum dopadu umělé inteligence na lidskou psychiku a zdrav způsobu, jak podporovat duševní pohodu a zkvalitnit adiktologickou péči. V praxi to znamen přístupu k léčbě závislostí nebo jiných psychologických problémů. Odborníci tak získají ná efektivnější identifikaci a řešení specifických potřeb klientů, což následně pomůže k pers a přesněji cílené terapii. Typickým uživatelem tak budou poskytovatelé adiktologických, po terapeutických služeb, ale také dospělí a dospívající ve věku od jedenácti let. Bude využí poradenskou činnost, diagnostiku i zvyšování profesních dovedností. A co ten čtvrtý? Čtvrtý AI asistent multiagentního avatara se v historicko-edukační oblasti zaměří na zvyšo informovanosti veřejnosti, podporu vzdělávání a interpretaci minulosti, takzvanou public h je naučit se jakým způsobem klást otázky týkající se minulosti a zohledňovat společenský k výkladu historických událostí. AI asistent bude sloužit široké veřejnosti, státním institu odborníkům a poskytovat odpovědi i vhled do teorie a praxe historické gramotnosti. Může takový asistent ohrozit humanitní vědy? Neohrozí, ba naopak. Naším cílem je, aby historicko-edukační AI asistent napomáhal minulos interpretovat nebo nás podpořil, abychom se na správnou interpretaci dokázali objektivně z je ovlivněn výchovou, kulturou, emocemi či osobními zážitky, což může bránit objektivnímu události, ať už v osobním nebo globálním kontextu. Záměrem není humanitní vědy ohrozit, al přispět. Budeme klást důraz na objektivitu, transparentnost, pečlivý a nezaujatý výběr dat transparentní vývoj systému. Pokud máme vyhlídky, že se umělá inteligence implementuje do všech těchto oblastí během ná myslíte si, že se stane skutečně nepostradatelnou součástí lidského života? Pomůže člověku do školy, při návštěvě lékaře, v řešení soudního sporu nebo i napoví, koho volit v příštíc Umělá inteligence má bezpochyby obrovský potenciál zasahovat do všech oblastí lidského živ vyžaduje neustálý dohled a odpovědnou kontrolu. Je to nástroj, který může přinášet nejen i také podporovat principy otevřené demokracie, jako jsou transparentnost, participace veřej o hodnotách. Ačkoli jsou obavy spojené s umělou inteligencí oprávněné, jsem přesvědčená, ž cesty jejího využití ve prospěch demokratické společnosti. Věřím, že pečlivým designem, od a uvážlivou implementací dokáže napomoci ke zlepšení demokratických procesů. Může napříkla přístup k informacím, podpořit transparentnost vládních rozhodnutí, umožnit širší zapojení veřejného života, ale její role by měla být chápána jako podpůrný nástroj při rozhodování, nepostradatelná součást lidského života. Stále je nezbytné, aby klíčová rozhodnutí zůstala umělá inteligence nám nemá říkat, koho máme volit, jak se léčit ani jak vyřešit soudní spo Co přesně si pod tou kontrolou můžeme představit? V nástrojích umělé inteligence musí být neustále přítomen důraz na lidské hodnoty. Nesmíme zapomínat jak v souvislosti s právními normami, tak s dodržováním etických standardů. Mezi patří lidská důstojnost, respektování autonomie, svoboda projevu a informací, právo na vzd spravedlnost, nediskriminace a rovnost, ochrana zranitelných skupin, ochrana spotřebitele duševní vlastnictví. K ochraně hodnot je zásadní pečlivé posuzování závažnosti potenciální by systémy AI mohly způsobit. Navzdory častým diskusím o obavách a ujišťováních ohledně be je zřejmé, že bez aktivního lidského dohledu se využívání technologií AI neobejde. Je prot soustavně kontrolovat klíčové zásady, jako jsou transparentnost, zachování a ochrana soukr neetické předpojatosti a odpovědnost za rozhodování a využívání systémů AI. Všechny uveden jádro etiky AI společně s etickými principy, které známe například bioetiky. Ve všech fází systémů, už od počátečního designu až po zavedení do praxe, musí vývojáři umět odůvodnit s například prokazovat, proč použili právě určitá data a jiná vyloučili apod. Etická kontrol již při prvotních návrzích a pokračuje v každé fázi vývoje systému až po jeho implementaci ovšem jedná o autonomní rozhodování systémů, které se neustále učí. Proto je nezbytné prov kontrolu, monitorování a auditování i po jejich uvedení do provozu. V anotaci projektu váš tým uvádí, že systém odborných asistentů bude navržen na základě od centric přístupu. Jsou současné běžně používané AI nástroje takové? Abych byla upřímná, myslím si, že ne všechny jsou navrženy s ohledem na principy human-cen a odpovědnosti. Mnoho z nich je optimalizováno pro efektivitu nebo výkon, a to často na úk společenského a etického kontextu. My se ale budeme snažit, aby naše systémy zodpovědné by AI klade důraz na to, aby technologie sloužily potřebám a hodnotám lidí, byly transparentn respektovaly lidská práva. Je před námi ještě dlouhá cesta, aby všechny systémy prokazoval ale naším projektem chceme ukázat, že navrhovat a vyvíjet systémy AI, které podporují demo a respektují etické principy, je možné. Existují jiné podobné výzkumy, tuzemské nebo zahraniční? Domnívám se, že v zahraničí již mohou být podobní avataři vytvořeni, o žádných konkrétních informace. Jsme však specifičtí v tom, že vytváříme demokraticky nastavený systém s jazyko zaměřeným na češtinu, a tedy českou společnost. K trénování využijeme specializovaná česká systémů AI v rozsahu námi plánovaných asistentů multiagentního AI avatara a v oblastech na ojedinělé. Víme, že současné velké jazykové modely jsou primárně trénovány na anglosaských trpí řadou předpojatostí, včetně kulturních, etnických nebo genderových. Navíc často není jakých kritérií byla data vybírána a jakým způsobem s nimi bylo nakládáno. Myslíte si, že se nyní potýkáme s určitým trendem výzkumu a vývoje umělé inteligence, kter například výší investic? Ve veřejném prostoru může občas vyznívat, že je umělá inteligence módním trendem. Rozhodně netýká našeho týmu. Osobně tento obor sleduji dlouhodobě a už delší dobu se aktivně zabývá a posuzováním etických aspektů systémů umělé inteligence. Byla jsem například součástí výz který se zabýval vytvořením algoritmického modelu pro spravedlivou alokaci vzácných zdrojů Motivací byla tehdy krize nedostatku zdravotnického materiálu, roušek, dalších ochranných i lůžek. Vyvinutý model lze ovšem využít i pro alokaci jiných vzácných zdrojů, například v V projektu jsem dohlížela na to, aby autonomní alokace byla spravedlivá a transparentní. M oblasti AI tedy rozhodně nejsou otázkou aktuálního trendu, ale vychází z dlouhodobého zájm že řešení spojená s umělou inteligencí mají značný potenciál, avšak zároveň mohou představ rizika, která je potřeba prozkoumat a důsledně řídit. I proto jsem absolvovala mezinárodní kurz posuzování etických aspektů AI v rámci IEEE (Institute of Electrical and Electronics abych získala nejnovější poznatky a přístupy k odpovědnému řízení těchto technologií. Vním klíčovou oblast, která bude mít zásadní dopad na budoucí vývoj ve všech odvětvích, včetně humanitních věd, medicíny, technologií a etiku nevyjímaje. Původně jste studovala medicínu a dokonce jste několik let působila jako plastická chirurg dělala nezávislou výzkumnou a klinickou konzultantku, spolupracovala s farmaceutickým i bi průmyslem, ale také máte doktorát z Aplikované etiky na FHS. Jak jste se k němu dostala? Ač se může na první pohled zdát, že zmíněné obory spolu nesouvisí, mají významného společn Máte pravdu, vzděláním jsem lékařkou a mám za sebou praxi v plastické chirurgii. Lékařství k hlubokému rozvažování o etických otázkách na každodenní bázi. Zvláště v chirurgii jsou r často rychlá a zásadní, o to více musíte mít v sobě etiku pevně ukotvenou. Proto jsem se j při nástupu do oboru chirurgie a vnímala jsem, jak ovlivňuje mou každodenní klinickou prax jsem chtěla vždy pomáhat, a to byl také důvod, proč jsem šla studovat medicínu i přesto, ž také technické obory. Chirurgie mi umožňovala pomáhat tady a teď, v daný okamžik; když už praktikovala delší čas, chtěla jsem pomáhat ještě více. Už mě neuspokojovalo pomáhat pouze a tady. Chtěla jsem rozšířit dosah své pomoci, což mě přivedlo k myšlence pomáhat pokrokem byl jen krůček ke klinickému výzkumu. Jak jsem však posléze zjistila, výzkum neprobíhá vžd jak je veřejností očekáváno, že by probíhat měl. Proto jsem se rozhodla přispět k jeho dův spolehlivosti. Neustále jsem se vracela ke své základní ideji, snaze pomáhat. Pomoc přece která nejsou relevantní, validní ani spolehlivá, musíme je nějakým způsobem kontrolovat. N tak další své úsilí do konzultantské a kontrolní činnosti v klinickém výzkumu. Dnes mám za tři sta klinických auditů, během nichž jsem kontrolovala různé lékařské a výzkumné projekt světě. Touto cestou jsem se dostala blíže k umělé inteligenci a technologiím, které jsou v důležitější, od robotické chirurgie až po rozvoj telemedicíny v posledních letech. A k eti mé předcházející etapy provází, mne paradoxně přivedly právě případy porušování etických s jsem se s mnoha podvody v klinickém výzkumu a zajímaly mě příčiny, proč k podvodům v této Jsem samozřejmě ráda, když se díky mým kontrolním aktivitám zastaví statistické zpracovává podvodných nebo zmanipulovaných dat pro nějaký konkrétní výzkum, ale to je jen důsledek mé jsem chtěla zjistit, co vede výzkumníky k tomu, aby se zpronevěřili svému poslání pomáhat přivedlo ke studiu aplikované etiky, která pokrývá nejen oblast medicíny, ale i bioetiky n které mě vždy přitahovaly. Na své dráze postupujete čím dál víc k obecnému, máte ambice měnit věci systémově? Nemyslím si, že k tomu mám všechny potřebné kompetence. Spíše v současnosti vnímám, kde js a hledám cesty k jejich zlepšení. Dosud jsem pracovala převážně na individuální úrovni, kd radila farmaceutickým nebo biotechnologickým společnostem ohledně správných postupů, přípa vyvarovat nesprávných či neetických činností. Avšak díky projektu CZDEMOS4AI bych ráda při vytvoření systémového rámce pro posuzování etických aspektů systémů umělé inteligence v ši rovině. Plánujeme proto připravit metodickou příručku v této oblasti, která by další vývoj nasměrovala k jejich efektivnímu hodnocení, a pomohla tak vytvářet důvěryhodné systémy umě Alena Ivanova