Podczas konferencji KES 2024 (28th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems), dr Włodzimierz Lewoniewski przedstawił pracę pt. „Exploring the Challenges and Potential of Generative AI: Insights from an Empirical Study” oraz pracę pt. „Supporting fact-checking process with IT tools”. Konferencja odbyła się w dniach 11-13 września 2024 roku w trybie hybrydowym.
Odkrywanie wyzwań i potencjału generatywnej sztucznej inteligencji: wnioski z badania empirycznego
W ramach pracy pt. „Exploring the Challenges and Potential of Generative AI: Insights from an Empirical Study” przeprowadzono eksperyment mający na celu zbadanie, w jakim stopniu treści generowane przez GenAI mogą być uznane za wiarygodne (nie zawierające fałszywych informacji) oraz jak łatwo jest zmanipulować GenAI do produkcji fałszywych informacji.
Oparty na modelach GPT (Generative Pre-trained Transformers), ChatGPT jest przykładem narzędzia generatywnej sztucznej inteligencji (GenAI). ChatGPT zdobył pierwszy milion użytkowników w mniej niż tydzień, a w ciągu dwóch miesięcy osiągnął liczbę 100 milionów użytkowników. ChatGPT należy do szerszej grupy narzędzi zwanych dużymi modelami językowymi (LLM). Na podstawie ogromnych zbiorów tekstów takie narzędzia potrafią generować treść doskonale imitującą sposób, w jaki ludzie używają języka naturalnego do przekazywania informacji. Wielu ludzi zaczęło używać tych narzędzi do pozyskiwania informacji jako alternatywy dla tradycyjnych wyszukiwarek internetowych.
Jednak narzędzia GenAI działają inaczej niż proste wyszukiwarki. Posiadają one już zakodowaną wiedzę i zamiast wyszukiwać teksty za pomocą fraz kluczowych, dostarczają wiedzę w formie dobrze skonstruowanych odpowiedzi dostosowanych do sytuacji, na podstawie zadanych pytań. W związku z tym pojawiają się pytania badacze: czy AI może służyć jako narzędzie do weryfikacji informacji i czy generowany tekst zawiera tylko prawdziwe informacje?
W ramach eksperymentu grupa studentów miała za zadanie przygotować eseje z wykorzystaniem narzędzi generatywnej sztucznej inteligencji. Eseje miały być napisane w języku polskim, zawierać określoną liczbę znaków i dotyczyć predefiniowanych obszarów tematycznych. Oprócz „wygenerowania” eseju konieczne było również samodzielne napisanie jego krytycznej oceny według określonych kryteriów. Po pierwsze, studenci mieli ocenić wiarygodność tekstu generowanego przez AI, czyli zweryfikować, czy tekst zawiera jakiekolwiek fałszywe lub niepoprawne informacje. Po drugie, zostali poproszeni o skłonienie GenAI do włączenia do wygenerowanego tekstu wymyślonych twierdzeń, czyli do wygenerowania fake newsów.
W momencie przeprowadzania eksperymentu było wiadomo, że duże modele językowe mogą ulegać tzw. halucynacjom, czyli spontanicznie generować fałszywe treści. Studenci musieli zatem wykryć i skorygować takie błędy. To pozwoliło na ocenę, czy dostępne narzędzia GenAI mogą być potencjalnie wykorzystane do zadań związanych z weryfikacją informacji i wykrywaniem fake newsów.
Autorzy pracy: dr Milena Stróżyna, dr hab. Krzysztof Węcel, prof. UEP, dr Piotr Stolarski, mgr Ewelina Księżniak, mgr Marcin Sawiński, dr Włodzimierz Lewoniewski, prof. dr hab. Witold Abramowicz.
Wsparcie procesu weryfikacji faktów za pomocą narzędzi informatycznych
Praca pt. „Supporting fact-checking process with IT tools” przedstawia szczegółową analizę procesu fact-checkingu, opartą na przeglądzie literatury oraz wywiadach z organizacjami specjalizującymi się w tej dziedzinie. Dzięki temu połączono teoretyczną wiedzę z praktycznymi doświadczeniami ekspertów, co pozwoliło zidentyfikować luki badawcze i wyzwania w obecnych metodach weryfikacji informacji.
Dezinformacja i tzw. „fake newsy” stanowią poważne zagrożenie dla społeczeństwa, wpływając na opinię publiczną, decyzje polityczne i nasze codzienne życie. Dlatego badania nad procesem weryfikacji faktów (fact-checking) są niezwykle istotne. Początkowo weryfikacja faktów polegała na sprawdzaniu wszystkich informacji w artykułach prasowych przed ich publikacją, co jest podstawowym obowiązkiem dziennikarzy. Obecnie termin ten odnosi się także do analizowania treści po ich opublikowaniu, zwłaszcza w Internecie. Coraz częściej weryfikacja faktów jest przeprowadzana przez osoby i organizacje niezwiązane z autorem weryfikowanej informacji.
Artykuł przedstawia kompleksowo proces fact-checkingu wraz z listą potencjalnych narzędzi informatycznych, które mogą go usprawnić. Na podstawie przeprowadzonych analiz został opracowany referencyjny model weryfikacji faktów z opisem głównych etapów procesu, co pozwala na lepsze zrozumienie i standaryzację działań w walce z dezinformacją. W ramach pracy został również zamieszczony przegląd dostępnych narzędzi informatycznych wspierających proces weryfikacji, co posłużyło również do identyfikacji luk technologicznych.
Kluczowym elementem pracy jest opis narzędzia SocialScan, które zostało opracowane w ramach projektu OpenFact i które umożliwia identyfikowanie potencjalnych fałszywych wiadomości w mediach społecznościowych. Narzędzie to zostało stworzone z myślą o wsparciu fact-checkerów w szybszym i bardziej efektywnym identyfikowaniu informacji wymagających weryfikacji. W konsekwencji może się przyczynić do ograniczenia rozpowszechniania fake newsów.
Autorzy pracy: mgr Marcin Sawiński, dr Milena Stróżyna, dr Włodzimierz Lewoniewski, dr Piotr Stolarski, dr hab. Krzysztof Węcel, prof. UEP, mgr Ewelina Księżniak, prof. dr hab. Witold Abramowicz.
OpenFact
Katedra Informatyki Ekonomicznej realizuje obecnie projekt badawczy OpenFact, kierowany przez prof. dr. hab. Witolda Abramowicza. W ramach tego projektu opracowywane są narzędzia do automatycznego wykrywania fake news w języku polskim. W lipcu 2024 roku wyniki projektu OpenFact drugi rok z rzędu zostały najwyżej ocenione przez NCBiR.
Projekt OpenFact jest finansowany przez Narodowe Centrum Badań i Rozwoju w ramach programu INFOSTRATEG I „Zaawansowane technologie informacyjne, telekomunikacyjne i mechatroniczne”.
Udział w konferencji był możliwy dzięki dofinansowaniu z konkursu na finansowanie wyjazdów konferencyjnych pn. „IREG – konferencje”. Dofinansowano ze środków Ministra Nauki przyznanych w ramach Programu „Regionalna inicjatywa doskonałości” na realizację projektu „Uniwersytet Ekonomiczny w Poznaniu dla Gospodarki 5.0: Inicjatywa regionalna – efekty globalne (IREG)”.