Zespół naukowców z Katedry Informatyki Ekonomicznej UEP wziął udział w konkursie „CheckThat! 2024” organizowanym w ramach międzynarodowej konferencji CLEF (Conference and Labs of the Evaluation Forum). Celem była weryfikacja odporności popularnych podejść do klasyfikacji tekstu stosowanych do problemów oceny wiarygodności.
Zadaniem uczestników konkursu było stworzenie przykładów antagonistycznych (czy też zainfekowanych, z ang. „adversarial examples”) – czyli zmodyfikowanie tekstów w taki sposób, aby algorytmy klasyfikacyjne zmieniły swoją decyzję na przeciwną, ale bez zmiany znaczenia tekstu. Wyzwanie polegało na tym, że teksty musiały być zmodyfikowane w taki sposób, żeby nie tylko zmienić decyzję każdego z trzech różnych klasyfikatorów (opartych na modelach BERT, BiLSTM i RoBERTa) na każdym z ponad 2000 przykładów tekstowych, ale również zadbać o minimalną liczbę zmian symboli (słów) w tekstach oraz maksymalne zachowanie ich znaczenia semantycznego. Poza tym, zadanie obejmowało teksty z 5 różnych obszarów problematycznych: ocena stronniczości wiadomości, wykrywanie propagandy, sprawdzanie faktów, wykrywanie plotek oraz dezinformacji związanej z COVID-19.
Spośród wszystkich zespołów, które zgłosiły swoje wyniki, metoda naszych naukowców uzyskała najwyższy wynik wg. specjalnej metryki BODEGA, która uwzględnia miary związane z poziomem skuteczności zmian w tekstach, semantycznego podobieństwa oraz odległości edycyjnej Levenshteina. Największa liczba punktów pozwoliła zająć pierwsze miejsce w rankingu, wyprzedając metody opracowane m.in. przez Uniwersytet w Zurychu oraz Uniwersytet w Katarze. Zwycięska metoda została opracowana przez zespół w składzie: dr Włodzimierz Lewoniewski, dr Piotr Stolarski, dr Milena Stróżyna, dr Elżbieta Lewańska, mgr inż. Aleksandra Wojewoda, mgr Ewelina Księżniak, mgr Marcin Sawiński.
Problem generowania przykładów antagonistycznych i testowanie z ich wykorzystaniem odporności algorytmów klasyfikacyjnych jest istotnym wyzwaniem badawczym, ponieważ pozwala na ocenę, jak dobrze istniejące algorytmy radzą sobie w sytuacjach, gdy teksty są celowo modyfikowane w taki sposób, by zmylić model. Dzięki temu można identyfikować słabe punkty algorytmów klasyfikacyjnych i poprawiać ich niezawodność, co jest kluczowe w kontekście oceny wiarygodności informacji, gdzie precyzyjna klasyfikacja jest niezbędna do wykrywania fałszywych informacji i przeciwdziałania dezinformacji.
Wydarzenie „CLEF CheckThat! Lab” jest organizowane od 2018 roku, a jego celem jest rozwój automatycznych metod i technologii wspierających dziennikarzy w procesie weryfikacji informacji. Międzynarodowa konferencja CLEF odbywała się m.in. w Bolonii, Bukareszcie, Lugano, Avignon i Salonikach, a wyniki tegorocznej edycji zostaną zaprezentowane we wrześniu na konferencji w Grenoble we Francji. „CLEF CheckThat! Lab” oraz „FEVER” to najważniejsze światowe wydarzenia poświęcone wyłącznie zagadnienia automatycznej weryfikacji fake news. Warto zaznaczyć, że w roku 2023 zespół projektu OpenFact zajął pierwsze miejsce w konkursie „CLEF-2023 CheckThat! Lab” – najlepsza metoda pozwalająca wykrywać zdania w języku angielskim, które wymagają sprawdzenia ze względu na możliwość wprowadzania w błąd.
Wygrywający zespół realizuje obecnie projekt badawczy OpenFact, w ramach którego zajmuje się opracowaniem narzędzi do automatycznego wykrywania fake news w języku polskim. W lipcu 2024 roku wyniki projektu OpenFact drugi rok z rzędu zostały ocenione przez NCBiR jako najlepsze w Polsce. Zwycięstwo w prestiżowym konkursie CheckThat! potwierdza, że dokonania zespołu UEP są istotne w skali światowej oraz że metody opracowane przez zespół OpenFact osiągają równie wysoką skuteczność w innych językach.
Projekt OpenFact jest finansowany przez Narodowe Centrum Badań i Rozwoju w ramach programu INFOSTRATEG I „Zaawansowane technologie informacyjne, telekomunikacyjne i mechatroniczne”.