W 2024 roku naukowcy z Katedry Informatyki Ekonomicznej po raz drugi wzięli udział w konkursie „CheckThat! Lab”, organizowanym w ramach międzynarodowej konferencji CLEF, dotyczącym wykrywania tekstów wartych sprawdzenia (z ang. „check-worthy”). Zastosowanie modeli językowych opartych na transformerach oraz technik międzyjęzykowego uczenia transferowego pozwoliło zdobyć dwa drugie miejsca w rankingach, dla języka angielskiego i arabskiego.
Warto podkreślić, że jest to popularny konkurs, w którym w tym roku wzięło udział aż 26 zespołów z całego świata. Metoda naukowców z KIE ustąpiła jedynie zespołom z Queen Mary University of London (dla języka angielskiego) oraz Uniwersytetu w Stavanger (dla języka arabskiego). Wśród uczestników konkursu znalazły się zespoły z takich instytucji jak Fraunhofer Institute (Niemcy), Rijksuniversiteit Groningen (Holandia), Chittagong University of Engineering and Technology (Bangladesz), University of Jaén (Hiszpania), Polsko-Japońska Akademia Technik Komputerowych (Polska), Qatar University (Katar), Sorbonne Université (Francja), Airbus Defence and Space (Francja) oraz University of Montréal (Kanada). Więcej informacji na temat tegorocznej edycji konkursu można znaleźć w publikacji pt. „Overview of the CLEF-2024 CheckThat! Lab Task 1 on Check-Worthiness Estimation of Multigenre Content”.
Teksty warte sprawdzenia (ang. check-worthy) to takie, które zawierają stwierdzenia możliwe do zweryfikowania w zewnętrznych, zaufanych źródłach i jednocześnie mogą być potencjalnie szkodliwe. Zadanie polegające na wskazaniu takich tekstów jest kluczowym elementem procesu fact-checkingu – pozwala z ogromnych zbiorów informacji w mediach społecznościowych i na portalach wybrać te wiadomości, które następnie zostaną zweryfikowane przez profesjonalne agencje fact-checkingowe. W konkursie oceniano wyniki miary F1 dla klasy pozytywnej w korpusach w językach angielskim, arabskim oraz holenderskim. Zastosowanie modeli językowych opartych na transformerach oraz technik międzyjęzykowego uczenia transferowego pozwoliło zdobyć dwa drugie miejsca w rankingach, dla języka angielskiego i arabskiego. Szczegóły są dostępne w artykule pt. „OpenFact at CheckThat! 2024: Cross-Lingual Transfer Learning for Check-Worthiness Detection”. Autorzy publikacji: mgr Marcin Sawiński, dr hab. Krzysztof Węcel, prof. UEP, mgr Ewelina Księżniak.
Jest to już trzecia publikacja naukowców KIE dotycząca wykrywania informacji wartych sprawdzenia w ramach konferencji CLEF. W poprzednim roku zespół zdobył pierwsze miejsce, stosując strojenie dużych modeli językowych. Dodatkowo, publikacja z 2023 roku została wyróżniona tytułem Best of Labs, co zaowocowało zaproszeniem autorów do publikacji artykułu rozwijającego badania oraz do prezentacji w głównej sekcji konferencji CLEF w 2024 roku.
Wydarzenie „CLEF CheckThat! Lab” jest organizowane od 2018 roku, a jego celem jest rozwój automatycznych metod i technologii wspierających dziennikarzy w procesie weryfikacji informacji. Międzynarodowa konferencja CLEF odbywała się m.in. w Bolonii, Bukareszcie, Lugano, Avignon i Salonikach, a wyniki tegorocznej edycji zostaną zaprezentowane we wrześniu na konferencji w Grenoble we Francji. „CLEF CheckThat! Lab” oraz „FEVER” to najważniejsze światowe wydarzenia poświęcone wyłącznie zagadnieniom automatycznej weryfikacji fake newsów.
Warto wspomnieć, że w tym roku naukowcy naszej Katedry osiągnęli wysoką pozycję nie tylko w ramach konkursu dotyczącego detekcji informacji wymagających weryfikacji, ale również zajęli pierwsze miejsce w konkursie w obszarze wiarygodności informacji oraz osiągnęli najlepszy wynik w obszarze wczesnego wykrywania zagrożeń w Internecie. Katedra Informatyki Ekonomicznej realizuje obecnie projekt badawczy OpenFact, w ramach którego zajmuje się opracowaniem narzędzi do automatycznego wykrywania fake news w języku polskim. W lipcu 2024 roku wyniki projektu OpenFact drugi rok z rzędu zostały ocenione przez NCBiR jako najlepsze w Polsce.
Projekt OpenFact jest finansowany przez Narodowe Centrum Badań i Rozwoju w ramach programu INFOSTRATEG I „Zaawansowane technologie informacyjne, telekomunikacyjne i mechatroniczne”.