Zesp\u00f3\u0142 naukowc\u00f3w z Katedry Informatyki Ekonomicznej UEP wzi\u0105\u0142 udzia\u0142 w konkursie \u201eCheckThat! 2024\u201d organizowanym w ramach mi\u0119dzynarodowej konferencji CLEF (Conference and Labs of the Evaluation Forum). Celem by\u0142a weryfikacja odporno\u015bci popularnych podej\u015b\u0107 do klasyfikacji tekstu stosowanych do problem\u00f3w oceny wiarygodno\u015bci.<\/p>\n
Zadaniem uczestnik\u00f3w konkursu by\u0142o stworzenie przyk\u0142ad\u00f3w antagonistycznych (czy te\u017c zainfekowanych, z ang. „adversarial examples”<\/em>) – czyli zmodyfikowanie tekst\u00f3w w taki spos\u00f3b, aby algorytmy klasyfikacyjne zmieni\u0142y swoj\u0105 decyzj\u0119 na przeciwn\u0105, ale bez zmiany znaczenia tekstu. Wyzwanie polega\u0142o na tym, \u017ce teksty musia\u0142y by\u0107 zmodyfikowane w taki spos\u00f3b, \u017ceby nie tylko zmieni\u0107 decyzj\u0119 ka\u017cdego z trzech r\u00f3\u017cnych klasyfikator\u00f3w (opartych na modelach BERT, BiLSTM i RoBERTa) na ka\u017cdym z ponad 2000 przyk\u0142ad\u00f3w tekstowych, ale r\u00f3wnie\u017c zadba\u0107 o minimaln\u0105 liczb\u0119 zmian symboli (s\u0142\u00f3w) w tekstach oraz maksymalne zachowanie ich znaczenia semantycznego. Poza tym, zadanie obejmowa\u0142o teksty z 5 r\u00f3\u017cnych obszar\u00f3w problematycznych: ocena stronniczo\u015bci wiadomo\u015bci, wykrywanie propagandy, sprawdzanie fakt\u00f3w, wykrywanie plotek oraz dezinformacji zwi\u0105zanej z COVID-19.<\/p>\n Spo\u015br\u00f3d wszystkich zespo\u0142\u00f3w, kt\u00f3re zg\u0142osi\u0142y swoje wyniki, metoda naszych naukowc\u00f3w uzyska\u0142a najwy\u017cszy wynik<\/a> wg. specjalnej metryki BODEGA, kt\u00f3ra uwzgl\u0119dnia miary zwi\u0105zane z poziomem skuteczno\u015bci zmian w tekstach, semantycznego podobie\u0144stwa oraz odleg\u0142o\u015bci edycyjnej Levenshteina. Najwi\u0119ksza liczba punkt\u00f3w pozwoli\u0142a zaj\u0105\u0107 pierwsze miejsce w rankingu, wyprzedaj\u0105c metody opracowane m.in. przez Uniwersytet w Zurychu oraz Uniwersytet w Katarze. Zwyci\u0119ska metoda zosta\u0142a opracowana przez zesp\u00f3\u0142 w sk\u0142adzie: dr W\u0142odzimierz Lewoniewski<\/a>, dr Piotr Stolarski<\/a>, dr Milena Str\u00f3\u017cyna<\/a>, dr El\u017cbieta Lewa\u0144ska<\/a>, mgr in\u017c. Aleksandra Wojewoda<\/a>, mgr Ewelina Ksi\u0119\u017cniak<\/a>, mgr Marcin Sawi\u0144ski<\/a>.<\/p>\n Problem generowania przyk\u0142ad\u00f3w antagonistycznych i testowanie z ich wykorzystaniem odporno\u015bci algorytm\u00f3w klasyfikacyjnych jest istotnym wyzwaniem badawczym, poniewa\u017c pozwala na ocen\u0119, jak dobrze istniej\u0105ce algorytmy radz\u0105 sobie w sytuacjach, gdy teksty s\u0105 celowo modyfikowane w taki spos\u00f3b, by zmyli\u0107 model. Dzi\u0119ki temu mo\u017cna identyfikowa\u0107 s\u0142abe punkty algorytm\u00f3w klasyfikacyjnych i poprawia\u0107 ich niezawodno\u015b\u0107, co jest kluczowe w kontek\u015bcie oceny wiarygodno\u015bci informacji, gdzie precyzyjna klasyfikacja jest niezb\u0119dna do wykrywania fa\u0142szywych informacji i przeciwdzia\u0142ania dezinformacji.<\/p>\n Wydarzenie \u201eCLEF CheckThat! Lab\u201d jest organizowane od 2018 roku, a jego celem jest rozw\u00f3j automatycznych metod i technologii wspieraj\u0105cych dziennikarzy w procesie weryfikacji informacji. Mi\u0119dzynarodowa konferencja CLEF odbywa\u0142a si\u0119 m.in. w Bolonii, Bukareszcie, Lugano, Avignon i Salonikach, a wyniki tegorocznej edycji zostan\u0105 zaprezentowane we wrze\u015bniu na konferencji w Grenoble we Francji. „CLEF CheckThat! Lab” oraz „FEVER” to najwa\u017cniejsze \u015bwiatowe wydarzenia po\u015bwi\u0119cone wy\u0142\u0105cznie zagadnienia automatycznej weryfikacji fake news. Warto zaznaczy\u0107, \u017ce w roku 2023 zesp\u00f3\u0142 projektu OpenFact zaj\u0105\u0142 pierwsze miejsce<\/a> w konkursie „CLEF-2023 CheckThat! Lab” – najlepsza metoda pozwalaj\u0105ca wykrywa\u0107 zdania w j\u0119zyku angielskim, kt\u00f3re wymagaj\u0105 sprawdzenia ze wzgl\u0119du na mo\u017cliwo\u015b\u0107 wprowadzania w b\u0142\u0105d.<\/p>\n Wygrywaj\u0105cy zesp\u00f3\u0142 realizuje obecnie projekt badawczy OpenFact<\/a>, w ramach kt\u00f3rego zajmuje si\u0119 opracowaniem narz\u0119dzi do automatycznego wykrywania fake news w j\u0119zyku polskim. W lipcu 2024 roku wyniki projektu OpenFact drugi rok z rz\u0119du zosta\u0142y ocenione przez NCBiR jako najlepsze w Polsce<\/a>. Zwyci\u0119stwo w presti\u017cowym konkursie CheckThat! potwierdza, \u017ce dokonania zespo\u0142u UEP s\u0105 istotne w skali \u015bwiatowej oraz \u017ce metody opracowane przez zesp\u00f3\u0142 OpenFact osi\u0105gaj\u0105 r\u00f3wnie wysok\u0105 skuteczno\u015b\u0107 w innych j\u0119zykach.<\/p>\n Projekt OpenFact jest finansowany przez Narodowe Centrum Bada\u0144 i Rozwoju w ramach programu INFOSTRATEG I \u201eZaawansowane technologie informacyjne, telekomunikacyjne i mechatroniczne\u201d.<\/p>\n","protected":false},"excerpt":{"rendered":" Zesp\u00f3\u0142 naukowc\u00f3w z Katedry Informatyki Ekonomicznej UEP wzi\u0105\u0142 udzia\u0142 w konkursie \u201eCheckThat! 2024\u201d organizowanym w ramach mi\u0119dzynarodowej konferencji CLEF (Conference and Labs of the Evaluation Forum). Celem by\u0142a weryfikacja odporno\u015bci popularnych podej\u015b\u0107 do klasyfikacji tekstu stosowanych do problem\u00f3w oceny wiarygodno\u015bci.<\/p>\n","protected":false},"author":1,"featured_media":1049,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[249,273,315,312,218,108,230,223,227,231,26,28,224,18,314,317,203,313,6,316],"class_list":["post-1048","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-wiadomosci","tag-aleksandra-wojewoda","tag-bert","tag-bilstm","tag-clef","tag-covid-19","tag-elzbieta-lewanska","tag-ewelina-ksiezniak","tag-fake-news","tag-jakosc-informacji","tag-marcin-sawinski","tag-milena-strozyna","tag-nagrody","tag-openfact","tag-piotr-stolarski","tag-roberta","tag-sprawdzanie-faktow","tag-sztuczna-inteligencja","tag-wiarydnosc-informacji","tag-wlodzimierz-lewoniewski","tag-wykrywanie-propagandy"],"_links":{"self":[{"href":"https:\/\/kie.ue.poznan.pl\/pl\/wp-json\/wp\/v2\/posts\/1048","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/kie.ue.poznan.pl\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/kie.ue.poznan.pl\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/kie.ue.poznan.pl\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/kie.ue.poznan.pl\/pl\/wp-json\/wp\/v2\/comments?post=1048"}],"version-history":[{"count":0,"href":"https:\/\/kie.ue.poznan.pl\/pl\/wp-json\/wp\/v2\/posts\/1048\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/kie.ue.poznan.pl\/pl\/wp-json\/wp\/v2\/media\/1049"}],"wp:attachment":[{"href":"https:\/\/kie.ue.poznan.pl\/pl\/wp-json\/wp\/v2\/media?parent=1048"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/kie.ue.poznan.pl\/pl\/wp-json\/wp\/v2\/categories?post=1048"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/kie.ue.poznan.pl\/pl\/wp-json\/wp\/v2\/tags?post=1048"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}