Przejdź do treści Przejdź do głównej nawigacji Przejdź do stopki

Tag: wdrożenia

Wyniki pracy algorytmu optymalizującego

Dziś w SEDN został udostępniony ostateczny wynik pracy algorytmu optymalizującego. Poniżej kilka istotnych informacji.  

Jak działa algorytm optymalizujący? 

Algorytm wybiera najkorzystniejszą kombinację publikacji (udziałów jednostkowych), spośród wszystkich sprawozdanych przez dany podmiot w danej dyscyplinie – jego celem jest stworzenie zestawienia publikacji o sumarycznie najwyższej punktacji, bez przekraczania nałożonych limitów. Szczegółowe działanie techniczne zostało omówione podczas warsztatów na kanale YouTube OPI PIB

Co działo się między 1 a 10 lutego 2022? 

Przez pierwsze 9 dni lutego pracował algorytm optymalizujący na danych, które zostały pobrane 31 stycznia do SEDN z POL-on i PBN. W tym czasie algorytm przeliczył wynik około 150 razy dla każdego ewaluowanego podmiotu i każdej ewaluowanej dyscypliny. Spośród tych wyników został wybrany najkorzystniejszy – to ten który jest widoczny od 10 lutego w SEDN.  

Algorytm prezentuje wykaz publikacji wskazany jako optymalne zestawienie, które daje najwięcej punktów. To zestawienie osoby z rolą Koordynatora (dla przypisanych mu dyscyplin) lub Kierownika (dla wszystkich dyscyplin) mogą ręcznie modyfikować w SEDN. Jest na to czas do 2 marca (włącznie). 

W kolejnym kroku, osoba z rolą Kierownika powinien zaakceptować zestawienie osiągnięć publikacyjnych w module Ewaluacja w SEDN i tym samym przekazać je do oceny. Ten proces jest odwracalny do 2 marca. Wiążący jest stan zestawienia na dzień 2 marca. 

Jeśli w zestawieniu przygotowanym przez algorytm, Koordynator lub Kierownik nie dokonają zmian i go nie zaakceptują, system zaakceptuje je automatycznie 2 marca i przekaże do oceny. 

Czy możliwe jest, że wynik z 31 stycznia różni się od tego z 10 lutego 2022? 

Jest to możliwe, jednak zmiana jest na korzyść. Wynik pracy algorytmu prezentowany w SEDN 31 stycznia był opracowany na podstawie danych z 30 stycznia – jest to podstawowy argument przemawiający za zmianą wyniku. Wartość punktowa ewaluowanego podmiotu w danej dyscyplinie, prezentowana 10 lutego, jest opracowana na podstawie danych pobranych 31 stycznia z POL-on i PBN do SEDN. 

Wersja produkcyjna SEDN – harmonogram dalszych działań

W nocy z 17 na 18 stycznia 2022 roku, aplikacja SEDN DEMO przestała działać. Jedyną działająca wersją SEDN jest wersja produkcyjna. Działanie obu wersji niczym się od siebie nie różni. Od 18 stycznia, pod adresem sedn.opi.org.pl zalogują się Państwo tymi samymi danymi co dzień wcześniej do SEDN DEMO. Po zalogowaniu będą widoczne dane pobrane w nocy z POL-on oraz PBN.  W zestawieniu Kryterium I w module Ewaluacja w SEDN będzie widoczne zestawienie publikacji przygotowane przez Algorytm Optymalizujący.

Nie należy w tej chwili akceptować tego zestawienia, z tego względu przycisk „Zaakceptuj zestawienie” został ukryty. Zawartość tego zestawienia będzie się zmieniać, ponieważ co noc będą pobierane nowe dane i będzie pracować algorytm. Przycisk pojawi się 1 lutego br., wtedy też podmioty ewaluowane w dyscyplinach artystycznych będą mogły z niego skorzystać, podmioty ewaluowane w pozostałych dyscyplinach dopiero po 10 lutego br. mogą akceptować zestawienie publikacji.

Codziennie w nocy do 1 lutego br. system będzie działał wg schematu:

  1. Pobranie danych z POL-on i PBN;
  2. Praca Algorytmu Optymalizującego;
  3. Pojawienie się nowego zestawienia osiągnięć w module Ewaluacja.

W kolejnych tygodniach harmonogram działań jest różny dla osiągnięć publikacyjnych i osiągnięć artystycznych.

Dla dyscyplin naukowych: 

Między 1 a 9 lutego będzie pracował Algorytm Optymalizujący na danych pobranych z POL-on i PBN. W tych dniach Państwo nie będą widzieli nowych danych w module Ewaluacja, ostateczne zestawienie pojawi się dopiero 10 lutego br.

10 lutego br. algorytm zaprezentuje ostateczną (najbardziej korzystną według wyliczeń) wersję zestawienia osiągnięć, którą będzie można ręcznie korygować.

Między 10 lutego a 3 marca br.:

  • osoba z rolą Koordynatora (dla przypisanych mu dyscyplin) lub Kierownika (dla wszystkich dyscyplin) może dokonać zmian w zestawieniu osiągnięć publikacyjnych wskazanych przez Algorytm Optymalizujący oraz patentów i praw ochronnych,
  • osoba z rolą Kierownika powinna zaakceptować zestawienie osiągnięć publikacyjnych (tym samym zaakceptować zmodyfikowane zestawienie patentów i praw ochronnych) w module Ewaluacja w SEDN i tym samym przekazać je do oceny.​ Ten proces jest odwracalny do 3 marca.  Wiążący jest stan zestawienia na dzień 3 marca br.

W przypadku modyfikacji zestawienia publikacji i/lub zestawienia patentów i praw ochronnych konieczna jest akceptacja Kierownika – kliknięcie przycisku „Zaakceptuj zestawienie” ponad widocznym zestawieniem. W przypadku braku akceptacji, do ewaluacji zostanie przekazane zestawienie przygotowane przez SEDN, zmiany ręcznie naniesione przez koordynatora lub kierownika nie zostaną wzięte pod uwagę – dotyczy to publikacji oraz patentów i praw ochronnych.

Jeśli w zestawieniu przygotowanym przez algorytm, Koordynator lub Kierownik nie dokonają zmian i go nie zaakceptują, system automatycznie je zaakceptuje 4 marca i przekaże do oceny.​

Dla dyscyplin artystycznych:

Między 1 a 15 lutego br. należy stworzyć zestawienie osiągnięć artystycznych w ramach Kryterium I w module Ewaluacja w SEDN:

  • osoba z rolą Koordynatora (dla przypisanych mu dyscyplin) lub Kierownika (dla wszystkich dyscyplin) tworzy zestawienie osiągnięć artystycznych w module Ewaluacja w SEDN. Szczegółowe informacje, jak technicznie wybrać osiągnięcia do zestawienia, znajdują się na stronie Pomocy SEDN.
  • osoba z rolą Kierownika musi zaakceptować zestawienie osiągnięć artystycznych w module Ewaluacja w SEDN i tym samym przekazać je do oceny.​ Ten proces jest odwracalny do 15 lutego.  Wiążący jest stan zestawienia na dzień 15 lutego br.

15 lutego br. jest ostatnim dniem, kiedy osoba z rolą Kierownika musi finalnie zaakceptować zestawienie osiągnięć artystycznych.

Dla wszystkich dyscyplin:

  • Projekty naukowe;​
  • Przychody z komercjalizacji i usług badawczych;​
  • Opisy wpływu.​

W SEDN nie przewidziano możliwości akceptacji zestawienia wszystkich ww. danych podlegających ewaluacji.​

Po tych terminach osiągnięcia będą podlegały ocenie Ekspertów Komisji Ewaluacji Nauki.

Ponadto przypominamy:

Do 31 stycznia br. jest możliwa korekta, uzupełnianie oraz weryfikacja danych w systemach źródłowych POL-on i PBN (ewentualne wprowadzenie nowych danych w uzasadnionych przypadkach).​

Do 31 stycznia br. kierownicy podmiotów są zobowiązani do złożenia w systemie POL-on oświadczenia potwierdzającego, że dane wprowadzone do systemu są zgodne ze stanem faktycznym.​

Szczegółowe informacje znajdują się na stronie Pomocy POL-on.​

Powyższe informacje zostały przedstawione graficznie również na stronie Pomocy SEDN.

Planowany harmonogram prac do końca 2021 roku


Październik

  • Udostępnienie modułu „Ewaluacja”, w którym kierownicy i koordynatorzy będą mieli dostęp do zestawienia osiągnięć K1 wskazanych przez algorytm optymalizacyjny oraz funkcję korekty zestawienia.*
  • Udostępnienie modułu „Ewaluacja” w zakresie osiągnięć artystycznych i funkcji doboru osiągnięć do zestawienia ewaluacyjnego.*
  • Udostępnienie danych finansowych oraz projektów naukowych w module „Osiągnięcia naukowe i artystyczne”.
  • Udostępnienie funkcjonalności oceny eksperckiej osiągnięć.
  • Wdrożenie zmian dotyczących przekształceń podmiotów.

Listopad

  • Udostępnienie zestawienia osiągnięć K2 – danych finansowych w module „Ewaluacja”*.
  • Udostępnienie danych osiągnięć K3 opisów wpływu działalności naukowej i artystycznej na funkcjonowanie społeczeństwa i gospodarki w modułach „Osiągnięcia naukowe i artystyczne” i w module „Ewaluacja”*.
  • Udostępnienie modułu monitoringu oceny dla KEN.
  • Udostępnienie funkcjonalności rozstrzygania rozbieżnych ocen eksperckich.

Grudzień

  • Udostępnienie funkcjonalności obsługi dla ekspertów.

*Termin udostępnienie modułu „Ewaluacja” może zostać przesunięty na zlecenie MEiN / KEN


Plan został ułożony na podstawie i z uwzględnieniem dotychczasowych prac w systemie. SEDN jest projektem zależnym od systemów zewnętrznych i z tego powodu mogą wystąpić niewielkie odchylenia terminów.