Written by 
Z życia wzięte
PIAAC (Programme for International Assessment of Adult Competencies) sprawdza stopień rozumienia tekstu czytanego, rozumowanie matematyczne oraz elastyczność w rozwiązywaniu problemów. To jedno z najbardziej prestiżowych badań społecznych na świecie i jedyne, które porównuje umiejętności dorosłych (w wieku 16–65 lat). Jest koordynowane przez Organizację Współpracy Gospodarczej i Rozwoju (OECD). W edycji 2022–2023 wzięło udział 31 krajów, w Polsce ankieterzy dotarli do prawie 10 tys. osób z różnym wykształceniem.
Badanie to test, który respondenci rozwiązują w tablecie. PIAAC nie publikuje jeden do jednego zadań, które zostały wykorzystane w badaniu. W raporcie międzynarodowym i tych, które opracowują ekipy z poszczególnych krajów, pokazuje się jedynie zadania oparte na tych samych założeniach – podobne, ale nie takie same.
– To nie są testy zaawansowanej wiedzy szkolnej, tylko z życia wzięte zadania. Dorośli, nawet słabo wykształceni, powinni sobie z nimi swobodnie poradzić – mówi dr Michał Sitek, kierownik polskiej edycji PIAAC i kierownik Zespołu Badań Umiejętności w warszawskim Instytucie Badań Edukacyjnych.
Najwyższe wyniki w każdej z trzech badanych kategorii uzyskali mieszkańcy Finlandii, Japonii, Szwecji i Norwegii. Polska we wszystkich trzech pomiarach uzyskała jeden z najsłabszych rezultatów – drugi i trzeci od końca (jedynie powyżej Portugalii i Chile).
Pluszak to też problem
Oto przykłady zadań, które zostało omówione w polskim raporcie PIAAC:
“Witamy w naszym przedszkolu!” – połowę kartki zajmuje regulamin placówki edukacyjnej dla najmłodszych. Zaledwie siedem spisanych zasad, m.in. godzina rozpoczęcia zajęć, informacja, że dziecko ma być ubrane wygodnie, zakaz przynoszenia słodyczy w urodziny i kilka innych punktów. Po drugiej stronie kartki mamy ogłoszenie o Dniu Pluszaka. “W piątek dzieci będą mogły przynieść swoją ulubioną maskotkę i przedstawić ją reszcie grupy” – informuje wychowawczyni. Zadanie brzmi: “Która z zasad regulaminu jest tymczasowo zawieszona w Dniu Pluszaka?”
Zadanie ma sprawdzić umiejętność rozumienia tekstu, a szczególnie: wyszukiwania informacji. Jest kilka wcześniejszych, prostszych etapów, ten z Dniem Pluszaka uchodzi za najtrudniejszy, bo wymaga porównania informacji z dwóch różnych tekstów: regulaminu i nauczycielskiego ogłoszenia. Kilka chwil zajmuje, żeby wyłowić spośród zasad tę, że “zabawki należy zostawić w domu”. Była zaszyta w punkcie o leżakowaniu, ale mózg najpierw szuka informacji o pluszakach. Wymaga nieco skupienia, ale wydaje się, że to banał.
Zadanie z liczbami mogło polegać np. na obliczaniu, ile rolek tapet zużyjemy do pokrycia wskazanej ściany w pokoju. Pokój był narysowany, wymiary podane, nie trzeba było nawet korzystać ze wzorów ani prowadzić obliczeń – formularz podsuwał cyfrowy kalkulator – taki jak do przeliczania walut na stronie internetowej. W okienko wpisuje się wymiary ściany, podane wymiary rolki, a algorytm sam oblicza wynik.
Prawie 40 proc. Polaków miało poważny problem z takimi zadaniami.
Dwa razy gorzej niż było
Już ponad dziesięć lat temu, po poprzedniej edycji PIAAC z 2012 r. (opublikowanej w 2013 r.) załamywaliśmy ręce. Badania wykazały wówczas, że co piąty Polak może nie zrozumieć ulotki reklamowej albo instrukcji obsługi pralki, a co czwarty – prostego wykresu. Trudno znaleźć słowa, by opisać fakt, że w najnowszej edycji badania odsetek Polaków, którzy sobie nie poradzili z zadaniami o najniższym poziomie trudności, wzrósł aż dwukrotnie. Spadek umiejętności jest zauważalny również w innych krajach, jednak to polski wynik jest najbardziej drastyczny.
Na poziomie najłatwiejszym z rozwiązywaniem zadań poradziło sobie aż 39 proc. badanych Polaków, gdy chodzi o rozumienie tekstu i 38 proc. w przypadku zadań, które mierzyły praktyczne wykorzystanie umiejętności matematycznych. Dla porównania, na tym samym poziomie rozwiązywało testy w Niemczech odpowiednio 17 i 16 proc. badanych, a w Czechach 19 i 18 proc. W Estonii zaledwie 8 i 9 proc. dorosłych miało wyniki w tych obszarach. Dodatkowo co dziesiąty badany z Polski nie potrafił sobie poradzić z zadaniami w ogóle (poniżej najniższego pierwszego poziomu).
Znajdź sklep, zrób zakupy? O nie!
Również odsetek osób z wysokimi umiejętnościami jest niski: tylko 2,5 proc. badanych osiągnęło poziom 4. (skala pięciostopniowa) w rozumieniu tekstu, a 3,7 proc. ten sam w matematyce. Jeszcze mniej, bo niespełna pół procenta badanych osiągnęło poziom najwyższy. Z krajów sąsiadujących z Polską znacznie lepiej wypadły pod tym względem Niemcy (18–19 proc. osób na poziomie 4. lub 5.), Czechy (14–16 proc.) i Estonia (22–29 proc.).
Według autorów badania istotą tzw. adaptacyjnego rozwiązywania problemów ma być “elastyczność, dynamiczne podejście do ich rozwiązywania i umiejętność korzystania z różnorodnych zasobów”. Zadania mogły polegać na tym, aby użyć interaktywnej mapy w celu wytyczenia najszybszej trasy. Polecenie wskazywało, aby zaplanować przewiezienie dziecka do szkoły i zrobienie zakupów po drodze w określonym czasie. Drugie polecenie – zrób to samo, ale omiń awarię wodociągu zaznaczoną na mapie. Prawie połowa (48 proc.) badanych Polaków rozwiązała zadania tego typu na najniższym poziomie. Z czego aż 8 proc. do tego poziomu nawet nie doskoczyło. Z najtrudniejszymi zadaniami poradziło sobie zaledwie 5 proc. badanych. “To zaskakujące, jeśli weźmiemy pod uwagę wyniki poprzedniego badania oraz zmiany struktury wykształcenia i sytuacji społeczno–ekonomicznej, które zaszły w ostatniej dekadzie w Polsce” – napisali autorzy raportu.
Chyba, że nas oszukali
Dalsza analiza raportu z badań PIAAC w Polsce nie poprawi nam humoru nawet o jotę. Spośród biorących udział w PIAAC 31 krajów, aż 11 doświadczyło spadku wyników w rozumieniu tekstu. Jednak w 4 z nich spadek był szczególnie duży: o 31 pkt w Polsce (najwyższy), 28 pkt na Litwie, 23 pkt w Korei i 21 pkt w Nowej Zelandii. Jeśli chodzi o rozumowanie matematyczne – wynik w stosunku do poprzedniej edycji spadł w 7 krajach, najbardziej na Litwie (22 pkt) i – niestety – znowu w Polsce (21 pkt). Polska ma na koncie jeszcze jeden mało chwalebny rekord – i to dotkliwy – duży spadek wyników w rozumieniu tekstów wśród osób z wyższym wykształceniem. Zanim się jednak ostatecznie załamiemy, warto wspomnieć o jednym, istotnym zastrzeżeniu.
Wyniki tegorocznej edycji badania PIAAC mają pewną skazę. Organizatorzy wykryli wiele błędów już na etapie gromadzenia danych.
W PIAAC ankieterzy spotykają się z badanymi w ich domach. Badanie trwa ok. dwóch godzin i składa się z dwóch części: najpierw ankieter wypełnia kwestionariusz dotyczący respondenta, potem wręcza badanemu tablet i następuje właściwa część – samodzielne rozwiązywanie testu. Okazało się, że właśnie z tą samodzielnością bywało różnie.
Wielu ankietowanych przeklikiwało się przez pytania. Być może omijali takie, które im nie leżały albo spieszyli się, aby badanie zakończyć. Aplikacja badawcza notowała bardzo krótki czas poświęcony na odpowiedzi oraz czy albo wysoki odsetek brakujących odpowiedzi. Nie jest jasne czy to wynikało z braku motywacji badanych, czy raczej z faktu, że założyli, iż nie znajdą odpowiedzi na pytania.
A może w ogóle ich nie widzieli? Bo w niektórych przypadkach kontrolerzy z PIAAC odkryli, że ankieterzy wypełniali test samodzielnie. Kontrolerzy zauważyli np. całe pakiety ankiet z jedną i tą samą cechą: brak odpowiedzi na łatwe pytania u osób wysoko wykształconych. Kolejną wyłapaną nieprawidłowością była niezwykła produktywność niektórych ankieterów – albo przeprowadzali wiele wywiadów tego samego dnia, czasem mimo dużych odległości albo nie wpisywali numerów telefonu respondentów, żeby utrudnić weryfikację wywiadów.
Podobnych przypadków były setki. Wykryto jest w sześciu krajach. Wyłapane ankiety z wątpliwościami zostały wyłączone z badań. I tak np. 406 na Litwie, 301 w Nowej Zelandii, 356 w Republice Słowackiej i 385 w Hiszpanii. O wiele więcej nieprawidłowości było w Izraelu – tam z badania wypadło aż 748 ankiet.
W Polsce poległo pod oskarżeniami najwięcej, bo kilkunastu ankieterów a z badania trzeba było wyłączyć najpierw 774, a potem jeszcze 559 niewiarygodnych ankiet. Nie wiadomo wcale, ilu z pozostałym można ufać w stu procentach. Dlatego w międzynarodowym raporcie jest zastrzeżenie: “Choć podobne przypadki występują we wszystkich krajach, liczba takich przypadków w Polsce może potencjalnie mieć istotny wpływ na szacowaną biegłość całej populacji. Należy o tym pamiętać, interpretując wyniki Polski”. Z tego powodu w OECD (2024) wyniki dla Polski zostały oznaczone ostrzegawczą gwiazdką.
Nie możemy w to uwierzyć
– Sami o tę gwiazdkę dla polskich wyników zabiegaliśmy – przyznaje dr Michał Sitek. Badacze rozważali, czy w ogóle nie wycofać polskiego raportu i rezultatów badań.
– Spadek w takiej skali wydaje się mało wiarygodny. Skąd nagle dwukrotny wzrost osób z najniższymi wynikami? Nie mogliśmy w to uwierzyć – mówi naukowiec. – Ludzie masowo kupują bilety na pociąg w internecie, czytają rozkłady jazdy, korzystają z GPS, odnajdują się w zawiłościach NFZ i wykupują cyfrowe recepty. Gdzie ci analfabeci? – mówi.
Diagnoza przyczyn upadku intelektualnej wiarygodności Polaków nie jest łatwa. Nie wiadomo, dlaczego wypadliśmy w tych badaniach tak fatalnie. Według polskiego zespołu, za znaczną część wyników odpowiada słaba motywacja respondentów. Przypuszczalnie dlatego trzykrotnie wzrósł odsetek braku odpowiedzi w stosunku do PIAAC z 2012 r. a jeśli chodzi o rozumowanie matematyczne tych “pustych” odpowiedzi było w aktualnej edycji nawet cztery razy więcej.
Gdy pytam o ewentualne oszustwa w ankietach, dr Sitek mówi, że te niewiarygodne ankiety skutecznie wyłapali kontrolerzy w trakcie badań. Sprawa jest tym bardziej tajemnicza, że od wielu lat polscy nastolatkowie w podobnych badaniach – czyli w badaniu umiejętności 15-latków PISA – chwalą się dobrymi wynikami i już dawno dogonili czołówkę OECD. W tych samych obszarach, które sprawdza PIAAC. Dlaczego więc nastolatkowie, którzy przegonili Finlandię w PISA w 2013 r., gdy tylko dorośli wypadli fatalnie w badaniu dorosłych?
Zdaniem dr Sitka w Polsce, choć coraz więcej wiemy o umiejętnościach dzieci i młodzieży, znacznie mniej rozumiem to, co się dzieje u dorosłych. – PIAAC jest jedynym badaniem, które próbuje to mierzyć. Mamy jednak tylko dwa punkty pomiaru: z 2012 r. i 2023 r. Trudno więc precyzyjnie wnioskować o przyczynie zmian – mówi dr Sitek. Uważa, że tak dramatyczny wynik, trzeba zweryfikować kolejnymi badaniami.