Metodologija analize „Što učimo našu djecu?“

1.Što sam analizirao

U kolovozu 2026. kupio sam 20 udžbenika iz kataloga odobrenih udžbenika MZO-a za gimnazije, objavljenog 14. 6. 2024.: sve odobrene udžbenike za 4. razred iz povijesti, geografije, biologije te politike i gospodarstva, četiri udžbenika hrvatskoga za 4. razred i četiri udžbenika informatike za 1. razred. Autore i nakladnike ne navodim.

Analizirao sam 5.172 stranice, bez korica te prvih pet i zadnje tri stranice svake knjige. AI je u njima našao 10.250 zadataka i 46.444 činjenične tvrdnje.

2.Kako je tekst došao do AI-ja

Udžbenike sam sam skenirao, list po list, u 300 dpi. Tekst je prepoznat na mom računalu, programom Tesseract, jer je u probi opći AI model „ispravio“ tipfeler iz udžbenika umjesto da ga prepiše.

AI modelima slali smo tekst iz udžbenika dobiven lokalnim prepoznavanjem teksta (OCR) i slike pojedinih stranica, preko API-ja, samo radi analize. PDF-ove, cijele skenove knjiga ni izvorne datoteke nismo slali niti dijelili. Na AI modelima su isključene mogućnosti treniranja AI modela s tim podacima.

Radio sam s modelima tvrtki Anthropic (Claude Opus 5.5, Sonnet 5.5 i Haiku 5.5) i OpenAI (GPT-5.5).

3.Kako je AI razvrstao zadatke

Pravila razvrstavanja napisao je AI uz moje vodstvo; zaključana su 13. 10. 2026., prije mjerenja, i isprobana na jednom cijelom udžbeniku. Claude Opus 5.5 pročitao je svih 5.172 stranice, izdvojio svaki zadatak i označio:

• razinu, od pamćenja do stvaranja (zapamtiti, razumjeti, primijeniti, analizirati, vrednovati, stvoriti), prema onome što učenik stvarno mora napraviti, bez obzira na glagol;
• na što se zadatak oslanja: naučeno znanje, sadržaj stranice, izvor ili internet, osobno mišljenje, istraživanje u okolini, rad u skupini, izradu nečega, digitalni alat ili stvarni današnji problem;
• koje od devet vještina za svijet s AI-jem vježba, od AI pismenosti i kritičkog mišljenja do suradnje i inicijative, s popisom zaključanim prije mjerenja;
• u zasebnom mjerenju još pet vještina: vlastito pitanje, provjeru, dilemu, prijenos na novu situaciju i razmišljanje o vlastitom učenju. Vlastito pitanje znači da učenik sam formulira pitanje, problem ili hipotezu, sastavlja pitanja za intervju ili anketu ili sam bira temu istraživanja; pitanja za ponavljanje i kviz ne broje se.

GPT-5.5 slijepo je ponovio označavanje na 932 stranice (jedan cijeli udžbenik i nasumičnih 15 posto stranica ostalih), gdje se 1.800 zadataka moglo spariti, a pet novih vještina na 4.123 zadatka. Oko toga traži li zadatak samo pamćenje ili objašnjavanje složili su se u 88 posto zadataka. Kod rijetkih kategorija postotak slaganja malo govori, pa sam gledao i Cohenov kappa, koji oduzima slučajna poklapanja; brojku pišem kad je barem 0,6 (za vlastito pitanje 0,88). Kad je jedan model neku kategoriju sustavno davao češće, pišem raspon: samo pamćenje ili objašnjavanje traži 35 do 43 posto zadataka. Za stvaranje slaganje je bilo preslabo (kappa 0,48), pa je i to samo raspon, 3 do 11 posto.

Samo jedan model, ili modeli bez dovoljnog slaganja, stoje iza brojki o osobama i uzorima, stranicama o umjetnoj inteligenciji, zadacima sa stvarnim današnjim problemom (pedesetak) i pojedincu koji rješava probleme.

4.Stranice i teme

Za svaku stranicu Opus je označio je li pretežno okrenuta prošlosti, sadašnjosti ili budućnosti, koje se od 17 tema na njoj pojavljuju, koje se osobe spominju i kome tekst pripisuje rješavanje problema, a GPT-5.5 slijepo je označio istih 932 stranice. Oko okrenutosti složili su se u 94 posto stranica, oko prisutnosti teme u 96 posto parova stranice i teme, oko spola osoba u 98 posto i oko njihove uloge u 92 posto. Od osam stranica koje je Opus označio kao okrenute budućnosti GPT-5.5 je u zasebnoj provjeri potvrdio sedam.

Umjetna inteligencija tema je na 18 stranica, a izraz „umjetna inteligencija“ doslovno stoji na 12 od njih. Izraza ChatGPT, GPT, LLM i „generativni“ u prepoznatom tekstu nema. Broj od 3.577 osoba broji različite zapise imena; varijante istog imena nisu spajane. I izjave o budućnosti, rastu i stanju svijeta razvrstao je i drugi model; gdje su se razišli, pišem raspon.

5.Točnost tvrdnji

AI je provjeravao AI, u četiri koraka.

1. Izvlačenje. Claude Opus 5.5 iz slike i teksta svake stranice izdvojio je činjenične tvrdnje s doslovnim citatom. Tvrdnji o datumima, brojevima, definicijama, tehnologiji i stanju u svijetu i Hrvatskoj ima 46.444. Svaku su zasebno ocijenili Opus i GPT-5.5.
2. Provjera na skenu i webu. Sve što je ijedan od njih ocijenio kao netočno, zastarjelo ili nesigurno (9.249 tvrdnji) i još 2.245 nasumičnih koje nijedan nije označio, ukupno 11.494, GPT-5.5 provjerio je jednu po jednu, čitajući sliku stranice i pretražujući web. Kao netočne ili zastarjele označio je 5.056.
3. Obrana. Claude Opus 5.5 za svaku od njih pokušao je obraniti udžbenik, sa slikom stranice i webom; obrana vrijedi samo za uobičajeno čitanje stranice. Obranio je 1.164 tvrdnje. Još 121 rečenica bila je citat tuđeg teksta, koji se ne broji kao greška udžbenika, a jednog citata nije bilo na stranici. Ostalo je 3.770.
4. Žiri. O 482 tvrdnje kojima je barem jedan model dao visoku ozbiljnost presudila su još tri modela, Opus 5.5, GPT-5.5 i Sonnet 5.5, svaki sam; 31 je izbačena jer su barem dva rekla da to nije greška.

Na kraju je 3.739 tvrdnji, oko 8 posto, ocijenjeno krivima (2.989) ili zastarjelima (750). Zastarjela tvrdnja bila je točna kad je napisana, ali u studenom 2026. više ne vrijedi; kriva nije bila točna ni tada. Pojednostavljenje koje ne uči ništa krivo prihvaćeno je.

6.Koliko vjerovati brojci 3.739

Brojku 3.739 izračunao je AI, a nijednu od tih tvrdnji nisam pojedinačno pregledao. Zato je AI svoj posao provjerio na pet načina.

• Je li dobro pročitao udžbenik? Za svaku tvrdnju model je usporedio citat sa skenom stranice. Kod 96,5 posto tvrdnji na skenu piše od riječi do riječi isto, pa te tvrdnje stvarno stoje u udžbeniku. Kod ostalih se riječi razlikuju, ali je model i njih ocijenio čitajući sken stranice.
• Bi li drugi put presudio isto? Model je 200 nasumično izabranih tvrdnji provjerio još jednom, ne znajući prvu presudu, i presuda se poklopila u 88,5 posto slučajeva. Kao da isti nastavnik dvaput ispravi isti test: u gotovo devet od deset slučajeva dao je istu ocjenu.
• Je li netko branio udžbenik? Svaku prijavljenu grešku pokušao je obraniti model druge tvrtke, sa skenom stranice i webom. Obrana je uspjela kod 1.164 od 5.056 prijava, gotovo svake četvrte, i te tvrdnje nisu ušle u 3.739.
• Na čemu se temelji ocjena? Uz svaku od 3.739 tvrdnji zapisano je što je točno i barem dva izvora s poveznicom, a za 98 posto njih tri ili više. Model dakle nije sudio napamet: svaku ocjenu potkrijepio je izvorima.
• Što je promaklo? Tvrdnje koje nijedan model nije označio nisu sve prošle temeljitu provjeru. AI je zato nasumično izvukao 2.001 takvu tvrdnju i provjerio ih jednako temeljito. Prema tom uzorku, među 34.950 neprovjerenih tvrdnji ima još oko 720 krivih ili zastarjelih.

Nijedna od tih provjera nije savršena. Među 3.739 može biti i tvrdnji koje nisu greške, a oko 720 grešaka provjeri je promaklo.

7.Kakve su to greške

Zbirno, bez podjele po udžbenicima i predmetima:

Godine i definicije gotovo nikad nisu zastarjele: te greške nisu bile točne ni na dan tiskanja. O Hrvatskoj je gotovo svaka druga greška zastarjelost, jer su od tiskanja došli euro, Schengen i novi popis stanovništva. Tako 36 zastarjelih tvrdnji još navodi iznose u kunama, a barem 8 brojki potječe iz popisa stanovništva 2011.

Ozbiljnost je procijenio GPT-5.5: niska je za 31 posto tvrdnji, srednja za 63 posto, a visoka za 6 posto. Kritičnih je pet. Kritična je samo tvrdnja za koju su tri modela, svaki sam, potvrdila da je greška nedvojbena, da je udžbenik tvrdi svojim glasom, da je riječ o važnom gradivu i da je posljedica teška, a ni napad s webom nije je srušio. U dvojbi je tvrdnja išla u nižu kategoriju.

Krive i zastarjele tvrdnje nalaze se na 1.970 od 5.172 stranice, a polovica ih je na 499 stranica. Obrana je spasila 1.164 tvrdnje, najčešće zbog konteksta stranice (371), prihvatljivog pojednostavljenja (251) te konvencije ili definicije (188), a za 135 pokazala je da je kritika bila kriva.

8.Sukobi među udžbenicima

Dva udžbenika istog predmeta ne mogu oba biti u pravu kad isti podatak navode različito. Takve parove Opus 5.5 tražio je među svim tvrdnjama, a Sonnet 5.5 još jednom za svaku od 11.494 temeljito provjerene tvrdnje. Svaki prijavljeni par Opus je slijepo provjerio s webom, a GPT-5.5 pokušao je obraniti udžbenike sa slikama obiju stranica. Na kraju su oba modela, svaki zasebno, morala potvrditi da obje rečenice govore o istom podatku i da su nespojive, uz sigurnost barem 4 od 5. Od 515 parova prošlo je 150, o 90 različitih podataka; to je donja granica.

9.AI rješava zadatke i maturu

Iz svakog udžbenika uzeo sam 12 nasumičnih stranica sa zadacima i s njih do 25 nasumičnih zadataka, ukupno 482. Claude Opus 5.5 rješavao ih je kao učenik, sa slikom stranice, a GPT-5.5 ocjenjivao kao strog nastavnik koji ne zna da odgovor piše AI. Od 425 zadataka koji se rješavaju pisanim odgovorom Opus je za četvorku ili peticu riješio 97 posto, a zadatke analize i vrednovanja 98 posto. Najjeftiniji Claudeov model, Haiku 5.5, uz Opusa kao ocjenjivača riješio je za četvorku ili peticu 81 posto zadataka, a zadatke analize i vrednovanja 73 posto. GPT-5.5 je blaži ocjenjivač od Opusa (na 100 Haikuovih odgovora složili su se u 92 posto slučajeva): kad isti ocjenjivač ocjenjuje obojicu, Opus dobiva četvorku ili peticu u 99 posto, a Haiku u 91 posto zadataka.

Opus je riješio i svih 12 ispita ljetnog roka državne mature 2024. i 2025. iz šest predmeta. Zatvorene zadatke bodovao sam strojno po službenom ključu, a otvorene je slijepo bodovao GPT-5.5 uz službeni ključ. Opus je osvojio 92 do 100 posto bodova, što je prema službenim pragovima petica na svakom ispitu, a petica je ostala i kad je sporne otvorene odgovore i eseje bodovao stroži drugi ocjenjivač. Ti su ispiti javni, pa ih je model mogao vidjeti dok je učio.

10.Vanjski izvori

Korištenje AI-ja među petnaestogodišnjacima uzeo sam iz NCVVO-ova izvješća o istraživanju PISA 2025, a učinke AI-ja na učenje iz rada Bastanija i suradnika (PNAS, 2025.) i još nerecenziranog rada Strömberga, Leija i Wua (CEPR, 2026.). Što će djeci trebati, uzeo sam iz 23 izvora: 17 institucija i šest ljudi iz AI-ja. Svih 33 kurikuluma pročitao je Claude Opus 5.5 i uz nalaze vratio citate. Ostali izvori i poveznice su na dnu članka.

11.Što objavljujem, a što ne

Udžbenike sam kupio i koristio samo za analizu, i ništa iz njih nisam prodao ni dao drugima. Skenove, slike stranica i cijele tekstove ne objavljujem. Članak ima oko 20 kratkih citata, većinom izraz ili jednu rečenicu, uz naziv udžbenika, radi kritike i primjera. Kartice udžbenika imaju sličice korica. Kod i upute modelima ne objavljujem javno; istraživačima i novinarima dajem ih na uvid na zahtjev.

Popis 3.739 krivih i zastarjelih tvrdnji ne objavljujem, ni po udžbenicima ni po predmetima. Javne su samo zbirne brojke, poput onih u odjeljku 7. Cijelu analizu za pojedini udžbenik dat ću nakladniku i autorima tog udžbenika, ako je zatraže. Zahtjeve primam na LinkedInu.

12.Ograničenja

• Udžbenik nije nastava; radne bilježnice i digitalne sadržaje nisam analizirao.
• Za hrvatski su u analizi dvije čitanke i dva integrirana udžbenika, bez dva udžbenika samo za jezik; za informatiku četiri od sedam udžbenika koje katalog navodi za 1. razred.
• AI je provjeravao AI, a modeli dviju tvrtki mogu dijeliti iste sklonosti.
• Neke brojke, pa i granice zadataka, odredio je samo jedan model.
• Zadatke i maturu AI je rješavao jednom.
• Izjave o stanju svijeta (542) potječu iz 11 udžbenika povijesti, geografije, politike i gospodarstva te biologije.

13.Trošak i trajanje

Udžbenici su stajali oko 589 eura (24 primjerka; četiri naslova kupio sam dvaput), a skener oko 411 eura. Rad AI modela preko API-ja stajao je, prema zbroju zapisanih stavki, oko 4.444 dolara, od čega je puni prolaz provjere točnosti 2.808 dolara. Iznosi su izračunati iz obrađenih tokena i objavljenih cijena, a zbroj nije potpun.

Udžbenike sam kupio 20. 8. 2026., skenirao od 10. do 12. 10., a AI ih je 12. i 13. 10. pročitao i razvrstao. Dodatna mjerenja, točnost, sukobi i matura rađeni su od 4. do 8. 11., a analiza je objavljena 9. 11. 2026. Radne sate nisam bilježio.