докторска дисертација · рачунарска техника и информатика, софтверско инжењерство, образовна технологија
Софтверски систем за учење и примену алгоритама вештачке интелигенције
др Дражен Д. Драшковић — у време одбране асистент на Катедри за рачунарску технику и информатику Електротехничког факултета Универзитета у Београду (према реферату комисије)
Универзитет у Београду, Електротехнички факултет; 2018 (рукопис предат на преглед и оцену 28. јуна 2018, реферат комисије од 20. јула 2018); 150 страна, основни текст на странама 12–126; научна област Електротехника и рачунарство, ужа научна област Софтверско инжењерство; ментори проф. др Бошко Николић и проф. др Милош Цветановић; комисија: Б. Николић, М. Цветановић, З. Шеварац, П. Тадић, Ј. Протић
Пун текст рада и реферат комисије у Националном репозиторијуму дисертација у Србији (НаРДуС). Осврт: „Стручни критички осврт на дисертацију „Софтверски систем за учење и примену алгоритама вештачке интелигенције““, 21. септембар 2026., 17 страна, с пописом литературе.
Дисертација описује SAIL, софтверски систем који на јединственом интерфејсу и на више платформи симулира и визуелизује тридесет алгоритама вештачке интелигенције, уводи га у наставу предмета Интелигентни системи и приказује примене ван наставе. Осврт налази да је реч о солидном и добро изведеном инжењерском раду: систем је изведен из следиве везе преглед, мерила, захтеви, систем, централни артефакт потврђен је рецензираним часописним радом, а технички описи и рачунски примери у највећем делу су тачни. Главна слабост је вредновање у настави: поређење генерација без контролне групе, уз истовремену промену бодовања, без мера расипања и величине ефекта и с непотпуно документованом анкетом, из чега су ипак изведени узрочни закључци. Остале слабости тичу се поновљивости и презентације. Ниједна не руши инжењерско језгро рада.
Основне примедбе
| # | Примедба | Шта рад каже или ради | У чему је проблем | Стране | Мерило |
|---|---|---|---|---|---|
| 1 | Узрочни закључци из поређења генерација без контролне групе | Успех генерација пре и после увођења система пореди се без контролне групе, а закључци су узрочни: „Као резултат увођења овакве симулације“ и да је евалуација „показала да студенти постижу много већи број поена“. | Из таквог нацрта узрочност не следи: разлике међу генерацијама могу потицати и од промене популације, промене оцењивања, самоселекције на изборном предмету или општег тренда. Тврдњу је требало исказати као повезаност доследну с увођењем система. | 117, 118, 124 | Shadish, Cook, Campbell 2002; Wohlin и др. 2012; Kitchenham и др. 2002; Runeson, Höst 2009 |
| 2 | У истом раздобљу промењена је и структура оцењивања | Домаћи задатак уведен од школске 2009/2010. „носи 20% од укупног броја поена на предмету“ и заменио је теоријска питања. | Просечан број поена на испиту из 2009. зато није у потпуности упоредив с оним из каснијих година, а на том поређењу почива део закључака о учинку. | 120 | Shadish, Cook, Campbell 2002 (инструментација као претња унутрашњој ваљаности) |
| 3 | Без мере расипања, теста значајности и величине ефекта | Разлике се у табелама вредновања приказују само као сирови проценти и просеци, а узорак на изборном одсеку броји десетине студената по години. | Без мере расипања, интервала поверења и величине ефекта разлике у процентима тешко се могу назвати утврђеним ефектом. Тежиште замерке је изостанак величине ефекта и мере несигурности, а не пуко одсуство једне статистике. | поглавље 7 | Wilkinson и Task Force on Statistical Inference 1999; APA JARS 2008; Cohen 1988; Wasserstein, Lazar 2016 |
| 4 | Анкета: просечне оцене нигде нису дате бројем | О анкети се наводи само да је „узело учешће око 80% студената“, без апсолутног броја и без описа састављања упитника. Текст каже: „Просечна оцена по питањима приказана је у табели 9“, а табела 9 приказује испитне поене. | Носећа тврдња о задовољству студената остаје непроверљива из самог рада. Нема ни податка о ваљаности и поузданости упитника, иако је постојао готов, проверен инструмент за оцену употребљивости. | 121 | Kitchenham, Pfleeger 2002 и 2008; Brooke 1996 (SUS) |
| 5 | Шта поједине мере заправо мере и сукоб улога | Оцене наставника и асистента и процена оптерећења мере задовољство и оптерећење, без основице пре увођења система. Аутор је асистент на предмету чији рад анкета оцењује, а рад то не помиње. | Те мере не могу поткрепити педагошки учинак, а једна реченица о сукобу улога била би на месту. | поглавље 7 | Singer, Vinson 2002 |
| 6 | Уопштавање с једног предмета на студенте и инжењере уопште | Поједине закључне тврдње налазе с једног предмета на једном факултету уопштавају на „студенте“ и „инжењере“ уопште. | Такав домашај превазилази прикупљене податке; преносивост је начелно вероватна, али емпиријски непоказана изван овог предмета. | закључак рада | Runeson, Höst 2009 (спољашња ваљаност студије случаја) |
| 7 | Поновљивост: систем, код, упитник и подаци нису доступни | Систем, програмски код, примери, упитник и сирови подаци нигде нису дати као јавно доступни, верзије кључних алата нису наведене, а најављени развој вођен тестовима не прати ниједан документован тест. | Без верзија алата и без доступног кода и података налази се не могу поновити из самог рукописа. | поглавља 4–6 | Stodden и др. 2016; Sandve и др. 2013; Smith, Katz, Niemeyer 2016; ACM Artifact Review and Badging 2016 |
| 8 | Преглед постојећих система: мерило избора и оцењивања није изричито | Закључак да „ниједан систем нема све карактеристике“ почива на прегледу четрнаест система, али није речено по ком мерилу су баш они ушли у преглед ни ко је и како доделио оцене к1–к9. Један систем стоји у обе табеле без описа у тексту. | Мерило к9, реализована мобилна апликација, особина је коју нови систем по замисли има, па је закључак делом обезбеђен избором мерила. Изричит опис обухвата ојачао би проверљивост тврдње о непостојању потпуног система. | 16–17, 53 | Kitchenham, Charters 2007; Nikolić и др. 2009 |
| 9 | Непрецизности у приказу алгоритама | Рете алгоритму приписује се да „за разлику од класичног алгоритма директног уланчавања има константно време извршавања“; STRIPS планирање означено је као „NP-тежак проблем“; стабла одлучивања уопштено се именују као CART: „Из тог разлога се често називају CART“. | Рете смањује број поређења, али му време не постаје константно; пропозиционо STRIPS планирање је у општем случају PSPACE-комплетно; CART је конкретна методологија, а ID3 и C4.5 нису CART. Замерке су локалне и ниједна не погађа тезу. | 24, 30, 36, 47, 69, 75, 114 | Forgy 1982; Bylander 1994; Breiman и др. 1984; Deterding и др. 2011; Russell, Norvig 2009 |
| 10 | Датиран приказ алата и огледи ван наставе без метрике | Попис језика за Unity гласи: „За писање пројеката могу се користити програмски језици JavaScript, C# или Boo“. Огледи над великом количином података користе технике које нису међу симулацијама самог система, без дефиниције метрике и без описа поделе података. | Званична подршка за Boo укинута је још уз Unity 5. Бројеви из огледа имају ограничену доказну снагу за трећи циљ рада. | 76, поглавље 6.3.3 | Shaw 2003 (склад тврдње и вредновања) |
| 11 | Презентација и научни апарат | Носећи податак о порасту броја студената упућен је погрешно: „што се може видети са слике 46“, док прави приказ стоји на слици 49. Проценат уз однос 86/113 требало је да гласи 76,11, а не 76,22. Легенде и делови интерфејса дати су на енглеском, а кључни алати нису унети у попис литературе. | Омашке не дирају садржину, али нарушавају уредност и отежавају поновљивост. | 13, 117 | Правопис српскога језика 2010; ISO 690:2010; IEEE Editorial Style Manual 2017; Smith, Katz, Niemeyer 2016 |
Шта рад доноси
- Систематична таксономија градива: тридесет алгоритама у пет јасно разграничених група, с проверљивим мапирањем тема предмета на курикуларне препоруке ACM и IEEE.
- Упоредни приказ четрнаест постојећих система сведен на упоредиве димензије, из кога су захтеви за нови систем изведени, а не постулирани.
- Изворни инжењерски допринос: сопствени метод исцртавања графова и стабала на Андроиду, разложен на потпроблеме и решен изведеном геометријом, јер задовољавајуће библиотеке није било.
- Модуларна, вишеплатформска архитектура, с пројектним одлукама које следе из захтева, а не из погодности алата.
- Разрађени, рачунски тачни дидактички примери и поштено извештавање: слабији налаз анкете наведен је отворено и с узроком, а домашај доприноса формулисан скромно.
Образложење примедби
- Узрочни закључци из поређења генерација без контролне групеРад ради с целом популацијом генерације, трендови су доследни кроз више година и на оба одсека, а аутор свесно наводи шта је остало непромењено. То налаз чини уверљивим у оквиру предмета, али корелацију не претвара у доказан узрок.
- У истом раздобљу промењена је и структура оцењивањаПролазност, као однос положених и уписаних, том променом није захваћена, па се закључак сигурније ослања на њу него на просечне поене.
- Без мере расипања, теста значајности и величине ефектаРад образлаже избор мерила: пореди се само први испитни рок, на који излази већина студената.
- Анкета: просечне оцене нигде нису дате бројемРад поштено извештава о слабијем налазу на питању о самосталном учењу и наводи му узрок.
- Шта поједине мере заправо мере и сукоб улогаАнонимност анкете и њен институционални карактер практично умањују тај ризик.
- Уопштавање с једног предмета на студенте и инжењере уопштеДопринос је на другом месту формулисан скромно, као позитивна оцена студената укључених у истраживање.
- Поновљивост: систем, код, упитник и подаци нису доступниЦентрални артефакт спољашње је верификован рецензираним часописним радом, што надомешта део изостале документоване поновљивости.
- Преглед постојећих система: мерило избора и оцењивања није изричитоМобилно и самостално учење независно је постављен педагошки циљ рада, а не накнадни критеријум, па је аргумент ослабљен, не и оборен.
- Непрецизности у приказу алгоритамаСравњени са стандардном литературом, описи су у највећем делу тачни: сложеност минимакса, свођење на конјунктивну нормалну форму, аритметика фактора извесности и оптимална дужина пута у примеру претраживања држе.
- Датиран приказ алата и огледи ван наставе без метрикеC#, једини језик који је у раду и коришћен, наведен је исправно, а примене ван наставе поштено су уоквирене као приказ могућности.
- Презентација и научни апаратНаучни апарат је иначе изнад просека уредан: редослед првог помена одговара нумерацији, свако позивање има јединицу и свака јединица цитирана је бар једном.
Осврт не доводи у питање оригиналност рада и не тврди повреду академске честитости. Реч је о стручној критици тачности, метода и закључивања, с дословним наводима и странама дисертације. Као мерило су коришћени само литература, стандарди и прописи који су постојали пре предаје рукописа комисији (јун 2018).