докторска дисертација · организационе науке, менаџмент технологије, операциона истраживања, композитни индекси
Razvoj modela za evaluaciju performansi menadžmenta tehnologije zasnovan na Triple Helix pristupu
др Милица М. Јовановић — у време предаје рада асистенткиња на Факултету организационих наука Универзитета у Београду (према биографији у раду); данас доценткиња на истом факултету (према јавној страници факултета)
Универзитет у Београду, Факултет организационих наука; 2022 (комисија за оцену именована 30. марта 2022, реферат од 18. априла 2022; у НаРДуС-у рад носи датум 1. јул 2022); 6 предстрана + 195 страна, основни текст на странама 1–132, литература на странама 133–160, прилози од стране 161, завршне стране с римском нумерацијом I–IX; ментор проф. др Милан Мартић; комисија: М. Мартић, М. Леви-Јакшић, Г. Савић, Ј. Петковић, Г. Кокеза
Пун текст рада и реферат комисије у Националном репозиторијуму дисертација у Србији (НаРДуС). Осврт: „Стручни критички осврт на дисертацију „Razvoj modela za evaluaciju performansi menadžmenta tehnologije zasnovan na Triple Helix pristupu““, 22. септембар 2026., 16 страна, с пописом литературе.
Дисертација предлаже дводимензионални мерни оквир за перформансе менаџмента технологије на нивоу националне економије, три корака управљања укрштена с три актера Triple Helix приступа, и три аспекта мерења пресликава на три метода: агрегацију на Ивановићево одстојање и CIDI, ефикасност на анализу обавијања података и ефективност на Матрицу циљева, уз верификацију на 35 јединица за 2015. годину и пример извештаја за Србију. Осврт налази солидан и добро замишљен пројектантски рад, чији артефакт стварно постоји, доследно је спроведен и делом спољно проверен објављивањем, с унутрашњом провером стабилности рангова и поштено набројаним ограничењима. Слабости су четвороструке и ниједна не руши носећи допринос: општа и прве три посебне хипотезе постављене су тако да не могу да не важе, а закључак њихову потврду именује као доказ; наративни приказ коначног индекса ефикасности противречи меродавној табели, а сумарна ћелија једне табеле не одговара збиру сопствене колоне; анализа несигурности и осетљивости коју цитирани приручник тражи није спроведена, а редукција индикатора није поновљива из самог рада; унакрсна позивања, узорак извештаја, записи једначина и терминологија траже уредничку исправку.
Основне примедбе
| # | Примедба | Шта рад каже или ради | У чему је проблем | Стране | Мерило |
|---|---|---|---|---|---|
| 1 | Хипотезе које не могу да не важе, а закључак их назива доказаним | Хипотеза H1 „dokazivaće se posebna hipoteza H1 bibliografskim putem“ (стр. 9), а њена потврда изводи се самим чином класификације: „može se zaključiti da je dokazana posebna hipoteza H1“ (стр. 41); општа хипотеза формулисана је вредносно, развој модела „suštinski doprinosi utvrđivanju strategije održivog razvoja nacionalne ekonomije“ (стр. 6), а закључак каже „osnovna hipoteza istraživanja je dokazana“ (стр. 130). | За општу и прве три посебне хипотезе не постоји критеријум по коме би исход могао бити негативан; преглед литературе не може да докаже конструктивну претпоставку, а рад је верификован на једном пресеку без анализе несигурности. | 6, 9, 41, 130 | Hevner и др. 2004; Peffers и др. 2007 |
| 2 | Наративни приказ индекса ефикасности противречи меродавној табели | Као три најефикасније земље наводе се „Južna Koreja (1,220)“, „Island (1,162)“ и „SAD (1.018)“ (стр. 99), док Табела 15 Сједињеним Државама даје 0,6479 (ранг 23); исти пасус као најслабију наводи „Turska (0,2486)“ (стр. 99) уз Канаду и Аустрију, које су у табели у средини поретка. | Две верзије финалног прорачуна, наратив и Слика 48 наспрам Табеле 15; погађа кључни резултат ефикасности и његову проверљивост. | 99 | унутрашња сагласност рада |
| 3 | Сумарна ћелија Матрице циљева не одговара збиру колоне | У Табели 24 укупна вредност стуба Универзитет (182,00) не одговара збиру сопствене колоне тежинских вредности (436,00), а вредност 182,00 провлачи се кроз Табелу 25, извештај за Србију и закључак. | Ћелија остаје неразрешена у штампаном раду; меродаван прорачун треба потражити у прилозима. | 106 | унутрашња сагласност рада |
| 4 | Редукција индикатора без прага и корелационе матрице | Полазни скуп од 34 индикатора сведен је на 23 само с образложењем да је „zbog visokih koeficijenata korelacije, baza je redukovana na predložena 23 indikatora“ (стр. 94); праг корелације, поступак избора и матрица нису приказани. | Приручник за конструкцију композитних индекса тражи да вишеваријациона анализа води избор и разреши корелисаност при пондерисању и агрегацији; корак није поновљив из саме дисертације. | 94 | OECD & JRC 2008 |
| 5 | Претпоставка о једнакој подели вредности индикатора | Вредност индикатора који припада двама или трима актерима дели се на половине, односно трећине, јер „akteri podjednako utiču na vrednosti ovih indikatora“ (стр. 94). | Претпоставка је произвољна, а њена осетљивост није испитана. | 94 | OECD & JRC 2008 |
| 6 | Изостала анализа несигурности и осетљивости, мали узорак | Верификација је спроведена на 35 јединица за 2015. годину, без систематске анализе несигурности и осетљивости; Коксов и супер-ефикасни модел не помињу могућност неизводљивости супер-ефикасности. | Узорак од 35 јединица тесан је у односу на број улаза и излаза по стубу, а робусност рангова на избор индикатора, нормализацију и тежине није испитана. | 86 | OECD & JRC 2008; Dyson и др. 2001; Seiford & Zhu 1999 |
| 7 | Штампарске грешке у записима једначина | Ограничење BoD модела одштампано је као „≤ 0“ уместо „≤ 1“; именилац удела тежина у CCR моделу носи слободан индекс; распон индекса у И-одстојању записан је „од 1 до n“ уместо до m. | Записи противрече изворним методама и сопственим резултатима. | 86 | Cherchye и др. 2007 |
| 8 | Скала Матрице циљева и анахронизам индикатора | „Ocena 10, odnosno optimističke vrednosti za svaki od indikatora“ одређене су као „prosečna vrednost koji su OECD zemlje ostvarile“ (стр. 106), а закључак говори о „zadovoljavajući nivo efektivnosti“ (стр. 114); у Матрицу су унети индикатори из Стратегије 2021–2025 примењени на податке из 2015. | Задовољавајућа ефективност значи напредак изнад сопствене недавне основе, не изнад OECD мерила; реперне вредности не наводе тачне године ни базу. | 106, 114 | аргумент из грађе самог рада |
| 9 | Ознака „34 OECD земље“ нетачна за 2015. годину | Скуп укључује Летонију и Литванију, чланице тек од 2016. односно 2018, а изоставља Аустралију и Израел, чланице и 2015; податке из 2015. рад не образлаже изричито као последњи потпуни пресек. | Скуп је вођен расположивошћу упоредивих података, па ознака не одговара стварном чланству. | 94 | аргумент из грађе самог рада |
| 10 | Преломна грешка у узорку извештаја за Србију | На једној страни узорка (Слика 59) називи актера уз вредности Матрице циљева замењени су, а на другој су испремештане вредности по корацима управљања, што противречи тексту да су „uslovi koje pruža Država iznad proseka“ (стр. 120); уз то стоји лапсус „faze Triple Helix modela“ (стр. 122). | Узорак извештаја је демонстрациони артефакт рада, а две његове стране међусобно се противрече. | 120, 122 | унутрашња сагласност рада |
| 11 | Приписивања и датовања у прегледном делу | Циљеви одрживог развоја приписани су UNDP-у, а усвојила их је Генерална скупштина УН Резолуцијом A/RES/70/1; настанак појма националног иновационог система смештен је у крај 90-их, док исти ред наводи Freeman (1987), Lundvall (1992) и Nelson (1993); Стратегија 2016–2020 означена је као „trenutno je aktuelna Strategija naučnog i tehnološkog razvoja“ (стр. 26) иако рад на стр. 35 наводи Стратегију 2021–2025. | Чињеничне непрецизности и редакцијски заостатак у контекстуалним пасусима. | 26, 35 | United Nations General Assembly, A/RES/70/1, 2015 |
| 12 | Научни апарат: позиви без јединице и нецитирана јединица | Позиви „Huijong (1993)“ (стр. 43) и „Halkos & Petrou (2019)“ (стр. 81) немају јединицу у литератури, једна од 304 јединице остала је нецитирана, а осам интернет извора нема датум приступа; унакрсне референце у поглављу 6 померене су за један. | Упутство Универзитета у Београду тражи да у попису не буде радова који нису цитирани ни оних на које се не упућује; непосредно цитиран извор без јединице не може се проверити. | 43, 81 | Упутство о облику и садржају докторске дисертације, УБ 2019; ISO 690:2010; APA 2010 |
| 13 | Реферат: пет индекса и десет поглавља | Реферат оцењује да је дисертација „написана према свим стандардима научно-истраживачког рада“, наводи да је креирано пет композитних индекса и говори о десет поглавља, док рад изричито именује четири индекса, а главни текст има осам нумерисаних поглавља. | Реферат не помиње унутрашња неслагања у приказу коначног индекса ефикасности ни несагласну ћелију Табеле 24, а оцену о верификацији свих хипотеза износи без ограде о оповргљивости конструктивних хипотеза. | реферат | аргумент из грађе самог рада |
Шта рад доноси
- Самосталан дводимензионални мерни оквир: модел „ima dve dimenzije, prva je zasnovana na elementima Triple Helix koncepta (Univerzitet, Država i Privreda), druga dimenzija je zasnovana na osnovnim fazama menadžmenta tehnologije (Planiranje, Organizovanje i Kontrola)“ (стр. 6), примењен на 35 јединица и делом спољно рецензиран објављивањем.
- Доследно пресликавање три аспекта мерења на три метода, од увода до закључка, с уграђеном повратном спрегом.
- Методолошки коректна конструкција индекса ефикасности: двофазни поступак с ограничавањем пондера и агрегацијом по логици „benefit of the doubt“, уз тачно тумачење да анализа обавијања података „dopušta svakoj zemlji da odabere onaj skup indikatora kojima će ostvariti najbolji mogući rang u odnosu na ostale posmatrane zemlje“ (стр. 117).
- Унутрашња провера стабилности резултата: две CIDI перспективе поклапају се уз високу корелацију рангова, „iako rangovi imaju izuzetno visoku korelaciju, 0,9644“ (стр. 104), што је потврђено независним прерачуном.
- Отворено набројаних седам ограничења сопственог истраживања (стр. 131) и критичка, а не декоративна ангажованост с туђим приступима (стр. 59–61).
Образложење примедби
- Хипотезе које не могу да не важе, а закључак их назива доказанимУ пројектантским истраживањима конструктивне хипотезе потврђују се израдом и демонстрацијом артефакта; H3 и H4 јесу потврђене, а тежиште замерке је на формулацији „доказано“ и изостанку изричитог прага успешности, не на методу.
- Наративни приказ индекса ефикасности противречи меродавној табелиСам поступак анализе обавијања података и рангови у табелама остају исправни и проверљиви, што потврђује независан прерачун дескриптивне статистике из Табеле 15.
- Сумарна ћелија Матрице циљева не одговара збиру колонеКвалитативни закључак да је Универзитет најслабији актер система Србије потврђује и независна анализа обавијања података, где је Србија по стубу Универзитета 32.
- Редукција индикатора без прага и корелационе матрицеКоначан скуп од 23 индикатора дат је у прилозима, а поступак је разрађен у рецензираном раду на који се дисертација позива.
- Претпоставка о једнакој подели вредности индикатораТранспарентно је наведена, најнеутралнија је у одсуству података по институцијама и рад је сам означава као ограничење (стр. 132).
- Изостала анализа несигурности и осетљивости, мали узоракРад притисак ублажава редукцијом индикатора, ограничавањем пондера и супер-ефикасношћу, признаје осетљивост на састав узорка (стр. 132), а две CIDI перспективе међусобно се поклапају (0,9644).
- Штампарске грешке у записима једначинаСмислени супер-ефикасни скорови у Табели 14 потврђују да је рачунато с исправним ограничењима; реч је о омашкама у запису, не у прорачуну.
- Скала Матрице циљева и анахронизам индикатораЛогика скале није скривена; једна квалификациона реченица уклонила би могућност погрешног читања.
- Ознака „34 OECD земље“ нетачна за 2015. годинуИзбор не мења рангове ни закључке, јер је сам списак земаља дат у табелама.
- Преломна грешка у узорку извештаја за СрбијуТачне вредности налазе се у Табелама 21 и 25 и у радар-дијаграмима, а текстуални закључак је исправан; алат за Triple Helix механизме (стр. 127) стварна је употребна вредност.
- Приписивања и датовања у прегледном делуНиједна од омашки не носи главни аргумент, а верификација модела користи податке за 2015.
- Научни апарат: позиви без јединице и нецитирана јединицаОд 304 јединице 303 се цитирају, нумерација слика и табела је без прескока, систем аутор–година доследан, а удео самоцитата испуњава услов Правилника о докторским студијама (чл. 34), јер рад на стр. 131 назначава седам радова објављених током израде.
- Реферат: пет индекса и десет поглављаДео оцене који се тиче самосталног дводимензионалног приступа и доследне примене трију метода одговара стању у тексту.
Осврт не доводи у питање оригиналност рада и не тврди повреду академске честитости. Реч је о стручној критици тачности, метода и закључивања, с дословним наводима и странама дисертације. Као мерило су коришћени само литература, стандарди и прописи који су постојали пре предаје рукописа комисији (март 2022).