Стручни критички осврт

Милица М. Јовановић, Razvoj modela za evaluaciju performansi menadžmenta tehnologije zasnovan na Triple Helix pristupu (Развој модела за евалуацију перформанси менаџмента технологије заснован на Triple Helix приступу). Докторска дисертација. Београд: Факултет организационих наука Универзитета у Београду, 2022, 6 предстрана без броја + 195 стр. (основни текст на штампаним странама 1–132; литература на стр. 133–160, прилози од стр. 161; арапска нумерација завршава се на стр. 186, а завршне стране носе римску нумерацију — биографија аутора на стр. I, списак радова аутора на стр. II–V, изјаве на стр. VI–IX; ментор проф. др Милан Мартић; комисија: М. Мартић, М. Леви-Јакшић, Г. Савић, Ј. Петковић, Г. Кокеза). Отворени приступ: НаРДуС.

---

I Предмет, грађа и мерило

Дисертација узима за предмет проблем који домаћа операциона истраживања и менаџмент технологије дуго препознају као тежак: како перформансе управљања технологијом мерити на нивоу националне економије, а да се при том избегне и произвољан избор пондера и једнодимензионално рангирање. Рад полази од уочене празнине — да, упркос мноштву глобалних индекса, „indeks koji se fokusira isključivo na upravljanje tehnologijom nije razvijen“ (стр. 36) — и на то одговара самосталним предлогом дводимензионалног мерног оквира. Тежиште рада јесте израда и провера мерног артефакта (модела и пратећих индекса), а не тестирање узрочних хипотеза природнонаучним поступком; та околност одређује како се чита цео методолошки слој и биће важна при мерењу свих замерки које следе.

Пре свега ваља изрећи мерило, изричито и без изузетка. Рукопис је пред комисијом био крајем марта 2022. године (Комисија за оцену завршене дисертације именована је 30. марта 2022, одлуком 05-01 бр. 3/36-4; реферат је поднет 18. априла 2022). Рад се овде мери искључиво према литератури, методолошким стандардима, прописима и стању струке који су постојали и били доступни пре тог тренутка. Ништа настало касније није мерило. То правило важи и за списак литературе овог осврта: свака његова јединица објављена је пре краја марта 2022, изузев саме дисертације и реферата комисије, и изузев извора за чињенице које се временом не мењају (уз назнаку). Формално, дуг рок израде (докторске студије уписане октобра 2012, рукопис завршен у марту 2022) уклапа се у прелазни режим Закона о високом образовању, по коме студенти уписани пре његовог ступања на снагу могу да заврше започети програм у року одређеном „у двоструком броју школских година потребних за реализацију студијског програма“ (Службени гласник РС, бр. 88/2017, чл. 148, ст. 1).

Рад је писан латиницом и цитира по систему аутор–година, без фуснота. Наводи из дисертације преузети су дословно, у писму рада, с бројем стране према штампаној пагинацији. Тврдње о методама и о садржини цитираних извора сравњиване су с изворним текстовима у издањима важећим на рок.

Још једну ствар треба рећи на почетку, јер штити рад од једне врсте пренаглашене замерке. Реч је о истраживању чији је исход артефакт — модел, метод и алат — а такав регистар легитиман је и признат: у пројектантском истраживању „the utility, quality, and efficacy of a design artifact must be rigorously demonstrated via well-executed evaluation methods“ (Hevner и др., 2004), при чему се сама демонстрација на изабраном случају признаје као корак верификације (Peffers и др., 2007). Отуда се строго мерило доказане или оповргнуте хипотезе на овај рад не сме применити механички. То, међутим, не ослобађа рад захтева да оно што тврди буде тачно, доследно спроведено и проверљиво из сопствене грађе.

II Шта рад доноси

Осврт је дужан да почне оним што дисертација јесте, јер је то и највећи део онога што она вреди.

Прво и најважније, рад доноси самосталан мерни оквир. Модел „ima dve dimenzije, prva je zasnovana na elementima Triple Helix koncepta (Univerzitet, Država i Privreda), druga dimenzija je zasnovana na osnovnim fazama menadžmenta tehnologije (Planiranje, Organizovanje i Kontrola)“ (стр. 6). Дводимензионална матрица — три корака управљања технологијом × три актера Triple Helix приступа — претвара теоријски оквир у мерљиву структуру, а њено језгро изричито је именовано као носећи допринос: „Kreiran je matrični model za upravljanje performansama menadžmenta tehnologije koji se zasniva na dve dimenzije: fazama tehnološkog menadžmenta i akterima Triple Helix modela“ (стр. 130). Артефакт стварно постоји и примењен је на 35 јединица, а његов део (индекс ефикасности) прошао је и спољну рецензентску проверу објављивањем у међународном часопису, што реферат комисије наводи.

Друго, рад доследно пресликава три аспекта мерења на три метода: агрегацију на Ивановићево одстојање и CIDI (индекси GIMT и GIMT-TH), ефикасност на анализу обавијања података (GIEMT и GIEMT-TH) и ефективност на Матрицу циљева (за Србију). То пресликавање провлачи се од увода до закључка и једна је од најчвршћих концептуалних вредности рада; уз то, у модел је уграђена и повратна спрега, чиме се систем схвата динамички, а не као статичка табела.

Треће, конструкција индекса ефикасности методолошки је коректно постављена: двофазни поступак спаја CCR модел супер-ефикасности с ограничавањем пондера (региони сигурности, Cooper, Seiford & Tone, 2007) и агрегацију по логици „benefit of the doubt“ без експлицитних улаза (Cherchye и др., 2007). Избор методе није произвољан него изведен из конкретне потребе — да се рангирају и међусобно ефикасне земље — а образложен је после систематизованог прегледа приступа. Тумачење зашто такав приступ не фаворизује богате земље тачно је: анализа обавијања података „dopušta svakoj zemlji da odabere onaj skup indikatora kojima će ostvariti najbolji mogući rang u odnosu na ostale posmatrane zemlje“ (стр. 117).

Четврто, рад садржи и унутрашњу проверу стабилности резултата, што је вредност: две CIDI перспективе (по корацима управљања и по актерима) међусобно се поклапају уз високу корелацију рангова — „iako rangovi imaju izuzetno visoku korelaciju, 0,9644“ (стр. 104) — што је независним прерачуном потврђено.

Пето, критичка ангажованост с туђим приступима стварна је, а не декоративна: рад оцењује туђе радове (за један приступ каже да су „rezultati zasnovani na ograničenom skupu indikatora (samo 6 indikatora) i stoga se moraju razmatrati sa rezervom“, стр. 60; за други да „autori nisu obuhvatili trećeg aktera Triple Helix koncepta, vladu, te se ovaj pristup može smatrati nepotpunim“, стр. 59) и из уочене празнине изводи сопствени допринос — да водећи приступ заједничке информације, „osim što omogućava poređenje i rangiranje posmatranih entiteta, ne pruža smernice za utvrđivanje strategija i politika“ (стр. 61).

Шесто, рад отворено набраја седам методолошких ограничења сопственог истраживања („Uprkos navedenim doprinosima, istraživanje ima i određena ograničenja koja treba imati u vidu“, стр. 131), укључујући изричито признату осетљивост резултата на састав узорка. Самокритичност те врсте предупређује знатан део методолошких замерки и повећава веродостојност рада.

Најзад, треба поштено рећи и оно што надилази појединачне вредности: где год су се тврдње рада могле сравнити с изворним текстовима метода и с његовим сопственим табелама и прилозима, у највећем делу су се показале поузданим. Аритметика Матрице циљева унутрашње је доследна, пондери и матрице дати су у прилозима уз ранг и ефикасност по земљи, приказ метода одговара изворницима (Ивановић, 1974; Cherchye и др., 2007; Riggs & Felix, 1983), а корелација рангова двеју перспектива тачно је репродукована. Ова поузданост основе није споредна: она је оно што уопште омогућава да се о раду расправља овако детаљно.

III Циљ, хипотезе и метод

Циљеви су постављени јасно и двојако. Научни циљ гласи да је реч о развоју модела: „Naučni cilj istraživanja je razvoj modela merenja performansi tehnoloških aktivnosti“ (стр. 6), а општи циљ дефинисан је квалитативно — да се уоче критичне области управљања технологијом и утврде правци за стратешке одлуке. Обе формулације одговарају пројектантском карактеру рада.

Хипотетички оквир изложен је изричито и нумерисано (стр. 6–7): општа H0 и посебне H1–H5, приказане и дијаграмом (Слика 1). По природи, H1–H3 су конструктивне (дефиниционе) тврдње о самом моделу (идентификација корака управљања; избор Triple Helix оквира; матрица корак × актер), H4 је исказ изводљивости — „Novi model se kombinovanjem statističkih metoda i metoda operacionih istraživanja može testirati i verifikovati na nivou nacionalne ekonomije“ (стр. 7) — а H5 пројектно-нормативна тврдња о употребљивости за одлучивање.

Најважнија замерка методолошком слоју јесте питање оповргљивости. За H0–H3 у раду не постоји критеријум по коме би исход могао бити негативан: H1 се, како рад сам најављује, „dokazivaće se posebna hipoteza H1 bibliografskim putem“ (стр. 9), а њена потврда изводи се самим чином класификације — „može se zaključiti da je dokazana posebna hipoteza H1“ (стр. 41). Преглед литературе, међутим, не може у строгом смислу да докаже конструктивну претпоставку; он је потврђује конструкцијом или синтезом. Најоштрије се то види код опште хипотезе, која је формулисана вредносно: развој модела „suštinski doprinosi utvrđivanju strategije održivog razvoja nacionalne ekonomije“ (стр. 6). Тврдња о суштинском доприносу звучи као узрочни исказ, а рад је верификован на једном пресеку (2015) без анализе несигурности, па се уопштавање мора читати опрезно. Реч „доказано“, коју закључак употребљава и за општу хипотезу — „osnovna hipoteza istraživanja je dokazana“ (стр. 130) — прикладније би гласила верификовано или демонстрирано.

Ту замерку, међутим, ваља одмерити према регистру рада. У пројектантским (дизајн) истраживањима конструктивне хипотезе потврђују се израдом и демонстрацијом артефакта, а не статистичким обарањем: управо то предвиђа смерница да се корисност артефакта показује ваљано изведеном евалуацијом (Hevner и др., 2004), а демонстрација на изабраном случају признати је корак поступка (Peffers и др., 2007). Мерено тим мерилом, H3 (постојање модела) и H4 (изводљивост метода) јесу потврђени — модел је израђен и примењен, методе су изведене на подацима — док остаје да H0–H2 нису постављене тако да могу да не важе, а закључак њихову потврду именује јаче него што поступак носи. Тежиште замерке је, дакле, на формулацији („доказано“) и на изостанку изричитог прага успешности, а не на самом методу верификације, који је за ову врсту рада легитиман.

Пресликавање три методе на три аспекта мерења спроведено је доследно и стварно (поглавља 5–6), а библиографски, статистички и метод операционих истраживања најављени у уводу заиста су и коришћени.

IV Појмовни оквир: менаџмент технологије, национални системи и Triple Helix

Прегледни део (поглавља 2–3) савремен је и систематизован. Литература је актуелна за рад предат 2022 (међу изворима су и Zhou & Etzkowitz, 2021; Cai & Ahmad, 2021), а прегледи менаџмента технологије, националних иновационих система, предузетничког екосистема и Triple Helix модела нису пуко набрајање него су критички усмерени ка уоченим празнинама које мотивишу модел. Табела упоредних приказа постојећих приступа (Табела 6) сажет је и користан сопствени допринос прегледу.

Замерке у овом делу тичу се тачности појединачних навода и приписивања и, по правилу, не дирају носеће закључке. Најозбиљнија по садржини јесте нетачно приписивање циљева одрживог развоја: рад наводи да их је дефинисао UNDP, док их је усвојила Генерална скупштина Уједињених нација Резолуцијом A/RES/70/1 (2015), а UNDP их промовише и подржава спровођење — то треба исправити. Уз то, датовање настанка појма националног иновационог система у крај деведесетих година противречи истом реду текста, који као пионире наводи Freeman (1987), Lundvall (1992) и Nelson (1993); реч је о словној омашци коју сама реченица исправља. Слично, појава парадокса продуктивности смештена је у педесете године, док је и цитирани извор и сам рад везују за седамдесете. Неколико приказа туђих радова верно погађа поенту, али је непрецизно у детаљу извора или метода (нпр. навођење рада који европски парадокс заправо преиспитује као потпоре тврдњи да се он потврдио; или квалификација једне студије као регресионе анализе, док изворни рад као метод наводи Lotka–Volterra једначине). Ниједна од тих омашки не носи главни аргумент, али их у монографском издању треба отклонити.

Овом делу припада и једна застарелост, коју сам рад другде демантује: на стр. 26 Стратегија 2016–2020 означена је као „trenutno je aktuelna Strategija naučnog i tehnološkog razvoja“ (стр. 26), иако је рукопис предат по истеку те стратегије и након усвајања Стратегије 2021–2025 „Моћ знања“, коју ауторка сама наводи на стр. 35 и у литератури. Реч је о редакцијском заостатку из ранијег стадијума писања у контекстуалном пасусу, без утицаја на верификацију модела (која користи податке за 2015).

V Модел и избор индикатора

Језгро модела (поглавље 4) јесте, како је већ речено, највећа вредност рада: дводимензионална матрица прецизно везује три актера за три корака управљања и уводи три аспекта мерења. Замерке у овом делу тичу се доследности приказа и оправдања појединих избора.

Прва је терминолошка неуједначеност носеће конструкције. Исти модел означава се наизменично као TMTH, EPMT и MEPMT (а на једном месту и словном заменом „MEMPT“); исти актер јавља се час као „Vlada“, час као „Država“; за исте појмове смењују се „stub“, „akter“, „komponenta“, „element“ и „sektor“. Значење је из контекста недвосмислено, али доследна употреба једне ознаке кроз цео рад олакшала би праћење аргумента и унакрсно позивање на резултате. Уз то, пресликавање корака управљања на улазно-процесно-излазни оквир (планирање као улаз, организовање као процес, контрола као излаз) јесте бранљиво — на националном нивоу индикатори контроле (патенти, публикације, БДП) мерљиви су системски излази — али поистовећивање функције контроле са системским излазом заслужује пуније изричито образложење.

Друга, тежа, тиче се избора и редукције индикатора. Полазни скуп од 34 индикатора сведен је за индекс ефикасности на 23, и то је у самом раду образложено само тиме што је „zbog visokih koeficijenata korelacije, baza je redukovana na predložena 23 indikatora“ (стр. 94); праг корелације, поступак избора и корелациона матрица нису приказани. Приручник за конструкцију композитних индекса, који ауторка и сама цитира, изричито тражи да се вишеваријациона анализа „should be used to study the overall structure of the dataset, assess its suitability, and guide subsequent methodological choices (e.g., weighting, aggregation)“ и да се питање корелисаности међу индикаторима разреши при пондерисању и агрегацији (OECD & JRC, 2008). Без прага и матрице тај корак није поновљив искључиво из дисертације — иако је коначан скуп од 23 индикатора дат у прилозима, а поступак разрађен у рецензираном раду на који се дисертација позива.

Трећа је претпоставка да се вредност индикатора који припада двама или трима актерима дели на половине, односно трећине, јер „akteri podjednako utiču na vrednosti ovih indikatora“ (стр. 94). Претпоставка је произвољна и њена осетљивост није испитана; у њену корист иде то што је транспарентно наведена, што је најнеутралнија у одсуству података по институцијама и што је рад сам изричито означава као ограничење (стр. 132). Најзад, у делу Матрице циљева агрегат GERD/BDP наведен је уз своје компоненте (GOVERD/BDP, BERD/BDP, HERD/BDP), што уноси благо двоструко бројање у димензији улагања; ефекат је мали и ограничен на Матрицу циљева примењену само на Србију, а главна верификација (анализа обавијања података и CIDI) тај агрегат не користи.

VI Методе (DEA, И-одстојање, Матрица циљева) и верификација на подацима

Методолошки апарат (поглавље 5) савремен је и коректно приказан, а верификација (поглавље 6) спроведена је на 35 јединица (34 земље и Србија) за 2015. годину. Ту се, међутим, налазе и најозбиљније замерке рада, и то не у избору метода него у извештавању о резултатима.

Најтежа је унутрашња несагласност коначног индекса ефикасности. Наративни приказ на стр. 98–99 наводи вредности којих нема у меродавној Табели 15: као три најефикасније земље помиње „Južna Koreja (1,220)“, „Island (1,162)“ и „SAD (1.018)“ (стр. 99), док Табела 15 Сједињеним Државама даје 0,6479 (ранг 23), а скор изнад јединице имају само две земље. Исти пасус као најслабије наводи „Turska (0,2486)“ (стр. 99) и уз њу Канаду и Аустрију, које су у табели у средини поретка, и тиме противречи истом раду, који Србију означава као последњу (35). Реч је о неусаглашености две верзије финалног прорачуна (наратив и Слика 48 наспрам Табеле 15); погађа кључни резултат ефикасности и његову проверљивост и мора се исправити доследним преузимањем вредности из Табеле 15. Утешно је, али не и довољно, што сам поступак анализе обавијања података и рангови у табелама остају исправни и проверљиви (Србија последња), што потврђује и независан прерачун дескриптивне статистике из скорова Табеле 15.

У исти круг спада и несагласна сумарна ћелија Матрице циљева: у Табели 24 укупна вредност стуба Универзитет (182,00) не одговара збиру сопствене колоне тежинских вредности (436,00), за разлику од осталих стубова где се вредности поклапају. Вредност 182,00 доследно се потом провлачи кроз Табелу 25, извештај за Србију и закључак, па је приказ интерно кохерентан око те бројке, али сама ћелија остаје неразрешена у штампаном раду; меродаван прорачун треба потражити у прилозима. Квалитативни закључак — да је Универзитет најслабији актер система Србије — потврђује, срећом, и независна анализа обавијања података, где је Србија по стубу Универзитета 32.

Три замерке тичу се методолошке потпуности, а све их рад делом сам ублажава. Прво, узорак од 35 јединица на једном пресеку тесан је у односу на број улаза и излаза по стубу: правило да број јединица треба да буде вишеструко већи од збира улаза и излаза каталог замки анализе обавијања података наводи као основни услов дискриминационе моћи (Dyson и др., 2001), а рад га и сам помиње (стр. 86). Рад тај притисак ублажава редукцијом на 23 индикатора, ограничавањем пондера и супер-ефикасношћу, али мала величина узорка слаби уопштивост. Друго, избор супер-ефикасног модела ради рангирања и међусобно ефикасних земаља методолошки је оправдан (Andersen & Petersen, 1993), али рад нигде не помиње познату могућност неизводљивости супер-ефикасности, нарочито под варијабилним приносом на обим (Seiford & Zhu, 1999); у овом скупу тај ризик се није материјализовао, па налаз не дира резултате, али би напомена оснажила уопштивост. Треће, систематска анализа несигурности и осетљивости није спроведена, иако цитирани приручник тражи да се она „should be undertaken to assess the robustness of the composite indicator“ (OECD & JRC, 2008); рад то делом надокнађује признатом осетљивошћу на састав узорка (ограничење 3, стр. 132), унутрашњом сагласношћу двеју CIDI перспектива (0,9644) и тиме што CIDI методологија у сродним радовима носи сопствену проверу робусности (Dobrota и др., 2016).

Уз то стоји и једна прецизнија него строга замерка на приказ методе пондерисања: тврдња да Приручник анализу обавијања података наводи као препоручени метод утврђивања тежина преоштра је — Приручник је приказује као једну од равноправних метода (уз факторску анализу, буџетску алокацију и друге), уз засебан одељак и истакнуте предности објективног пондерисања (OECD & JRC, 2008). Формулацију треба ублажити.

Матрица циљева (само за Србију) транспарентно је скалирана: „Ocena 10, odnosno optimističke vrednosti za svaki od indikatora“ одређене су као „prosečna vrednost koji su OECD zemlje ostvarile“ (стр. 106), оцена 3 као петогодишњи просек Србије, оцена 0 као најслабија вредност Србије. Одатле следи да закључак о „zadovoljavajući nivo efektivnosti“ (стр. 114) значи напредак изнад сопствене недавне основе, а не изнад OECD мерила; рад то у логици скале не крије, али би једна квалификациона реченица уклонила могућност погрешног читања. Осетљивије је што су у Матрицу циљева унети индикатори из Стратегије 2021–2025 примењени на податке из 2015 (анахронизам), а реперне вредности не наводе које тачно године улазе у петогодишњи просек ни из које базе — што умањује проверљивост оцена ефективности.

Записи неколиких једначина садрже штампарске грешке: ограничење BoD модела одштампано је као „≤ 0“ уместо стандардног „≤ 1“ (Cherchye и др., 2007), а именилац удела тежина у CCR моделу носи слободан индекс уместо истог одлучивачког ентитета. Да је рачунато с исправним ограничењима потврђују смислени супер-ефикасни скорови у Табели 14 (изнад јединице); реч је, дакле, о омашкама у запису, не у прорачуну, које ипак треба исправити.

Најзад, ознака скупа „34 OECD zemlje“ није прецизна за 2015: иако се број 34 поклапа с бројем чланица тада, састав укључује Летонију и Литванију (чланице тек од 2016. односно 2018) и изоставља Аустралију и Израел (чланице и 2015). Скуп је заправо вођен потпуном и упоредивом расположивошћу података, па би прикладније било означити га као 34 земље одабране према расположивости упоредивих података за 2015. годину. Избор не мења рангове ни закључке — сам списак земаља дат је у табелама — али ознаку треба прецизирати. У истом реду је и старост података: тачно је да је 2015. последња година с истовременим пресеком свих 34 индикатора за свих 35 јединица, али то у раду из 2022. треба изричито рећи, а не формулисати као да новијих појединачних година у базама нема.

VII Тумачење резултата, извештај за Србију и алат за Triple Helix механизме

Седмо поглавље преводи налазе у употребну раван и ту доноси две праве вредности: пример извештаја о перформансама за Републику Србију и алат за креирање механизама сарадње актера — „prilikom izrade doktorske disertacije, razvijen je alat za razvoj Triple Helix mehanizama“ (стр. 127). Резултати су уверљиво повезани с постојећом литературом преко појма „srpski inovacioni paradoks“ (стр. 126), а разграничење дијагностике (модел, приступ одозго-надоле) од интервенције (алат, приступ одоздо-нагоре) промишљено је и оправдава засебан алат.

Замерке су, међутим, стварне. Узорак извештаја за Србију (Слика 59) садржи преломну грешку: на једној страни називи актера уз вредности Матрице циљева замењени су (наведено Privreda 441, Univerzitet 376, Država 182, док Табела 25 даје Држава 441,67, Привреда 376, Универзитет 182), а на другој су испремештане вредности по корацима управљања, па се две стране извештаја међусобно противрече. То је осетљиво јер погрешан распоред (Држава као најслабија) противречи тексту на истој целини, где стоји да су „uslovi koje pruža Država iznad proseka“ (стр. 120). Тачне вредности налазе се у Табелама 21 и 25 и у радар-дијаграмима, а текстуални закључак је исправан — али узорак извештаја, који је управо демонстрациони артефакт рада, мора се лекторски исправити. У истом делу јавља се и појмовна омашка „faze Triple Helix modela“ (стр. 122), где кораци припадају димензији менаџмента технологије, а не Triple Helix-у; из целог рада је то недвосмислено, па је реч о лапсусу.

Извештај и алат треба, најзад, јасно означити као стручни (нормативни) допринос изведен из резултата модела, а не као емпиријски проверену интервенцију. Тврдњу да је алат одобрен од надлежне комисије и уврштен у приручник једног пројекта требало је поткрепити референтном јединицом, јер се из самог рада не може проверити.

VIII Приказ литературе, база и стратешких докумената

Литература је обимна и актуелна: од 304 нумерисане јединице, знатан део потиче из последњих пет година пре предаје (медијана године издања је 2014), а стратешки и методолошки документи (OECD приручник, националне стратегије научног и технолошког развоја, методологије глобалних индекса) и коришћени су у раду, не само наведени. То је солидна основа прегледа и верификације.

Питање које остаје тиче се поновљивости из саме дисертације. Приручник који рад узима за основу тражи да се увек треба вратити на податке, уз начело да је „transparency is primordial“ (OECD & JRC, 2008), а овде је тај корак испуњен половично: сирова матрица од 34 индикатора × 35 земаља није приложена; табела извора у Прилогу 2 изоставља OECD (најчешће коришћен извор) и „Ease of Doing Business“; за поједине индикаторе није наведен тачан назив или шифра серије, година по индикатору ни датум приступа; а рачунарски алат (солвер) којим су индекси израчунати нигде није именован. Извори јесу јавно доступне, именоване базе за 2015, а тежине и матрице у прилозима омогућавају проверу крајњих рачуна — па је реч о делимичној, а не о угроженој поновљивости; али допуна те табеле и прилагање сирове матрице знатно би је ојачали.

Из истог круга су и две мање омашке: национална стратегија 2016–2020 цитира се као (MPNTR, 2015), док је званично усвојена и објављена 2016 (Службени гласник РС 25/2016), па библиографски запис треба ускладити с датумом усвајања; а на стр. 116 једна реч у дословном наводу из Стратегије 2021–2025 одступа од изворне формулације — садржина је верна, али реч у наводу треба ускладити с изворником. Приказ структуре једног дигиталног индекса (пет димензија, 31 индикатор) тачан је за цитирани извор и стање до 2020; реструктурирање тог индекса објављено је у новембру 2021, свега неколико месеци пре предаје, па би напомена о томе била пожељна, али њен изостанак не чини приказ нетачним.

IX Једначине, слике, табеле и језик

Формална страна рада место је на коме је он био најмање брижљив, мада ни ту не у мери која дира садржину.

Позивања на слике и табеле местимично су погрешна: у поглављу 6 унакрсне референце систематски су померене за један у односу на стварне ознаке (нпр. резултати једног индекса налазе се у Табели 16, а текст упућује на „Табелу 17“), што је заостатак после ренумерисања; у поглављу 7 текст упућује на непостојећу табелу и на погрешне бројеве слика; поједине слике уведене су садржајно без изричитог позива бројем. Упутство Универзитета у Београду за облик и садржај дисертације изричито тражи да „све табеле и слике треба да имају одговарајући наслов и да буду нумерисане“ и да се, ако илустрација није изворни допринос аутора, наведе извор (УБ, 2019); наслови и извори јесу уредни, али унутрашњу тачност позивања треба ускладити.

Записи математичких ознака садрже неколико штампарских грешака поменутих у делу VI (ограничење BoD модела, индекс у CCR имениоцу, распон индекса у И-одстојању записан као „од 1 до n“ уместо „до m“, елемент кососиметричне матрице, обрнут редослед одузимања у кораку скале, двоструко нумерисано „7)“ у листи услова); све су формалне и сам смисао, потврђен резултатима, остаје исправан. На једној слици дијакритици č/ć приказани су као упитници услед грешке у рендеровању фонта — недостатак читљивости, не садржаја.

Језички слој носи низ лекторских омашки: словне грешке у преношењу презимена (нпр. „Haapsalo“ уместо „Haapasalo“; иницијали „A. M.“ пренети као лично име „Afie“; доследно „Salarnzadeh“ уместо „Salamzadeh“; „Quintiple“ уместо „Quintuple“), недоследну транскрипцију страних имена (у тексту се она углавном пишу у оригиналу, али се јављају и фонетски облици и погрешна слова), као и ситне граматичке и словне грешке у више поглавља. Најсистематичнија је већ поменута неуједначеност назива истог актера („Vlada“/„Država“) и назива самог модела. Ниједна од тих омашки не мења закључке, али их лектура монографског издања треба отклонити.

X Научни апарат

Апарат је, у ономе што се тиче потпуности пописа и доследности навођења, претежно уредан, уз неколико стварних пропуста.

Три позива у тексту немају одговарајућу јединицу у литератури: „Huijong (1993)“ (стр. 43) и „Halkos & Petrou (2019)“ (стр. 81) немају јединицу, а „Priego (2006)“ и „OECD (2020a,b)“ (обоје у Табели 6, стр. 63) не слажу се с литературом, где стоје Priego (2003) и OECD (2020) без суфикса. Непосредно цитиран извор који није у попису не може се проверити, па га треба допунити или ускладити. У супротном смеру, једна од 304 јединице (Halkos и др., 2016) остала је нецитирана, што одступа од правила да „у попису литературе не сме бити радова који нису цитирани, ни оних на које се у раду не упућује“ (УБ, 2019). Осам интернет извора нема датум приступа, који је део уредног записа онлајн извора (ISO 690:2010; APA, 2010) — тим пре што га преостала 33 извора имају, па је реч о неуједначености апарата коју треба довршити. Три посредна навођења уредно су означена изразом „citirano u“, али би за темељне дефиниције националних иновационих система било пожељно консултовати изворнике уместо секундарног извора.

Треба, ради правичности, рећи и супротно. Од 304 јединице, 303 се цитирају; нумерација слика, табела и прилога је без прескока; систем аутор–година доследан је, без мешања; посредних навођења је свега три. Ни удео самоцитата овде се не узима за ману: Правилник о докторским студијама Универзитета у Београду објављен рад садржински повезан с дисертацијом чини условом одбране (чл. 34), па је повезаност тема испуњење прописаног услова — рад на стр. 131 уредно назначава седам радова објављених током израде.

XI Однос рада и реферата комисије

Реферат комисије оцењује да је дисертација „написана према свим стандардима научно-истраживачког рада“ и наглашава самосталан дводимензионални приступ, доследну примену трију метода и употребну вредност извештаја за Србију. Тај део оцене одговара стању у тексту: носећи допринос — артефакт који укршта три корака управљања с три актера — стварно постоји, доследно је спроведен и делом спољно проверен.

Неколике појединости, међутим, ваља ускладити. Реферат наводи: „Креирано је 5 композитних индекса“, док рад изричито именује четири (GIMT, GIMT-TH, GIEMT, GIEMT-TH); и говори о десет поглавља, док главни текст има осам нумерисаних поглавља (литература и прилози броје се као девето и десето). Реферат, уз то, оцену „Све постављене хипотезе су верификоване“ износи без методолошке ограде о оповргљивости конструктивних хипотеза о којој је реч у делу III, и не помиње унутрашња неслагања у приказу коначног индекса ефикасности (наратив наспрам Табеле 15) ни несагласну сумарну ћелију Табеле 24 — управо места која стручни читалац најпре проверава. Ознаку „35 земаља“ реферат преноси тачно, али ознака „OECD земље“ не одговара тачном чланству за 2015. Ове напомене не дирају позитивну оцену, али би их евентуално монографско издање требало да разреши.

XII Шта остаје

Кад се све сабере, добија се оцена коју вреди изрећи у једном комаду, без ублажавања и без претеривања.

Дисертација Милице Јовановић солидан је и добро замишљен пројектантски рад који домаћим операционим истраживањима и менаџменту технологије доноси оно што досад није имало: самосталан дводимензионални мерни оквир — три корака управљања технологијом × три актера Triple Helix приступа — с три аспекта мерења пресликана на три метода (агрегација → Ивановићево одстојање и CIDI; ефикасност → анализа обавијања података; ефективност → Матрица циљева), верификован на 35 јединица за 2015. годину, уз пример извештаја за Србију и алат за механизме сарадње актера. Артефакт стварно постоји, методолошки је укорењен у релевантној литератури, унутрашња провера стабилности рангова је спроведена, а ограничења су поштено набројана. Тамо где се могло сравнити, рад се показао поузданим у ономе што тврди.

Слабости су, по оцени овог осврта, четвороструке, и ниједна не руши носећи допринос. Прва је епистемички статус хипотеза: општа и прве три посебне хипотезе постављене су тако да не могу да не важе, а закључак њихову потврду именује као доказ, док је реч о верификацији конструкције и демонстрацији — што је за пројектантско истраживање легитимно, али тражи прецизнију формулацију и изричит праг успешности. Друга, и најозбиљнија по проверљивости резултата, јесу унутрашња нумеричка неслагања на носећим местима: наративни приказ коначног индекса ефикасности противречи Табели 15 и сам себи, а сумарна ћелија Табеле 24 не одговара збиру сопствене колоне. Трећа је методолошка потпуност: изостала је анализа несигурности и осетљивости коју цитирани приручник тражи, редукција индикатора и претпоставка о једнакој подели вредности нису докраја образложене и поновљиве из самог рада, а мали узорак (35 јединица) тесан је за анализу обавијања података с толиким бројем индикатора. Четврта је формална: погрешна унакрсна позивања, преломне грешке у узорку извештаја, штампарске грешке у једначинама, неуједначена терминологија и лекторски пропусти у апарату.

Изнад свега тога стоји једна правилност: провере метода и приказ туђих решења изведени су брижљивије него извештавање о сопственим коначним резултатима, а највећи део онога што треба поправити већ је негде у раду тачно урађено — само на погрешном месту, недоследно спроведено или недовршено.

Пет измена биле би, по оцени овог осврта, најплодније у евентуалном монографском издању или наставку истраживања. Прво, ускладити наративни приказ индекса ефикасности с Табелом 15 и разрешити сумарну ћелију Табеле 24, тако да ниједан носећи резултат нема две верзије. Друго, спровести анализу несигурности и осетљивости (робусност рангова на избор индикатора, нормализацију, тежине и изостављање земаља), како то тражи Приручник (OECD & JRC, 2008), и приказати праг корелације и корелациону матрицу уз редукцију индикатора. Треће, формулацију о „доказаности“ хипотеза заменити исказом о верификацији и демонстрацији и поставити изричит критеријум успешности примене, чиме би пројектантски карактер рада био доследно изведен. Четврто, употпунити поновљивост — приложити сирову матрицу 34 × 35, допунити табелу извора OECD-ом и „Ease of Doing Business“, навести шифре серија, године по индикатору и рачунарски алат. Пето, лекторски прочистити узорак извештаја за Србију, унакрсна позивања, записе једначина и терминологију (један назив модела, један назив актера), и допунити недостајуће јединице литературе.

Уз ту врсту редакције — која у највећем делу не тражи ново истраживање него доследно спровођење и довршавање онога што је рад већ започео — ова дисертација остаје вредан и употребљив допринос, чији би мерни оквир и алат имали шта да кажу и доносиоцима одлука и стручном читаоцу изван уже теме.

---

Литература

Предмет осврта

Јовановић, Милица М., Razvoj modela za evaluaciju performansi menadžmenta tehnologije zasnovan na Triple Helix pristupu [докторска дисертација]. Факултет организационих наука Универзитета у Београду, 2022. (НаРДуС.)

Реферат Комисије о оцени докторске дисертације Милице М. Јовановић, Факултет организационих наука Универзитета у Београду, 18. април 2022.

Композитни индекси и анализа осетљивости

OECD & Joint Research Centre – European Commission, Handbook on Constructing Composite Indicators: Methodology and User Guide, OECD Publishing, Paris, 2008. DOI 10.1787/9789264043466-en.

Saisana, Michaela; Saltelli, Andrea; Tarantola, Stefano, „Uncertainty and sensitivity analysis techniques as tools for the quality assessment of composite indicators“, Journal of the Royal Statistical Society: Series A, 168(2), 2005, 307–323. DOI 10.1111/j.1467-985X.2005.00350.x.

Greco, Salvatore; Ishizaka, Alessio; Tasiou, Menelaos; Torrisi, Gianpiero, „On the Methodological Framework of Composite Indices: A Review of the Issues of Weighting, Aggregation, and Robustness“, Social Indicators Research, 141(1), 2019, 61–94. DOI 10.1007/s11205-017-1832-9.

Анализа обавијања података (DEA)

Cooper, William W.; Seiford, Lawrence M.; Tone, Kaoru, Data Envelopment Analysis: A Comprehensive Text with Models, Applications, References and DEA-Solver Software, 2. изд., Springer, New York, 2007. DOI 10.1007/978-0-387-45283-8.

Dyson, Robert G.; Allen, Rachel; Camanho, Ana S.; Podinovski, Victor V.; Sarrico, Conceição S.; Shale, Estelle A., „Pitfalls and protocols in DEA“, European Journal of Operational Research, 132(2), 2001, 245–259. DOI 10.1016/S0377-2217(00)00149-1.

Cherchye, Laurens; Moesen, Willem; Rogge, Nicky; Van Puyenbroeck, Tom, „An Introduction to ‘Benefit of the Doubt’ Composite Indicators“, Social Indicators Research, 82(1), 2007, 111–145. DOI 10.1007/s11205-006-9029-7.

Andersen, Per; Petersen, Niels Christian, „A Procedure for Ranking Efficient Units in Data Envelopment Analysis“, Management Science, 39(10), 1993, 1261–1264. DOI 10.1287/mnsc.39.10.1261.

Seiford, Lawrence M.; Zhu, Joe, „Infeasibility of Super-Efficiency Data Envelopment Analysis Models“, INFOR: Information Systems and Operational Research, 37(2), 1999, 174–186. DOI 10.1080/03155986.1999.11732379.

Ивановићево одстојање, CIDI и Матрица циљева

Ivanović, Branislav, „Comment établir une liste des indicateurs de développement“, Revue de statistique appliquée, 22(2), 1974, 37–50.

Dobrota, Marina; Bulajić, Milica; Bornmann, Lutz; Jeremić, Veljko, „A new approach to the QS university ranking using the composite I-distance indicator: Uncertainty and sensitivity analyses“, Journal of the Association for Information Science and Technology, 67(1), 2016, 200–211. DOI 10.1002/asi.23355.

Riggs, James L.; Felix, Glenn H., Productivity by Objectives, Prentice-Hall, Englewood Cliffs, NJ, 1983. (Felix, G. H.; Riggs, J. L., „Productivity measurement by objectives“, National Productivity Review, 2(4), 1983, 386–393, DOI 10.1002/npr.4040020407.)

Пројектантска (design science) истраживања

Hevner, Alan R.; March, Salvatore T.; Park, Jinsoo; Ram, Sudha, „Design Science in Information Systems Research“, MIS Quarterly, 28(1), 2004, 75–105. DOI 10.2307/25148625.

Peffers, Ken; Tuunanen, Tuure; Rothenberger, Marcus A.; Chatterjee, Samir, „A Design Science Research Methodology for Information Systems Research“, Journal of Management Information Systems, 24(3), 2007, 45–77. DOI 10.2753/MIS0742-1222240302.

Научни апарат и стандарди

Publication Manual of the American Psychological Association, 6. изд., APA, Washington, 2010. (7. изд. 2019/2020.)

ISO 690:2010, Information and documentation — Guidelines for bibliographic references and citations to information resources, ISO, Geneva, 2010.

Институционални и правни оквир (важећи на рок)

Универзитет у Београду, Упутство о облику и садржају докторске дисертације која се брани на Универзитету у Београду, Београд, 2019.

Универзитет у Београду, Правилник о докторским студијама на Универзитету у Београду — пречишћен текст („Гласник УБ“ 191/2016 … 230/2021), важећи марта 2022, чл. 34.

Закон о високом образовању, „Службени гласник РС“, бр. 88/2017 (са изменама до марта 2022), чл. 148, ст. 1.

Званични текст (чињеница која се не мења временом)

United Nations General Assembly, Transforming our world: the 2030 Agenda for Sustainable Development, Resolution A/RES/70/1, 25. септембар 2015.