← основни подаци и примедбе · PDF · рад у НаРДуС-у
Стручни критички осврт
Јована Деветаковић, Генетички потенцијал веза (Ulmus laevis Pall.) за производњу наменског садног материјала. Докторска дисертација. Београд: Универзитет у Београду, Шумарски факултет, 2017, 248 стр. (основни текст на штампаним странама 1–182) (ментори: др Владан Иветић, ванредни професор, и др Драгица Станковић, виши научни сарадник; комисија за оцену: В. Иветић, Д. Станковић, М. Шијачић-Николић, М. Грбић и В. Поповић). Отворени приступ: НаРДуС.
I Предмет, грађа и мерило
Дисертација узима за предмет једну добро очувану, а мало проучену популацију врсте која у домаћем шумарству ретко доспева у жижу: веза (Ulmus laevis Pall.) на Великом ратном острву. Рад ту популацију од 89 стабала испитује на три нивоа — на нивоу популације (премер и оцена свих стабала, старосна структура, једарни микросателити и хлоропластне секвенце), на нивоу четрнаест изабраних тест стабала (урод, морфометрија плодова, семена и листова, садржај тешких метала у листовима и земљишту) и на нивоу half-sib линија (тест потомства у расаднику, два теренска огледа и процена потенцијала за биомасу). Замисао повезује генетичку варијабилност, квалитет садног материјала и намену — конзервацију, засаде кратке опходње, влажна станишта и, начелно, фиторемедијацију — и по томе је, за домаћу област семенарства и расадничарства, ретко амбициозна.
Пре сваке оцене ваља изрећи мерило, изричито и без изузетка. Рукопис је био предат у пролеће 2017 — комисију за оцену именовало је Наставно-научно веће Шумарског факултета одлуком од 29. марта 2017, а изјаве ауторке на крају рада носе датум 8. марта 2017 — па се рад овде мери искључиво према литератури, стандардима, прописима и знању који су постојали и били доступни пре тог тренутка. Ништа што је настало касније није мерило: ни доцнија издања стандарда, ни прописи донети после тога, ни методолошки радови објављени касније. То правило важи и за списак литературе овог осврта: свака његова јединица објављена је пре марта 2017, изузев саме дисертације и реферата комисије.
Наводи из дисертације преузети су дословно, у наводницима, ћирилицом (писмо у коме је рад писан), с бројем штампане стране у загради; позивања на литературу у самом раду писана су, по избору ауторке, латиницом, па се тако и преносе. Наводи из спољних извора дати су у изворнику. Цео текст рада и реферат комисије читани су у целини; бројеви страна односе се на штампану пагинацију дисертације.
II Шта рад доноси
Осврт је дужан да почне оним што рад јесте, јер је то и највећи део онога што он вреди.
Прво, рад доноси целовит, вишеслојан приказ једне популације која до тада није овако обрађена. Молекуларна варијабилност веза, како рад сам наводи, у Србији раније није испитивана; овде је премерена цела популација, старост оцењена на узорку, а на једарним микросателитима генотипизирано 81 стабло (уз упоредни узорак с Аде Циганлије). Уз то су секвенцирана четири хлоропластна региона која, по наводу рада, до тада нису била тестирана код ове врсте, у чему рад детектује нове варијабилне позиције — самосталан прилог који проширује оно што се о хлоропластном геному веза знало.
Друго, теренски и лабораторијски рад је обиман, документован и, у извођењу појединачних поступака, поновљив: инструменти су наведени с тачношћу мерења („Висине су мерене употребом висиномера VERTEX III, са тачношћу 1 cm“, стр. 28), метода дигестије и одређивања метала описана, а примарна грађа популације — премер и оцена свих стабала — дата у прилозима. Реферат с правом оцењује да је материја „методски успешно обрађена“ у делу који се тиче самих поступака.
Треће, а то је квалитет који осврт мора да истакне, рад је на носећим местима уздржанији него што би му амбиција допуштала. Ауторка не проглашава ниједну half-sib линију супериорном — „ниједна half-sib линија се не може издвојити као супериорна у све три године“ (стр. 182) — и верно извештава и о резултату који јој не иде у прилог: „Прираст пречника и висина садница веза у оба теренска огледа није могуће довести у везу са припадношћу одређеној half-sib линији“ (стр. 182). Старосни узорак сама означава непоузданим: „иако овај узорак по броју прелази половину укупног броја стабала у популацији, не може се сматрати поузданим“ (стр. 80). Код листова изричито раздваја измерену разлику од закључка о генотипу и тражи вишегодишња мерења (стр. 181). А при тумачењу корелација сама упозорава да значајност на великом узорку није јачина везе: „То што је слаба, а статистички значајна може се објаснити величином узорка (N=1400) и чињеницом да је Пирсонов коефицијент осетљив на величину узорка“ (стр. 134). Та методолошка самосвест је ретка и она — видеће се — брани рад од оштрине коју би иначе изазвале замерке на закључивање.
Четврто, где год су се тврдње рада могле сравнити с изворним подацима и с властитим табелама, у највећем делу су се показале тачним. Највећи број бројчаних неслагања које осврт бележи јесу омашке при преношењу сопствених вредности из табела (замене цифара, пренесене вредности из суседног одељка), а не грешке у мерењу или рачуну; тачан податак по правилу стоји у самој табели на истој или суседној страни. Приказ туђих резултата, где се могао проверити, углавном је веродостојан. Та поузданост фактографске основе није споредна: она омогућава да се о раду уопште расправља овако детаљно.
Оно што следи у овом осврту може се сажети у једну тезу. Рад је поузданији у мерењу и у приказу него у закључивању. Тежиште његових слабости није у извођењу појединачних поступака него у нацрту огледа и у ширини закључака у односу на основу — у прелазу с измерене значајне разлике на закључак о снажној генетичкој контроли и јаком утицају генотипа, и с малог узорка на принос по хектару. То није ситница, јер управо те формулације реферат издваја као најважније резултате.
III Циљ, хипотезе и нацрт истраживања
Циљ је постављен јасно: тестирање генетичког потенцијала веза с Великог ратног острва као основе за наменску производњу садног материјала. Полазне хипотезе, међутим, дате су само као „алтернативне“ и с неоперационализованим мерилима. Три од четири почивају на појмовима без задатог прага: „Генофонд популације веза на Великом ратном острву је довољно велики за селекцију стабала за наменску производњу садног материјала“, „Вез има велики потенцијал за производњу биомасе“ и „Вез има велики потенцијал за акумулацију тешких метала“ (стр. 26). Без унапред задатог мерила — најмањег броја матичних стабала или ефективне величине, циљаног приноса, референтне концентрације — и без нулте хипотезе, такве се тврдње објективно тешко и потврђују и обарају, а у закључцима ниједна није проверена поименице (реч „хипотеза“ у целом раду стоји само на стр. 26). Ово није капитална мана — операционализација постоји посредно, кроз показатеље у методици и резултатима — али јасно исписан критеријум потврде и изричита провера сваке хипотезе учинили би праћивост циља далеко чвршћом.
Једна од четири хипотезе овде тражи посебну реч, јер је погођена самим налазима. Хипотеза о великом потенцијалу за акумулацију тешких метала на незагађеном станишту не може се непосредно потврдити: концентрације су, по самом раду, „у опсегу нормалних вредности“ (стр. 181), а, по резимеу, не може се издвојити стабло које изузетно добро акумулира тешке метале. Уместо да ту хипотезу изричито означи као непроверену, рад је прећутно преусмерава ка утицају генотипа (што је друго питање) и ка препоруци о оплемењивању на толеранцију и фиторемедијацији. Препорука је, ваља рећи, ограђена речима о могућности и могућој употреби, па се не узима за прекорачење налаза; али изричита констатација да хипотеза о акумулацији остаје непроверена била би поштенија од преусмерења.
Нацрт истраживања треба поставити на почетку, јер одређује како се чита цео слој закључивања. У расадничком тесту потомства свака half-sib линија расте у једном реду („Саднице једне half-sib линије сађене су у једном реду“, стр. 31), а у теренским огледима примењен је систематски распоред који рад сам, под наводницима и с образложењем, назива континуираним: „Ради лакшег проналажења half-sib линија на терену примењен је ‘континуирани’ експериментални дизајн“ (стр. 55). Транспарентност тог описа је вредна — она читаоцу омогућава да сам одмери домет закључака. Њене последице по статистичко закључивање образлажу се у одељцима VI и VIII.
IV Популација и молекуларни маркери: узорак, локуси и закључци о генетичком диверзитету
Молекуларни део носи главну тврдњу рада о конзервационом потенцијалу и најбрижљивије је изведен на нивоу контроле квалитета података: нулти алели, „stutter“ бендови и одступање дистрибуција проверени су одговарајућим алатима, локус Ulm9 означен је као сумњив и та ограда се доследно провлачи кроз дискусију, а анализе су намерно рађене у два одвојена сета података „само са локусима Ulm2 и UR188a, а затим са сва три локуса (Ulm2, Ulm9 и UR188a)“ (стр. 82), чиме је осетљивост резултата на укључивање спорног локуса учињена видљивом. Из истог опреза потиче и узоран популационо-генетички аргумент којим се позитиван индекс фиксације не приписује инбридингу: „Инбридинг и укрштање у сродству, као и субструктура популације се такође могу искључити зато што ови процеси делују на све, а не на појединачне локусе“ (стр. 87). То је исправно и чува рад од погрешног закључка.
Ипак, овде лежи и најозбиљније ограничење рада на нивоу популације, и оно је методолошко, не рачунско. Од десет пробаних микросателитских локуса умножено је пет, од којих су два мономорфна и изузета, па све носеће процене — индекс фиксације, ефективна величина популације, тест уског грла (BOTTLENECK), STRUCTURE кластери, AMOVA — почивају на свега два до три полиморфна локуса, уз упоредну популацију с Аде Циганлије од свега 14 стабала. Мерено оним што методолошки водичи струке постављају као доњу основу за баш те анализе, то је уска подлога. За STRUCTURE, Pritchard, Stephens и Donnelly (2000) поуздано сврставање илуструју на „modest numbers of loci“ — примером од седам локуса; поузданост избора броја група (ΔK) изричито зависи од броја маркера, популација и индивидуа (Evanno, Regnaut, Goudet, 2005); тест уског грла тражи мерења на „several loci“ и хвата само скорашња уска грла (Cornuet, Luikart, 1996); поуздане процене ефективне величине траже, по правилу, „10–20 loci with 10 alleles; 50 individuals“ (Waples, Do, 2010), а за упоредну популацију од 14 стабала треба рећи да је испод препоруке да је за поуздану процену фреквенција алела довољно 25 до 30 индивидуа по популацији (Hale, Burg, Steeves, 2012). На то се надовезује и задржавање локуса Ulm9 упркос детектованим нултим алелима: у присуству нултих алела процене диференцијације су пристрасне — „When populations were significantly differentiated, F(ST) and genetic distances were overestimated in the presence of null alleles“ (Chapuis, Estoup, 2007) — што захтева опрез при вредновању тог локуса (Selkoe, Toonen, 2006).
Из тога не следи да закључак пада, него да га треба читати уз изричиту ограду. Оцена да популација има висок диверзитет једарног генома јесте бранљива, али не због инференцијалних процена него због поређења: очекивана хетерозиготност овде је упоредива с европским популацијама веза или виша од њих — рад наводи да су у „Централној Европи (He=0,513) и на Пиринејском полуострву (He=0,490), (Fuentes-Utrilla et al., 2014)“ вредности ниже (стр. 88). То поређење са спољним подацима носи оцену диверзитета боље него процене ефективне величине и уског грла на два-три локуса. Приметно је, међутим, да закључак на стр. 180 — „Резултати молекуларно-генетичких анализа показују да се популација веза са Великог ратног острва одликује високим нивоом генетичког диверзитета на нивоу једарног и хлоропластног генома“ — ограничење о броју локуса не преноси, иако га одељак резултата на више места изричито садржи. Исту ограду коју је рад савесно изнео за хлоропластни део („због малог броја тестираних индивидуа, неопходна су даља истраживања“, стр. 180) требало је изричито поновити и за једарни, у самом закључку.
Хлоропластни налаз захтева усклађивање тона. Оцена о високом нивоу варијабилности хлоропластног генома почива на свега две мутације код четири секвениране индивидуе и четири региона, уз само присуство/одсуство мутација, без хаплотипова и индекса диверзитета. У самом одељку и закључку рад је обазривији и налаз изричито означава као прелиминаран, па је реч о неусаглашености оптимистичне оцене у резимеу с обазривошћу одељка — прецизније би било рећи да су у до тада нетестираним регионима детектоване нове варијабилне позиције на малом узорку, што указује да варијабилност „може бити већа“ (стр. 180), како рад и формулише. (Реченица на стр. 99 о ниском нивоу варијабилности код веза односи се на ранија истраживања, а не на сопствени налаз, па се не сме читати као властита противречност.)
Најзад, вредна је уравнотеженост којом рад набраја могуће узроке вишка хомозигота на Ulm9 (Wahlund-ов ефекат, селекција, нулти алели, ефекат оснивача, дрифт) уместо да форсира једно тумачење, и опрез при приватним алелима („извођење закључака на основу приватних алела треба узети са резервом“, стр. 89). Тамо где су избори локуса и индивидуа учињени тек по увиду у податке (изузимање индивидуа 30 и 89, задржавање Ulm9 у другом сету), реч је о разложним поступцима контроле квалитета — али би закључке о одсуству инбридинга и одсуству уског грла ваљало изричито означити као условљене малим бројем полиморфних локуса.
V Тест стабла: урод, морфометрија плодова, семена и листова, тешки метали
На нивоу тест стабала рад је описно богат и уредно повезан с литературом. Разлике међу стаблима у клијавости, крупноћи плодова и семена и димензијама листова стварне су и добро приказане, а сопствене вредности доследно се смештају у ширу слику варијабилности врсте. Уочљиве су бројне козметичке омашке при преношењу сопствених вредности из табела — на пример максимум дужине плода стабла 19 наведен као 19,0 mm уместо 19,8 mm из Табеле 21 (стр. 105), или средња дужина семена стабла 21 као 6,47 mm уместо 6,74 mm (стр. 106) — али оне не мењају ниједан налаз: означено стабло у сваком случају остаје носилац наведеног максимума, а тачна вредност стоји у самој табели. Такве грешке су ствар лектуре и уједначавања, не разумевања.
Две тачке овде надилазе лектуру.
Прва је извор избора тест стабала. Четрнаест стабала бирано је квалитативно — „На основу фенотипских карактеристика, обилности урода и просторног распореда стабала извршена је селекција тест стабала“ (стр. 28) — без нумеричког прага, па се сама селекција тешко у потпуности понавља, а морфометрија тако предбираних стабала не сме се генерализовати на целу популацију. То није мана по себи: реч је о селекционом, а не репрезентативном узорку, у складу с циљем наменске производње из супериорних фенотипова, а носећа тврдња о диверзитету и не почива на тих четрнаест стабала него на молекуларним подацима са 81 стабла. Остаје да формулација у резимеу, која из морфометрије изводи „присуство високог нивоа генетичке варијабилности“, ту границу прекорачује: варијабилност плодова, семена и листова доказ је варијабилности међу изабраним стаблима, не мера диверзитета популације.
Друга, тежа, тиче се тешких метала. Закључак да су разлике у садржају метала „последица утицаја генотипа“ (стр. 181) изведен је из значајности анализе варијансе међу тест стаблима, без нацрта који раздваја наследни од срединског удела. Разлози за опрез су у самом раду. Најпре, статистичка основа: по методици је са сваког стабла узет један обједињен узорак („Сакупљано је 1-2 kg свежег биљног материјала са сваког стабла“, стр. 60), па три „понављања“ по стаблу у Табели 32 нису независни биолошки узорци него аналитичка мерна понављања — отуда готово нулта варијанса унутар група и екстремно високи F-односи (за гвожђе реда десет хиљада), који одражавају прецизност мерења, а не биолошку разлику. Ту је инференцијални скок ка тврдњи о великом утицају генотипа неоснован: разлике међу стаблима треба изнети описно, кроз распоне вредности, а не као резултат формалног теста. Затим, сама Табела 33 показује значајне корелације садржаја у листу и у земљишту (нпр. Zn 0,69; Ni 0,68; Mn 0,70), што говори да средина битно одређује садржај у листу; а узорковање је једнократно (септембар 2014), с једне популације, без огледа заједничке средине и без процене херитабилности. Раздвајање генотипа од средине тим нацртом није могуће, па синтагму о великом односно јаком утицају генотипа треба ублажити на исказ о разликама међу стаблима уз могући генотипски допринос. Правичности ради, треба рећи и да ауторка на истом месту покушава једини вид контроле средине који јој је на располагању — пореди блиска стабла на истом локалитету („Као најслабији акумулатор можемо означити стабло 29… посебно у односу на стабло 31 које се налази у његовој непосредној близини“, стр. 128) — и да управо код листова изричито именује срединско ограничење и потребу вишегодишњих мерења („неопходно је више година за редом спроводити оваква истраживања“, стр. 181). Ту исту ограду ваљало је пренети и на метале.
Завршна оцена да су концентрације метала „у опсегу нормалних вредности“ (стр. 181) — а посебно биолошки релевантан садржај у листу — није везана за именоване граничне и ремедијационе вредности. За земљиште, ваља то признати, рад тумачење ослања на именована мерила: критичне вредности De Vries, Bakker (1998) за цинк, олово и никл, и правилник о дозвољеним количинама опасних и штетних материја („Службени гласник РС“ бр. 23/94), по коме је максимално дозвољена концентрација никла у земљишту до 50 mg/kg (стр. 119). У земљишту је рад и сам забележио прекорачење: „вредности веће од 200 mg/kg забележене су на локалитету 2 (263,75 mg/kg) и 5 (288,37 mg/kg)“ (стр. 118), да би завршни исказ ублажио на „у опсегу нормалних вредсности са минималним одступањима, међутим, мониторинг стања на овом подручју је неопходан“ (стр. 130). Тензија је стварна, али блага, јер је прекорачење у земљишту (не у листовима), а биолошки релевантан садржај у листу остаје у нормалном опсегу. Ипак, за биљно ткиво, уместо неодређеног опсега нормалних вредности, тумачење би добило да је везано за именоване граничне и ремедијационе вредности — оквир какав за земљиште даје Уредба о програму системског праћења квалитета земљишта („Службени гласник РС“ бр. 88/2010, Прилог 3: „Граничне и ремедијационе вредности концентрација опасних и штетних материја“, поменут у чл. 12), уз референтне опсеге за биљке (Kabata-Pendias, 2011). Треба додати и да за анализу метала рад наводи само метод разлагања — екстракцију царском водом по ISO 11466, стандарду за земљиште — примењену и на биљно ткиво, за које постоје наменски протоколи, док за само одређивање атомском апсорпцијом не наводи ниједан стандард. То не обеснажује мерења, али мониторингу поузданости недостају уобичајене контроле (слепе пробе, референтни материјал, границе детекције), које метода не помиње.
Уз то стоји и вредна одговорна препорука изведена из сопствених налаза: „Имајући у виду да је Велико ратно острво проглашено за Предео изузетних одлика мониторинг загађености овог подручја је неопходан“ (стр. 181).
VI Half-sib линије: тест потомства, теренски огледи и тврдња о генетичкој контроли
Овде је језгро практичног доприноса рада, али и најосетљивија тачка закључивања.
Носећа тврдња дела гласи да је „Током сва три периода раста у тесту потомства утврђена … снажна генетичка контрола на нивоу half-sib линија“ (стр. 182), а изведена је из значајности једнофакторске анализе варијансе: посматране карактеристике садница „су статистички значајно различите (One-Way ANOVA, p<0,05), између различитих half-sib линија (Табела 37), што указује на јаку генетичку контролу раста једногодишњих садница“ (стр. 135). Три ствари ту сужавају домашај квалификатива „снажна/јака“.
Прво, метода не даје меру наследности. Херитабилност је однос компоненти варијансе, а не значајност разлике међу фамилијама; она се процењује из компоненти варијансе тестова потомства, по правилу из више средина ради раздвајања интеракције генотипа и средине (Falconer, Mackay, 1996; White, Adams, Neale, 2007). Значајна анализа варијансе показује да разлике међу фамилијама постоје, али без компоненти варијансе и интервала поверења не мери колика је генетичка компонента — а управо на изостанак величине ефекта и интервала поверења уз тест значајности упозорава добра пракса извештавања: „NHST does not provide us with two crucial pieces of information: (1) the magnitude of an effect of interest, and (2) the precision of the estimate“ (Nakagawa, Cuthill, 2007). Уз то, реч је о фамилијама из слободног опрашивања, код којих је стварно сродство унутар „полусродне“ фамилије често веће од претпостављеног, па се адитивна варијанса из њих прецењује ако се узме чист half-sib однос (Squillace, 1974); а у ране разлике међу линијама улазе и мајчински ефекти преко крупноће семена, који се не смеју просто приписати генотипу потомства (Roach, Wulff, 1987) — што важи и за предност класа „великих и средњих“ садница.
Друго, огледна јединица није појединачна садница. Понављања из леја (три по линији) губе се пресадњом, после које је свака линија у једном реду, а анализа варијансе рачуната је на појединачним садницама (N=700 за једногодишње), без фактора реда или понављања. То је псеудорепликација у смислу у коме је дефинише Hurlbert (1984) — испитивање дејства третмана с чланом грешке неприкладним постављеној хипотези, односно кад третмани нису поновљени или понављања нису статистички независна; исти извор изричито упозорава и на сегрегирани (а не испреплетани) распоред третмана. Последица је да је N вештачки увећан, а p-вредности оптимистичне. Треба, у корист рада, рећи да су све линије расле у истом расаднику под изједначеним условима, па је срединска разлика међу суседним редовима мала, а F-односи су толико високи да би квалитативни закључак о постојању разлика међу линијама највероватније опстао и уз исправно угнежђену анализу; али статистичку значајност требало је проценити моделом који укључује ред/понављање, а степен утицаја не квантификовати.
Треће, сам рад своју тврдњу држи на узди. У истом закључку у коме стоји „снажна генетичка контрола“ стоји и да „ниједна half-sib линија се не може издвојити као супериорна у све три године“ (стр. 182), а неколико реченица даље да се прираст у оба теренска огледа „није могуће довести у везу са припадношћу одређеној half-sib линији“ (стр. 182) — што је поштено пренет незначајан налаз. Та два исказа стоје један поред другог без изричитог помирења, а разлика је у условима: разлике међу линијама утврђене су у контролисаном расаднику, а изостанак ефекта линије у једносезонском праћењу на терену, с јаким срединским чиниоцима. Управо зато је уместо синтагме о снажној генетичкој контроли примереније говорити о утврђеном утицају линије, односно о индицији генотипског утицаја на раст.
Теренски огледи траже двоструку ограду. Систематски „континуирани“ распоред у пољу заправо распоређује сваку линију кроз све редове („Редови су формирани тако што је у првом реду посађена по једна садница из сваке half-sib линије“, стр. 55), па тамо линија није конфундирана с редом — што иде у прилог раду. Али два огледа се истовремено разликују по више чинилаца: по локалитету и клими, типу земљишта, броју садница, датуму садње (новембар 2013 наспрам март 2014) и мери неге, уз поплаву у првој сезони — при чему је нега документована, а изостала међу објашњењима разлике у расту: „острво у периоду мај-септембар више пута је вршено машинско кошење корова око садница, док на теренском огледу Бостаниште нису вршене мере неге засада“ (стр. 57). Свако директно поређење Великог ратног острва и Бостаништа зато је конфундирано и мора се читати као оквирна процена понашања врсте на влажним стаништима, не као тест ефекта линије или локалитета — што рад својим уздржаним закључком већ поштује. За овакав тип огледа с фамилијама из слободног опрашивања меродаван приручник струке прописује понављања, несистематски (блоковски) распоред и одвојену огледну јединицу (Williams, Matheson, Harwood, 2002; Quinn, Keough, 2002).
Уз све то, вредни су и употребљиви налази овог дела: висок опстанак пресађених садница постигнут је и у сушној години и без заливања, а класирање садница по висини и пречнику — недеструктивним показатељима — предвиђа задржавање предности великих и средњих садница на терену. Тај практични налаз стоји непосредно из средњих вредности класа (Табеле 59 и 66), независно од слабе корелационе потпоре о којој в. одељак VIII.
VII Биомаса и препоруке за праксу
Тврдња о великом потенцијалу за биомасу почива на бројчаном налазу: „У трогодишњем циклусу произведена је биомаса од 30 t/ha суве масе, што износи 10 t/ha суве масе годишње“ (стр. 178). Тај податак треба читати као оквирну процену, а не као измерен принос производног засада, из три разлога, од којих сваки рад делом сам признаје.
Најпре, основа прерачуна је мала и небалансирана. Просечна сува маса изведена је деструктивним узорком од свега 40 садница (пет садница из осам од тринаест линија), помножена густином теста потомства од око 71000 биљака по хектару — а тест потомства (размак 0,2 × 0,7 m, свака линија у једном реду) није производни засад: нема ивичне ефекте, конкуренцију и губитке правог засада, а управо ивични ред у малим густим засадима изобличава процену приноса (Zavitkovski, 1981), због чега процене биомасе у засадима кратке опходње траже посебан опрез при преносу на хектар (Verwijst, Telenius, 1999). Затим, маса по садници изведена је линеарном алометријском једначином с негативним одсечком — „ms= - 451,0 + 28,725 x d1“ (стр. 175) — која за пречнике испод око 16 mm даје биолошки немогућу негативну масу и валидирана је само на истих 40 садница, без интервала поверења; примењена је, истина, унутар опсега измерених пречника и уз изричиту ограду да једначине „немају карактер општих и нису применљиве у свим случајевима“ (стр. 174). Најзад, поређење с другим врстама није нормализовано на густину: реченица да је принос веза „већи од продукције биомасе најчешће коришћених врста (Табела 70)“ (стр. 178) није у складу са самом Табелом 70, у којој врба и топола достижу и 12–19 t/ha годишње, а вез тих 10 t/ha остварује при вишеструко већој густини. Ту се, у корист рада, мора рећи да носећи закључак ту реченицу сам исправља на тачну и умеренију оцену — да је принос „знатно већа од вредности пријављених за друге брестове и налази се у оквиру просечних вредности приноса суве материје по хектару пријављених за друге често коришћене врсте у засадима кратке опходње“ (стр. 182) — а рад изричито наводи и да је „садња у посматраном огледу изразито густа за овај тип плантажа“ (стр. 177). Прекорачење је, дакле, ограничено на једну реченицу дискусије, док је закључни исказ тачан; вредело би поређење ипак нормализовати на густину и по биљци.
Треба приметити и да рад сам поставља мерило које његов налаз доводи на границу: наводи праг да засади кратке опходње треба да обезбеде „преко 10-12 тона/ha суве биомасе … (Petersen, 2007)“ (стр. 19), а вез са 10 t/ha је на доњој граници тог прага — што још једном сведочи да закључак о биомаси треба држати као оквирну индикацију потенцијала, уз проверу у правим производним засадима, какву и сам рад тражи.
Практичне препоруке — конзервација, пошумљавање влажних станишта, засади кратке опходње, фиторемедијација — местимично су шире од емпиријске основе (једна популација, једна година урода, један расадник, једна теренска сезона), а ограничења су расута по резултатима уместо сабрана на једном месту. Пошто су, међутим, формулисане као „потенцијал“ и правци даљих истраживања, а кључна ограничења рад изричито наводи (стр. 80, 134, 181), примедба се овде не узима за прекорачење тезе него за позив да се домет препорука изричито ограничи. Изричит одељак о ограничењима истраживања осетно би учврстио завршни део рада.
VIII Статистичка обрада и унутрашња сагласност табела, графикона и текста
Статистичка обрада (Statistica 7.0) сведена је на описну статистику, једнофакторску анализу варијансе с Tukey HSD тестом и Пирсонов коефицијент корелације. У самим поступцима нема грешака; проблем је у томе шта се из њих изводи и шта се не приказује.
Три системске примедбе понављају се кроз рад. Прво, претпоставке анализе варијансе (нормалност, хомогеност варијанси, независност) нигде се изричито не проверавају, а проценти (клијавост, преживљавање) не трансформишу пре анализе. Изостанак баш арксинусне трансформације овде се не узима за капиталну ману — јер је и сама та трансформација оспорена: „the arcsine transform should not be used in either circumstance. For binomial data, logistic regression has greater interpretability and higher power than analyses of transformed data“ (Warton, Hui, 2011) — али удео (%) тражи прикладан модел, а претпоставке анализе варијансе ваљало је барем документовати (Quinn, Keough, 2002), тим пре што су варијансе међу појединим линијама изразито неуједначене (нпр. надувана варијанса пречника једне линије услед неуклоњених одскока у Табели 46). Друго, спроведене су десетине засебних анализа варијансе и више корелационих матрица без корекције за вишеструка поређења — а када се спроводи више истовремених тестова, праг значајности треба кориговати на нивоу целе табеле резултата (Rice, 1989); значајности зато треба читати као доказ да разлике постоје, а не као меру њихове јачине, што рад на једном месту и сам каже (стр. 134). Треће, из саме значајности изводе се закључци без величине ефекта и интервала поверења (Nakagawa, Cuthill, 2007), а на нивоу half-sib линија изостају и компоненте варијансе и херитабилност — оно што би једино оправдало реч „контрола“.
Посебно је слаба корелациона потпора класирању садница. Пирсонове корелације на графиконима 28, 29, 32 и 33 израчунате су на средњим вредностима свега три класе — „Средње вредности ових класа су коришћене за израчунавање двостране Пеарсонове корелације (r)“ (стр. 57) — где је коефицијент близу јединице практично загарантован, где су класе образоване из истих полазних вредности па поређене по истој особини (враћање ка средини), и где су поједине вредности чак и незначајне (p=0,1183; p=0,0521). Те корелације не треба наводити као доказ; али закључак да веће саднице задржавају предност стоји и без њих, из самих средњих вредности класа. Сличан је случај с корелацијама пречника и његовог прираста, које су делом структурне јер је прираст изведен из истих мерења, и с поновљеним мерењима истих садница анализираним засебним годишњим анализама као да су независна.
Унутрашња сагласност бројева је, изван козметичких омашки, добра, али постоји низ неусаглашености које уредништво мора отклонити. Оне су, готово без изузетка, преносне и не мењају закључке, али нарушавају тачност приказа: индекс Fit наведен је с погрешним знаком у тексту наспрам исправне позитивне вредности у Табели 15 (стр. 93); две вредности очекиване хетерозиготности за локус Ulm9 погрешно су пренете из суседног пасуса (стр. 84); укупна сума квадрата за никл исписана је као 5,17 уместо 50,17 (стр. 129); заглавље Табеле 20 носи немогуће N=1400 за корелацију на нивоу стабла, док закључак да „не постоји статистички значајна зависност између клијавости и масе хиљаду семенки“ (стр. 102) остаје тачан; средина квадрата унутар група за пречник у Табели 50 (78,5) не слаже се с односом суме квадрата и степени слободе (≈18,4), што потврђује сам исписани F-однос; укупни степени слободе у истој табели за један су мањи од збира; заглавља Табела 46 и 67 наводе пречник у „cm“ иако су вредности у mm; наслови Табела 48, 50 и 58 наводе „14 half-sib линија“ иако степени слободе одговарају 13 линија; натпис Графикона 27 наводи манган, а графикон приказује гвожђе; натпис Графикона 33 наводи Велико ратно острво уместо Бостаништа; а у помоћној климатској Табели 1 две месечне температуре за станицу Сопот 2013. (новембар 23,5 °C, децембар 15,0 °C) физички су немогуће и противрече сопственом тексту да је „Средња температура ваздуха увек … нижа на станици Сопот“ (стр. 35) — та омашка, међутим, не улази ни у један прорачун. Закључак о значајној разлици међу стаблима треба, поред тога, ограничити на клијавост (Табела 19), јер маса хиљаду семенки засебном анализом варијансе није тестирана, па се та половина исказа на стр. 180–181 не може поуздано бранити.
IX Приказ литературе, таксономије, стандарда и прописа
Преглед досадашњих истраживања обиман је, добро документован и уредно цитиран, а ужа област — микросателити и генетика брестова, квалитет садног материјала, биомаса кратке опходње — покривена је савременом међународном литературом. Уз то, рад је поштен у постављању контекста: рано и јасно приказује ранији налаз о ниском хлоропластном диверзитету веза, наспрам ког ће изнети супротан налаз.
Неколико тачака тражи исправку. Општа генерализација да међупопулациона компонента варијабилности код шумског дрвећа „ретко“ прелази 5% — којом се образлаже избор half-sib нивоа — требало је да буде ограничена за фрагментисану и делом изоловану врсту какву исти текст описује, тим пре што рад две реченице касније поштено наводи и високу међупопулациону диференцијацију код веза; читалац није доведен у заблуду јер су оба податка изнета, али би опрез при генерализовању био на месту. У приказу туђих података има и неколико стварних, мада периферних нетачности које треба исправити: детаљи хаплотипова А и В из Fuentes-Utrilla et al. (2014) су замењени (дужина 1241 bp припада хаплотипу А, а секвенца од 7 bp присутна је у дужем хаплотипу В, а не изостаје, стр. 99); упоредни податак да један локус даје осам алела на узорку од 29 индивидуа из шведске популације веза (Collada et al., 2004) противречи сопственој Табели 9, у којој за вез из Шведске тај локус даје свега један алел (стр. 86); принос еукалиптуса од 40 t/ha уз наводњавање отпадним водама извор (Christersson, Verma, 2006) везује за југоисточну Аустралију, а не за Бразил (стр. 177); а позивање на Dostálek et al. (2014) погрешно наводи да мале саднице белог јасена после пет година сустижу велике, док извор каже да достижу средње и да ни после десет година не сустижу велике (стр. 171). Све су то периферни, илустративни наводи који не улазе у носеће резултате, али их треба уподобити изворнику.
У таксономији постоји неколико словних грешака у латинским називима секција, врста и пратеће флоре и по која непрецизност у синонимици и народним именима (нпр. непрецизан таксон уз „амерички јасен“). Идентитет таксона нигде није доведен у питање, па је реч о лектури; ортографију научних имена уређује важећи међународни кодекс номенклатуре (McNeill et al., 2012, чл. 60), а ауторски цитат уз име — његов чл. 46.
У домену стандарда и прописа ваља издвојити две ствари. Прво, појам „наменског“ (target) садног материјала, који носи и наслов рада, изворно подразумева квантитативну везу с успехом пошумљавања: „The target seedling concept means to target specific physiological and morphological seedling characteristics that can be quantitatively linked with reforestation success“ (Rose, Carlson, Morgan, 1990). Рад тај појмовни оквир исправно преузима и, поред расадничких показатеља, доноси и теренски учинак — преживљавање и раст једне сезоне. Друго, ознака стандарда за разлагање узорака откуцана је погрешно — „ISO 11466:1005 Soil quality, 1995“ (стр. 60) — што је очигледна грешка у години броја (тачно ISO 11466:1995), коју сам запис исправља наведеном годином; и та метода (за земљиште) примењена је на биљно ткиво, о чему в. одељак V.
X Табеле, графикони, слике и језик
Приказ је, у целини, прегледан, а највеће слабости приказа већ су наведене у одељку VIII (неусаглашени наслови и натписи, јединице, знакови). Овде ваља додати неколико уредничких ставки. Описне табеле плодова, семена и листова не наводе N по стаблу (100 мерења), што стоји у методици и следи из припадних анализа варијансе; графикони преузети из програма Statistica (36 и 37) задржани су у изворном енглеском облику („Scatterplot“, „Correlation: r = …“), што одступа од језика и писма рада, при чему су сами коефицијенти и једначине дати и у тексту; климатски графикони преузети су с извора Републичког хидрометеоролошког завода уз пуне адресе, али без датума приступа. Ознака „Dp“ употребљена је за две различите особине (дужина плода и дужина петељке), свака дефинисана уз своју слику.
Језик је стручан и, у целини, доследан, али кроз рад се провлачи известан број словних омашки и слепљених речи (нпр. „Разултати“ у наслову Табеле 18, „пречика“ у насловима неколико табела, „коцентрације“, „вредсности“), као и наизменична употреба децималног зареза и тачке — делом последица извоза бројева из статистичког програма. Ниједна од тих омашки не мења смисао, али их лектура треба отклонити, а децимални знак ујединити (Правопис српскога језика, 2010). Задржавање устаљеног стручног израза „half-sib линија“ и ознаке „One-Way ANOVA“ (коју рад у методици глосира српским термином) не узима се за ману. Мешање ћириличних и латиничних слова у појединим страним презименима у тексту највероватније је последица кварног основног фонта у изворном PDF-у, а не грешка ауторке, па се не приписује раду.
XI Научни апарат
Научни апарат је, по свему судећи, чврсто затворен: готово свака од близу 400 јединица пописа има свој позив у тексту, систем позивања (аутор–година у загради) доследно је спроведен, ознаке издања (a/b/c) правилно вођене, а три анонимне јединице на почетку (пропис, план, инвентура) тачно су третиране. То је квалитет који треба именовати пре примедаба. Јединствен случај посредног цитирања уредно је означен речју „према“ — „Rohmeder (1972), према Stilinoviću (1985)“ (стр. 104) — а изворник доследно није унет у попис, што је исправна пракса кад изворник није доступан; то се не узима за ману.
Примедбе на апарат углавном су формалне и лако отклоњиве. Неколико десетина позивања у тексту записује презиме друкчије него истоимена јединица у попису (нпр. Excoffier као „Exoffier“, Dickson као „Dicson“), а за шест позивања година у тексту не одговара години исте јединице у попису (нпр. Norby 2001/2008, Hoffmann 2005/2007) — то нису недостајуће јединице, него неслагања записа која извор остављају проналазивим, али их треба уједначити. Озбиљније је што три позивања немају одговарајућу јединицу у попису ни под једном годином — „(Wright et al., 2006)“ уз топлотну моћ лож уља (стр. 178), Todorović (2016) и Chaisurisiri et al. (1994) — те јединице треба додати или позиве исправити. Три јединице унете су вишеструко (South et al. 2005, Thompson 1985, Stanković et al. 2009), па их треба спојити. Од дванаест мрежних извора датум приступа има само један — код променљивих извора (метеоролошки годишњаци, карте ареала) он је обавезан елемент навода (ISO 690:2010; Council of Science Editors, 2014), па га треба додати. Најзад, три српска стандарда примењена у прилозима за биомасу (SRPS B.H8.318, B.H8.312 и B.H8.339) наведени су у прилозима с бројем, али не и у попису литературе, где их формално треба унети.
Две ставке апарата и поновљивости ваља издвојити као супстанцијалније. Прво, сирова појединачна мерења, генотипови по индивидуама и локусима и четири хлоропластне секвенце нису приложени ни депоновани у јавну базу (нема GenBank/EMBL приступних бројева), што ограничава независну проверу молекуларног и биомасног дела; извођачи и финансијери анализа су, међутим, наведени, а примарна грађа популације дата у прилозима. Депоновање секвенци ради поновљивости било би препоручљиво. Друго, метод не наводи изричит акт о дозволи узорковања у заштићеном подручју ни сагласност власника приватних парцела; рад је, међутим, обављен у сарадњи с управљачем заштићеног добра (документовано у захвалници), па је реч о формалном пропусту у документовању одобрења, а не о раду без сагласности. (Празна рубрика „ДАТУМ ОДБРАНЕ“ у тренутку коричења овде се не узима за ману: облик и садржај докторске дисертације Универзитета у Београду то изричито допушта — „Датум одбране: дан, месец, година (уколико није познат у моменту коричења додаје се накнадно)“.)
XII Однос рада и реферата комисије
Реферат комисије оцењује да је дисертација „методски успешно обрађена“ и да „Недостаци докторске дисертације који су могли утицати на резултате истраживања нису уочени“. Тај суд у делу који се тиче извођења појединачних поступака одговара стању у тексту: теренски и лабораторијски рад је детаљан, поштен и, у поступцима, поновљив, а описни резултати — преживљавање, димензије, класирање садница, задовољавајући квалитет урода — проверљиви су и стоје.
Једна тачка, међутим, тражи прецизнију оцену. Међу десет најважнијих резултата реферат издваја управо оне формулације које, мерене нацртом и обимом података, иду корак даље од онога што поступак носи — о високом диверзитету и одсуству инбридинга и уског грла, о утицају генотипа на акумулацију метала, о генетичкој контроли раста и о приносу биомасе. Ниједан од тих налаза није нетачан као смер, али сваки прекорачује основу као мера, из разлога појединачно изложених у одељцима IV–VII. Утолико оцена да недостаци „који су могли утицати на резултате … нису уочени“ не стоји у потпуности: нацрт огледа и извођење закључака о генетичкој контроли и утицају генотипа из саме значајности јесу слабости методске природе које погађају носеће закључке — а неке од њих, што говори у прилог раду, наводи и сама ауторка као ограничења. Ситна унутрашња несагласност самог реферата (број табела наведен и као 70 и као 67; тачан је 70) уредничке је природе и не дира оцену.
XIII Шта остаје
Кад се све сабере, добија се оцена коју вреди изрећи у једном комаду, без ублажавања и без претеривања.
Дисертација Јоване Деветаковић је обиман, самостално изведен и вредан рад — прва вишеслојна обрада једне популације веза у домаћем шумарству, чији су главни доприноси изложени у одељку II. Фактографска основа, где се могла сравнити, у највећем делу држи, а рад на носећим местима показује ретку методолошку самосвест — не проглашава супериорну линију, извештава и о незначајним налазима, сам означава непоуздан узорак и упозорава да значајност на великом узорку није јачина везе.
Слабости су, по оцени овог осврта, једне врсте и све потичу из истог места — из прелаза с онога што је измерено на оно што је закључено. У претходним одељцима су појединачно образложене и своде се на неколико тачака: уску молекуларну основу носећих процена (два до три полиморфна локуса и упоредна популација од четрнаест стабала), извођење снажне генетичке контроле и јаког утицаја генотипа из саме значајности анализе варијансе — без компоненти варијансе, херитабилности и раздвајања наследног од срединског удела, процену приноса биомасе прерачуном с малог узорка при изразито густој садњи, изостанак величина ефекта, интервала поверења и провере претпоставки уз некориговано вишеструко тестирање, и, најлакше, неуједначеност апарата и приказа.
Изнад свега тога стоји једна правилност која иде у прилог раду: провере и приказ изведени су брижљивије него закључци, а највећи део онога што треба поправити већ је негде у раду тачно урађено — само на погрешном месту или недоследно спроведено. Ограде које недостају у закључку рад је, по правилу, већ изнео у резултатима.
За евентуално монографско издање или наставак истраживања најплодније би, по оцени овог осврта, биле следеће измене. Прво, у закључак о једарном диверзитету унети изричиту ограду о броју локуса и упоредној популацији, а инференцијалне процене (ефективна величина, уско грло, структура) држати као индикативне уз препоручене минимуме броја локуса и индивидуа; депоновати секвенце и генотипове ради поновљивости. Друго, синтагме „снажна генетичка контрола“ и „јак утицај генотипа“ заменити исказом о утврђеном утицају линије, односно о разликама међу стаблима, или их поткрепити компонентама варијансе и херитабилношћу из огледа с понављањима (и, за метале, из огледа заједничке средине). Треће, разлике у садржају метала изнети описно, кроз распоне, а не као резултат теста на аналитичким понављањима, и тумачење везати за именоване граничне и ремедијационе вредности. Четврто, процену приноса означити као оквирну, нормализовати поређење на густину и проверити је у правом производном засаду. Пето, увести изричит одељак о ограничењима истраживања, изричито проверити сваку хипотезу и уподобити приказ (наслови, натписи, јединице, апарат, датуми приступа). Уз ту врсту редакције — која у највећем делу не тражи ново истраживање него доследно спровођење онога што је рад већ започео — ова дисертација остаје вредан и употребљив допринос познавању веза и његовог потенцијала за наменску производњу садног материјала.
Литература
Предмет осврта
Деветаковић, Ј. (2017). Генетички потенцијал веза (Ulmus laevis Pall.) за производњу наменског садног материјала [докторска дисертација]. Универзитет у Београду, Шумарски факултет. (НаРДуС.)
Реферат Комисије о оцени докторске дисертације Јоване Деветаковић, Универзитет у Београду — Шумарски факултет (комисију именовало Наставно-научно веће одлуком бр. 01-2/28 од 29.03.2017).
Нацрт огледа и статистичка обрада
Hurlbert, S. H. (1984). Pseudoreplication and the design of ecological field experiments. Ecological Monographs, 54(2), 187–211. https://doi.org/10.2307/1942661
Williams, E. R., Matheson, A. C., & Harwood, C. E. (2002). Experimental Design and Analysis for Tree Improvement (2. изд.). CSIRO Publishing, Collingwood.
Quinn, G. P., & Keough, M. J. (2002). Experimental Design and Data Analysis for Biologists. Cambridge University Press.
Warton, D. I., & Hui, F. K. C. (2011). The arcsine is asinine: the analysis of proportions in ecology. Ecology, 92(1), 3–10. https://doi.org/10.1890/10-0340.1
Rice, W. R. (1989). Analyzing tables of statistical tests. Evolution, 43(1), 223–225. https://doi.org/10.1111/j.1558-5646.1989.tb04220.x
Nakagawa, S., & Cuthill, I. C. (2007). Effect size, confidence interval and statistical significance: a practical guide for biologists. Biological Reviews, 82(4), 591–605. https://doi.org/10.1111/j.1469-185X.2007.00027.x
Квантитативна генетика и тестови потомства
Falconer, D. S., & Mackay, T. F. C. (1996). Introduction to Quantitative Genetics (4. изд.). Longman, Harlow.
White, T. L., Adams, W. T., & Neale, D. B. (2007). Forest Genetics. CABI, Wallingford.
Squillace, A. E. (1974). Average genetic correlations among offspring from open-pollinated forest trees. Silvae Genetica, 23(5), 149–156.
Roach, D. A., & Wulff, R. D. (1987). Maternal effects in plants. Annual Review of Ecology and Systematics, 18, 209–235. https://doi.org/10.1146/annurev.es.18.110187.001233
Молекуларни маркери и популационо-генетичка анализа
Selkoe, K. A., & Toonen, R. J. (2006). Microsatellites for ecologists: a practical guide to using and evaluating microsatellite markers. Ecology Letters, 9(5), 615–629. https://doi.org/10.1111/j.1461-0248.2006.00889.x
Hale, M. L., Burg, T. M., & Steeves, T. E. (2012). Sampling for microsatellite-based population genetic studies: 25 to 30 individuals per population is enough to accurately estimate allele frequencies. PLoS ONE, 7(9), e45170. https://doi.org/10.1371/journal.pone.0045170
Chapuis, M.-P., & Estoup, A. (2007). Microsatellite null alleles and estimation of population differentiation. Molecular Biology and Evolution, 24(3), 621–631. https://doi.org/10.1093/molbev/msl191
Pritchard, J. K., Stephens, M., & Donnelly, P. (2000). Inference of population structure using multilocus genotype data. Genetics, 155(2), 945–959. https://doi.org/10.1093/genetics/155.2.945
Evanno, G., Regnaut, S., & Goudet, J. (2005). Detecting the number of clusters of individuals using the software STRUCTURE: a simulation study. Molecular Ecology, 14(8), 2611–2620. https://doi.org/10.1111/j.1365-294X.2005.02553.x
Cornuet, J. M., & Luikart, G. (1996). Description and power analysis of two tests for detecting recent population bottlenecks from allele frequency data. Genetics, 144(4), 2001–2014. https://doi.org/10.1093/genetics/144.4.2001
Waples, R. S., & Do, C. (2010). Linkage disequilibrium estimates of contemporary Ne using highly variable genetic markers: a largely untapped resource for applied conservation and evolution. Evolutionary Applications, 3(3), 244–262. https://doi.org/10.1111/j.1752-4571.2009.00104.x
Семе и квалитет (наменског) садног материјала
Rose, R., Carlson, W. C., & Morgan, P. (1990). The Target Seedling Concept. У: R. Rose, S. J. Campbell & T. D. Landis (ур.), Target Seedling Symposium: Proceedings (Gen. Tech. Rep. RM-200, стр. 1–8). USDA Forest Service, Rocky Mountain Forest and Range Experiment Station.
Биомаса у засадима кратке опходње
Verwijst, T., & Telenius, B. (1999). Biomass estimation procedures in short rotation forestry. Forest Ecology and Management, 121(1–2), 137–146. https://doi.org/10.1016/S0378-1127(98)00562-3
Zavitkovski, J. (1981). Small plots with unplanted plot border can distort data in biomass production studies. Canadian Journal of Forest Research, 11(1), 9–12. https://doi.org/10.1139/x81-002
Тешки метали у земљишту и биљкама
ISO 11466:1995. Soil quality — Extraction of trace elements soluble in aqua regia (1. изд., 1995-03-01). ISO, Geneva.
Kabata-Pendias, A. (2011). Trace Elements in Soils and Plants (4. изд.). CRC Press, Boca Raton.
Уредба о програму системског праћења квалитета земљишта, индикаторима за оцену ризика од деградације земљишта и методологији за израду ремедијационих програма, „Службени гласник РС“, бр. 88/2010.
Номенклатура и научни апарат
McNeill, J., et al. (ур.) (2012). International Code of Nomenclature for algae, fungi, and plants (Melbourne Code) (Regnum Vegetabile 154). Koeltz Scientific Books, Königstein.
ISO 690:2010. Information and documentation — Guidelines for bibliographic references and citations to information resources. ISO, Geneva.
Council of Science Editors (2014). Scientific Style and Format: The CSE Manual for Authors, Editors, and Publishers (8. изд.). University of Chicago Press.
Пешикан, М., Јерковић, Ј., & Пижурица, М. (2010). Правопис српскога језика (измењено и допуњено изд.). Матица српска, Нови Сад.
Формални оквир
Универзитет у Београду (2016). Облик и садржај докторске дисертације (Прилог уз Правилник о докторским студијама на Универзитету у Београду, „Гласник Универзитета у Београду“, бр. 191, 24.05.2016).