Научни радови под лупом

Критички осврти на јавно доступне научне радове

← основни подаци и примедбе · PDF · рад у НаРДуС-у

Стручни критички осврт

Емилија И. Марковић, Особине личности као корелати мотивације за рад и спремности за перманентно образовање. Докторска дисертација. Београд: Филозофски факултет Универзитета у Београду, 2013 (менторка проф. др Миросава Ђуришић-Бојановић; Комисија за оцену и одбрану: М. Ђуришић-Бојановић, С. Чизмић, М. Чабаркапа, Л. Грубић-Нешић). Отворени приступ: НаРДуС.

I Предмет, грађа и мерило

Дисертација у истом нацрту спаја три тока: особине личности, понашање запослених које надилази формално прописану улогу и две исходне величине — мотивацију за рад и спремност запосленог да учи током целог радног века. Њено истраживачко питање изречено је већ у Уводу и јасно је: „Оно што нам се поставља као питање јесте да ли различите димензије одговорности – савесности и алтруизма – имају различитог уплива у различите мотивационе основе.“ (стр. 2). Особине личности мерене су двема постојећим батеријама — емоционалне димензије Профил индексом емоција Плучика и Келермана (ПИЕ, у југословенској адаптацији), конативни регулатори батеријом КОН-6 Момировића, Волфа и Џамоње — а понашање које литература зове organizational citizenship behavior (у раду: организациона социјална одговорност), мотивација за рад по типологији пет мотивационих извора Леонарда, Бовеа и Шола и спремност за перманентно образовање мерени су трима сопственим упитницима (ОСО, МЗР и СЗПО). Нацрт је пресечан, корелационо-регресиони, на пригодном узорку од 401 запосленог из предузећа у Београду и Нишу. Наслов рада на насловној страни гласи „…и спремности за перманентно образовање“, док одлуке Факултета и Универзитета бележе облик „…и спремност…“; разлика је само граматичка.

Универзитет је сагласност на тему дао 18. септембра 2012; Наставно-научно веће Филозофског факултета изабрало је, по тексту реферата, Комисију за оцену дисертације 26. септембра 2013, па је рукопис предат у септембру 2013, најкасније тог дана; реферат је датиран 20. новембра 2013, а Веће научних области друштвено-хуманистичких наука дало је сагласност 4. фебруара 2014 (НаРДуС као датум одбране бележи 31. март 2014). Рад се овде мери искључиво према литератури, методолошким стандардима, прописима и знању који су постојали до септембра 2013. Ништа што је настало касније није мерило: ни доцнија издања стандарда за психолошке тестове, ни каснији универзитетски акти о облику дисертације, ни потоња литература о предметима које рад обрађује. Исто правило важи и за списак литературе овог осврта: свака његова јединица објављена је до предаје рада, изузев саме дисертације и реферата с одлукама донетим у истом поступку, који се наводе као извори чињеница о поступку.

Дисертацију по старим прописима правно обавезује Упутство Сената Универзитета у Београду од 14. децембра 2011, које се, по сопственом тексту, примењује и на дисертације „које се бране по прописима који су важили пре ступања на снагу Закона о високом образовању“ (Универзитет у Београду, 2011, увод), а ауторку као психолога обавезује Кодекс етике Друштва психолога Србије (2000), преко члана 3 Закона о условима за обављање психолошке делатности. Стандарди за психолошка и образовна тестирања Америчког удружења за образовна истраживања, Америчког психолошког удружења и Националног савета за мерење у образовању (AERA, APA, NCME, 1999), смернице Радне групе за статистичко закључивање (Wilkinson & Task Force on Statistical Inference [TFSI], 1999), стандарди извештавања Америчког психолошког удружења (APA Publications and Communications Board Working Group on Journal Article Reporting Standards [JARS], 2008) и методолошки чланци на које се осврт позива нису пропис који би рад могао повредити, него мерила добре праксе која ти документи изричу. И то мерило има уграђену ограду у корист рада: Стандарди из 1999. сами кажу да „Evaluating the acceptability of a test or test application does not rest on the literal satisfaction of every standard in this document, and acceptability cannot be determined by using a checklist.“ (AERA, APA, NCME, 1999, увод).

Наводи из рада преузети су из примерка у Националном репозиторијуму дисертација (НаРДуС); реферат Комисије је у материјалима седнице Већа научних области Универзитета у Београду. Наводи из рада преносе се дословно, у наводницима, са штампаном страном рада у загради; наводи из резимеа, који нема број стране, означени су тако, а наводи из реферата страном реферата.

Оно што следи може се сажети у једну тезу. Рад је поузданији у преношењу носећих туђих поставки и у рачуну него у читању сопствених резултата. Носећи налаз — да је организациона социјална одговорност најјачи корелат спремности за перманентно образовање — стоји чврсто. Али мерни инструменти нису доведени до онога што реферат о њима тврди, неколико тумачења иде у смеру супротном табелама на које се позива, а сажетак, закључак и резиме приказују резултате јаче и једнозначније него што их табеле носе.

II Шта рад доноси

Прво, рад има јасно постављено питање и доследно изведену архитектуру. Питање из Увода (стр. 2) преноси се у циљеве, задатке и хипотезе, свака специфична хипотеза везана је за један скуп предиктора и једну зависну варијаблу, а практични циљ условљен је исходом мерења — упитници би се користили у пракси „уколико покажу задовољавајуће метријске карактеристике“ (стр. 166). То је проверљиво и опрезно формулисан циљ.

Друго, избор теоријског оквира је образложен. Типологија мотивационих извора изабрана је „услед тога што укључује велики број елемената о којима говоре и друге мотивационе теорије, те, на неки начин, представља њихову интеграцију“ (стр. 164), што одговара самоодређењу изворника: „This paper proposes a metatheory of work motivation incorporating theories of self-concept that have been proposed in the sociological and psychological literatures.“ (Leonard, Beauvais & Scholl, 1999, сажетак). Пет извора приказано је систематично, свака дефиниција с понашајним показатељима по Барбуту (стр. 98–101), тако да се од изворника до ставки упитника МЗР може пратити пут конструкције. И шири преглед има сопствени ред и сопствене оцене: рад теорије мотивације дели у три групе — „У овом раду, описану групу теорија назваћемо теоријама структуре, с обзиром на то да се суштински баве тиме шта чини мотивацију.“ (стр. 50) — Херцбергову теорију не преузима некритички (стр. 58), наводи ограничења теорије когнитивне евалуације у организацијама — „Најпре, већина студија о теорији когнитивне евалуације вођена је у експерименталним условима, а не у самим организацијама.“ (стр. 90) — и тачно уочава да „Теорија самодетерминације потребе схвата другачије, као универзалне нужности“ (стр. 94), што је за рад о индивидуалним разликама битна граница.

Треће, и за оцену најважније, рад је провидан у мерењу. За сва три сопствена упитника наведен је KMO показатељ, а у Прилогу А објављене су потпуне табеле својствених вредности, матрице засићења и ајтем-анализе, док су сами упитници у целини дати у Прилогу Б: „Подаци ајтем анализе могу се наћи у Табели 7 у Прилогу А.“ (стр. 176). Готово свака психометријска примедба у одељку V овог осврта могла је бити изведена само зато што рад те табеле објављује.

Четврто, рад не прикрива неповољан исход сопственог мерења. Кад факторска анализа МЗР не репродукује пет предвиђених подскала, то се каже без увијања — „можемо закључити о постојању двају фактора који покривају подручје унутрашње (фактор 1) и спољашње (фактор 2) мотивације“ (стр. 178) — и тумачи се теоријски; кад се ставке упитника ОСО не групишу како је предвиђено, рад признаје да „чини се да овде могу посредовати методолошки фактори“ (стр. 175).

Пето, рад поставља конзервативан праг тумачења. Уз корелације емоционалних димензија стоји: „Но, с обзиром на ниску вредност корелација, где ни једна не прелази вредност 0,20, оне неће бити узете у обзир у интерпретацији добијених података.“ (стр. 187). На узорку од 401 испитаника и сасвим мале корелације постају статистички значајне, па праг раздваја значајност од величине везе; по Коеновим конвенцијама, по којима је за коефицијент корелације мали ефекат 0,10, а средњи 0,30 (Cohen, 1992, Табела 1), праг од 0,20 лежи између малог и средњег ефекта и није неразуман. Рад га ту поштује и кад тиме одбацује сопствене статистички значајне налазе: значајне, али мале корелације емоционалних димензија с мотивацијом остају изван тумачења.

Шесто, регресије су извештене потпуно — R, R², кориговани R², F и, за сваки предиктор, B, стандардна грешка, Beta, t и ниво значајности — а хијерархијска регресија, у којој је први блок социодемографских варијабли, исправно је протумачена као провера доприноса особина личности и организационе социјалне одговорности изнад тог блока: „То значи да независне објашњавају додатних 14,2% варијансе интринзичке мотивације, чак и када се уклони утицај социо-демографских варијабли.“ (стр. 226). Прираштаји објашњене варијансе, од 0,074 до 0,304, најчвршћи су квантитативни ослонац тврдње да личност и одговорно понашање имају самосталан удео.

Седмо, рад има један налаз који држи кроз све анализе: организациона социјална одговорност најјачи је корелат спремности за перманентно образовање. Индекс ОСО и спремност корелирају 0,539, алтруизам у линеарној регресији има највећи стандардизовани коефицијент (0,314), а уз контролу социодемографских варијабли и задовољства послом прираштај објашњене варијансе износи 0,304 и алтруизам остаје најјачи предиктор (0,292). Рад отворено признаје и да је то подручје емпиријски слабо истражено — „Иако не постоји велики број емпиријских истраживања која су се бавила односом особина личности и спремности на перманентно образовање“ (стр. 157) — па управо ту доноси највише сопственог.

Осмо, најубедљивија тумачења у раду теоријски су смислена и опрезна. Негативна веза одговорног понашања с екстринзичком мотивацијом образложена је тиме што такво понашање „није формално награђено“ (стр. 264); изостанак везе са спољашњом мотивацијом заснованом на самоопажању протумачен је разликом аутономне и контролисане мотивације: „Организационо одговорно понашање је добровољно, дакле, индивидуа је аутономна у његовом исказивању. Спољашња мотивација је контролисана.“ (стр. 274). Неочекиван налаз не прећуткује се — „Помало збуњује резултат о позитивној повезаности интринзичке мотивације са димензијом савесности“ (стр. 264) — а контрастни налаз да екстраверзија прати мотивацију, али не и спремност за учење, тачно је изречен: „Он, међутим, нема предиктивну вредност за спремност на перманентно образовање.“ (стр. 290).

Девето, рад на више места сам ограђује своје налазе. На почетку одељка о профилима стоји: „Наше истраживање је показало да се особине личности могу узети у обзир као предиктори испитиваних мотивационих извора, но како не објашњавају високе нивое варијансе, очигледно је да и други фактори утичу на доминацију мотивационих извора код појединаца.“ (стр. 266); закључак признаје да „Истраживање није потврдило све хипотезе“ (стр. 289) и да „Већина добијених коефицијената корелације имају ниску вредност“ (стр. 291); пропуштени чинилац именује се изричито — „Такође, у овом истраживању није контролисан руководећи стил надређених у организацијама у којима су запослени испитаници, ни однос испитаника са руководиоцима.“ (стр. 295). Ауторка сама уочава и могућу пристрасност сопствене скале: „њихова тенденција да буду социјално одобрени може утицати на давање пожељних одговора на скали која мери ову спремност.“ (стр. 259), а биас скор ПИЕ улази као предиктор у све регресије. Код једне корелације разматра се и обрнут смер: „Ово веза може бити узрочно-последична у смислу постављења руководилаца услед веће стручности“ (стр. 215).

Тврдње рада о туђим налазима у претежном делу одговарају изворима, а бројеви у тексту табелама: табеле структуре узорка сабирају се у 401 и проценти су тачни; вредности R², F и прираштаја R² у тексту слажу се с табелама; табеле средина и стандардних девијација унутар себе су доследне. Носећи туђи налази — типологија Леонарда, Бовеа и Шола, континуум самодетерминације према Гање и Децију, Кареова типологија мотива одраслих за учење, Колбови стилови на стр. 115, метаанализа Органа и Рајанове с оградом о самопроценама („Али, када је анализа искључила мере самопроцене организационе одговорности и свела се на њене објективне мере, једино савесност остаје као сигурни предиктор фактора општег прихватања.“, стр. 147) — пренети су верно. Грешке које следе окупљене су у синтези, у тумачењу појединачних коефицијената и у споредним тачкама теоријског прегледа, а не у рачуну.

III Циљ, хипотезе и метод

Општа хипотеза и десет специфичних постављене су као претпоставке да „постоји повезаност“ особина личности и одговорног понашања с мотивацијом за рад, „односно неким од мотивационих извора“ (стр. 168). Тако формулисане, на узорку од 401 испитаника, са седамнаест предиктора и шест критеријума, оне се тешко могу оборити: бар једна значајна веза у толиком броју парова готово је извесна и без стварног односа. Оцена да је општа хипотеза „делимично потврђена“ (стр. 289) зато мало говори, јер хипотеза не каже шта би била потпуна потврда.

Осетљивије је то што усмерена очекивања која теоријски део изричито изводи нису пренета у хипотезе. Рад претпоставља да ће прва димензија, у чијој основи лежи алтруизам, бити „израженија код индивидуа које су интринзички мотивисане“ (стр. 145), а да ће савесност „показати више значаја у контексту екстринзичке мотивације“ (стр. 150), уз уопштење „Дакле, корен екстринзичке мотивације је рацио“ (стр. 150). Подаци оба очекивања обарају: алтруизам и интринзичка мотивација не корелирају (0,030), а савесност је с екстринзичком мотивацијом повезана негативно (−0,214). Преглед, додуше, на стр. 153–154 износи и супротно очекивање, да је одговорно понашање повезаније с унутрашњим него са спољашњим мотивима, и на њега се ослања завршно поглавље кад негативну везу одговорног понашања и екстринзичке мотивације приказује као налаз који „није изненедио“ (стр. 284). Слабост је, дакле, у томе што у прегледу стоје две међусобно неусклађене претпоставке, неусмерене хипотезе ниједну не проверавају, а рад после резултата не каже да је очекивање са стр. 145 и 150 оповргнуто. Оповргнута очекивања била би вреднији исход него неусмерена потврда.

Најважнија примедба методу тиче се мерила по коме се хипотезе оцењују, јер она мења сам исход. Х1 (емоционалне димензије и мотивација) и Х2 (конативне димензије и мотивација) оцењене су истим мерилом, значајношћу регресионих коефицијената, али недоследно: Х2 је потврђена „у целини“ (стр. 289) зато што свака конативна димензија има бар један значајан коефицијент, а Х1 је проглашена непотврђеном иако депривација има значајне коефицијенте за обе мотивације засноване на самоопажању (табеле 66 и 68), па би по формулацији хипотезе морала бити бар делимично потврђена. Х4 (емоционалне димензије и спремност) оцењена је, насупрот томе, по корелацијама изнад 0,20 и делимично потврђена, иако у регресији за спремност ниједна емоционална димензија није значајна (табела 72), а Х5 мешовито. Кад се једно мерило примени на све, оцене се мењају: по регресионом мерилу Х1 би била делимично потврђена, а Х4 не би била потврђена; по прагу од 0,20 АЛФА и СИГМА не би потврђивале Х2, а по значајности корелација Х5 би била потврђена у целини, јер је свих шест корелација конативних димензија са спремношћу у табели 14 значајно. Правило одлуке ни за једну хипотезу није унапред изречено, а праг од 0,20 уведен је тек у поглављу резултата (стр. 187–190), не у методу. Смернице Радне групе за статистичко закључивање за избор поступка не прописују један пут, али траже да се изабрани пут образложи: „It is your responsibility to define and justify the methods used.“ (Wilkinson & TFSI, 1999: 599). Та примедба не дира податке, али погађа оцену хипотеза у закључку.

У опису метода није изречено да је нацрт пресечан и корелациони, нити да све мере потичу из самоисказа исте особе у истој сесији. Хипотезе (стр. 168–169) и назив рада исправно говоре о повезаности и корелатима, али резиме каже: „У овом истраживању испитиван је утицај особина личности и социјалне одговорности запосленог појединца према организацији у којој ради, као независних варијабли, на мотивацију за рад“ (резиме), Увод без извора износи као утврђено да особине личности „утичу, како на структуру и начин деловања нечије мотивације“ (стр. 2), а завршно поглавље за екстраверзију каже: „Ова димензија, очигледно утиче на мотивацију уопште.“ (стр. 285). Смернице из 1999. за такве исказе имају кратку реченицу: „Inferring causality from nonrandomized designs is a risky enterprise.“ (Wilkinson & TFSI, 1999: 600). У корист рада иде то што он на два места сам допушта обрнут или двосмеран однос (стр. 150 и 215) и што је практична препорука менаџменту ограђена речју „можда“ (стр. 294); недостаје само изричита реченица о томе шта нацрт допушта.

Уз то стоји питање заједничке варијансе метода. Три сопствена упитника, у истом петостепеном Ликертовом формату, попуњавали су исти испитаници, у истом групном испитивању, један за другим (стр. 183–184). Преглед пристрасности заједничке методе у истраживањима понашања каже: „Method biases are likely to be particularly powerful in studies in which the data for both the predictor and criterion variable are obtained from the same person in the same measurement context using the same item context and similar item characteristics.“ (Podsakoff, MacKenzie, Lee & Podsakoff, 2003: 885). То се непосредно тиче најјачег налаза рада: део корелације ОСО и СЗПО (в. одељак II) може потицати од заједничког формата. Рад то не разматра. У његову корист иду две ствари. Упитник о општим подацима не тражи име, а анонимност исти преглед наводи међу поступцима ублажавања: „One is to allow the respondents’ answers to be anonymous.“ (Podsakoff и др., 2003: 888). Уз то је биас скор ПИЕ, мера склоности социјално пожељном одговарању, укључен као предиктор у све моделе, што је делимична статистичка контрола.

Најзад, рад не каже зашто је за типологију мотивационих извора конструисан нови упитник, иако се у тумачењу више пута позива на радове Барбута и сарадника, који исту типологију мере (стр. 267, 274), а њихов инструмент у раду није приказан. Поређење с постојећом мером дало би новом упитнику и прву проверу конвергентне ваљаности.

IV Теоријски оквир: приписивања и појмови

Теоријски део (стр. 3–163) широк је и уредно сложен: од организационог оквира, преко теорија личности и два модела на којима почивају тестови, до теорија мотивације, перманентног образовања и одговорног понашања у организацији. Кибернетички модел конативних фактора приказан је регулатор по регулатор, с везама према Ајзенковим и Кателовим димензијама и с напоменом о приговору његове сводљивости на Ајзенкова три фактора (стр. 26); Плучикова теорија — с оградом да дијагностичке категорије „не значе нужно психопатологију“ (стр. 21). Размера делова, међутим, није у сразмери с оним што се мери: приказ теорија динамике (стр. 59–86) заузима готово тридесет страна, а ниједна од тих теорија није операционализована ни уведена у хипотезе, док носећи оквир — типологија мотивационих извора и теорија самодетерминације — добија сразмерно мање простора. Типологија је, уз то, приказана као теоријски предлог, без података о томе како је до 2013. емпиријски проверавана.

Прва садржинска примедба тиче се тврдње на којој рад заснива тумачење сопственог упитника. На стр. 179 стоји да два добијена фактора МЗР могу бити екстреми континуума „слично теорији самодетерминације, из које и извире теорија на којој је засновано ово истраживање“ (стр. 179), а на стр. 292: „Уосталом, типологија мотивационих извора и потиче из теорије самодетерминације.“ (стр. 292). Изворник то не каже. Леонард, Бове и Шол три класична извора изводе из радова де Шарма, Деција (1975), Каца и Кана, Ецјонија и Келмана — „The work of these authors points to three sources of motivation: intrinsic process motivation, motivation based on goal internalization, and extrinsic or instrumental motivation“ (Leonard и др., 1999: 971) — а два извора заснована на самоопажању из теорија селф-концепта; теорију самодетерминације чланак не наводи. Тачно је оно што рад на истој страни каже опрезније — да је двофакторско решење „блиско и теорији самодетерминације“ (стр. 292) — и то тумачење остаје одрживо; неодржива је само генеалогија.

Друга се тиче назива централног конструкта. За organizational citizenship behavior рад уводи израз „организациона социјална одговорност“, који није срећан, јер се лако меша с друштвеном одговорношћу предузећа, коју одељак 1.4.1 обрађује под сличним именом, иако рад два појма у одељцима 1.4.1 и 1.4.2 изричито раздваја; од тог израза и сам рад на једном месту одступа, кад међу радним резултатима које по Гање и Децију доноси задовољење основних психолошких потреба набраја и резултате у виду „организационих грађанских понашања“ (стр. 95). Рад израз ипак недвосмислено везује за међународни појам на почетку предмета истраживања, где уз опис стоји „(Organizational Citizenship Behavior)“ (стр. 164), и од тада га доследно користи; српски резиме, међутим, изворни назив не наводи.

Трећа је историја тог појма, која је у раду делом нетачна, и то на месту где образлаже проблем. На стр. 165 стоји: „Овај концепт се први пут појављује 1977. године, у истраживањима Орган и Смита“ (стр. 165), уз навод заједничког рада из 1977. којег нема у попису и који не постоји. Органов рад из 1977. самосталан је теоријски оглед (Organ, 1977), а назив и прва мерења појма уводе Смит, Орган и Нир (Smith, Organ & Near, 1983). Приказ на стр. 136 Органу уз то приписује обрнуту полазну тезу — да је кренуо, „засновано на многим истраживањима која су показала да продуктивност на радном месту зависи од задовољства послом“ (стр. 136) — док Орган сам пише да полазиште његовог рада лежи у уверењу да, „contrary to the then-in-vogue party line of industrial/organizational psychology, job satisfaction did indeed bear a functional relation to performance of a sort“ (Organ, 1997: 92). Делимично је обрнута и хронологија назива друге димензије (стр. 139, 162, 172): изворни назив из 1983. био је generalized compliance, а conscientiousness је каснији Органов назив. На стр. 136 и 242 почетак појма тачно је везан само за Органа, па је реч о непрецизности која се понавља, а не о непознавању литературе.

Четврта, садржински тежа, тиче се речи „морал“. Орган и Рајанова, као и Подсакоф и сарадници, под morale подразумевају радни морал — заједнички афективни чинилац задовољства, правичности, посвећености и подршке руководиоца, „factor, which Organ and Ryan (1995) view as underlying employee satisfaction, organizational commitment, perceptions of fairness, and perceptions of leader supportiveness“ (Podsakoff, MacKenzie, Paine & Bachrach, 2000: 530), како рад и сам исправно приказује на стр. 147. На стр. 160–161 и 265 тај појам прочитан је као етички морал — „Орган и Рајан (Organ, Ryan, 1995: 795) говоре о томе да, у најширем смислу, основни предиктор организационог понашања ван прописане улоге јесте морал.“ (стр. 265) — и на томе је делом изграђен аргумент о моралној мотивацији за учење као понашање ван улоге, који тако у наведеним изворима нема ослонца.

Пета погађа теоријски ослонац хипотезе о вези одговорног понашања и спремности за перманентно образовање. Рад пише да су „Џорџ и Бриф (George, Brief, 1992) су открили да је саморазвој једна од кључних димензија организационо социјално одговорног понашања“ (стр. 161) и да ова одговорност „показује своју повезаност са саморазвојем (George, Brief, 1992)“ (стр. 165). Џорџ и Бриф саморазвој су појмовно издвојили као облик организационе спонтаности, а посредник кроз кога рад тај навод преузима, на истој страни с које га наводи, додаје: „self-development has not received any empirical confirmation in the citizenship behavior literature“ (Podsakoff и др., 2000: 525). Хипотеза тако почива на појмовном предлогу, не на налазу. То, треба рећи, иде и у корист рада: веза коју он проналази (в. одељак II) управо је прва емпиријска потпора тог предлога у његовом нацрту, и то је вредније него што рад сам истиче.

Шеста је група погрешно пренетих налаза у поглављу које гради мост између личности, одговорног понашања и мотивације (1.4–1.5), и у синтези на стр. 163 која из тог прегледа изводи избор варијабли. Налаз Илијеса, Скота и Џаџа о модерирајућем деловању пријатности приказан је као „посредни утицај“ и из њега је изведен закључак обрнут изворнику: „док ће се савесне особе понашати одговорно само онда када су добро расположене“ (стр. 148), иако у том истраживању од расположења зависе особе ниске пријатности, а савесност ниједан ефекат не модерира, што рад у претходној реченици и сам каже (Ilies, Scott & Judge, 2006). Рад Фуа, Уја и Барона испитује напор предузетника у сопственом подухвату, а не просоцијално понашање, и налази да напор изван непосредних захтева предвиђа позитивни, а не негативни афекат (Foo, Uy & Baron, 2009); рад му приписује други предмет и обрнут налаз (стр. 148–149). Истраживање Радовановићеве и Окановића испитује колико особине студената предвиђају пожељну организациону културу (Radovanović & Okanović, 2008); рад на стр. 148 ту разлику сам изричито наводи — „но њихово истраживање укључује друштвену одговорност уопште у културолошком смислу, а не специфично према организацији“ (стр. 148) — али га на стр. 163, у реченици „Навођена су истраживања у којима је утврђивана повезаност ове одговорности са пријатношћу“ (стр. 163), без ограде убраја у потврде. Рад Чена и сарадника (2010), који испитује мотивацију за рад и иновативно понашање и тако је тачно приказан на стр. 156, на стр. 163, 242 и 246 наведен је као доказ везе спремности за учење с отвореношћу и екстраверзијом. Гроуов модел самоусмераваног учења теоријски је модел (Grow, 1991), а рад на стр. 250 пише да „Гроу (Grow,1991) такође налази да људи са ниском спремношћу за самоусмеравано учење осећају високу анксиозност“ (стр. 250) — тврдња у том облику потиче од посредника (Fisher, King & Tague, 2001: 517), кога рад на том месту не наводи, и служи као емпиријски ослонац тумачења АЛФА фактора. Најзад, тумачење СИГМА фактора као позитивне агресивности почива на тврдњи да „асертивност представља врсту агресивности“ (стр. 253) уз позивање на Кокса, док Кокс асертивност описује као понашање које се с агресијом брка и од ње одваја управо по одсуству намере да се другоме науди (Cox, 2002). Ниједна од ових омашки не мења бројеве, али све заједно чине да тврдња из синтезе — „Такође, бројна истраживања потврђују њену повезаност са мотивацијом за рад“ (стр. 163) — има ужи ослонац него што звучи.

Остале примедбе теоријском прегледу тичу се споредних тачака и не утичу на мерење ни на резултате:

  • мастер оријентација описана је као да је „пре орјентација на резултате, где је важно победити и успети“ (стр. 32), што је одлика оријентације на извођење и противречи наредној реченици истог пасуса;
  • Масловљевој хијерархији приписане су две међусобно различите поделе (на три потребе недостатка и две потребе раста на стр. 29, на две потребе нижег и три вишег реда на стр. 52);
  • теорија два фактора датована је Херцберговом књигом из 1966, а изложена је 1959. с Маузнером и Снајдерман (стр. 56);
  • теорија когнитивне евалуације на стр. 270 приписана је Портеру и Лолеру, иако је рад на стр. 88 тачно изводи из њиховог модела („полазећи од модела Портера и Лавлера“), а не приписује је њима;
  • Ротеров локус контроле стоји уместо опаженог локуса узрочности (стр. 89), који рад тачно употребљава на стр. 276;
  • четврта пропозиција теорије правичности пренета је с обрнутим смислом — „Што веће узнемирење индивидуа осећа, то ће бити теже да се успостави једнакост.“ (стр. 70) — док по Хјузману, Хетфилду и Мајлсу особа, што је узнемирење веће, то више настоји да правичност поврати (Huseman, Hatfield & Miles, 1987);
  • дивергентни стил учења на стр. 127 описан је супротно тачном опису на стр. 115;
  • Леманов налаз, пренет преко Рајса, гласи у раду „Око 80% квалитета рада губи се до педесете године живота.“ (стр. 117), а код Рајса око 80% врхунских радова бива завршено до педесете (Rice, 2001);
  • тежња статусу на стр. 125 сврстана је у унутрашњу мотивацију, супротно типологији на којој почива МЗР и одређењу самог рада на стр. 99;
  • дефиниција самоусмераваног учења на стр. 107 Ноулсова је, а приписана је посредницима, без помена Ноулса.

Све то је ствар пажљиве редакције прегледа, а не разумевања материје.

V Инструменти и психометрија

Конструкција три упитника рад поставља као посебан допринос, и реферат га тако и оцењује. Та оцена заслужује да се измери према ономе што објављени подаци показују, јер управо их рад сам објављује.

Поступак је у основи онај који водичи за развој скала у организационим истраживањима препоручују — факторска анализа уз Кронбахову алфу (Hinkin, 1998) — и, као прва провера нових упитника, експлораторан, што је примерено: експлораторна анализа „It was designed and is still most appropriate for use in exploring a data set.“ (Costello & Osborne, 2005: 8). Недостаци су у спровођењу и у закључивању из њега.

Најпре, у подацима постоји једна нетачна вредност. Коефицијент поузданости подскале алтруизма наведен је као „α=0.869“ (стр. 176), а ајтем-анализа у Табели 7 Прилога А, у којој алфа без било које од седам ставки износи између 0,633 и 0,685, показује укупну алфу од око 0,69. Обе подскале упитника ОСО имају, дакле, осредњу поузданост (око 0,69 и 0,636). Уз савесност, испод 0,70 су и интринзичка мотивација (0,669) и мотивација заснована на унутрашњем самоопажању (0,672). Водич за развој скала у организационим истраживањима за нове мере каже да „.70 should serve as an absolute minimum for newly developed measures“ (Hinkin, 1998, корак 3), а Кларкова и Вотсон препоручују да се нова скала испод 0,80 ревидира (Clark & Watson, 1995, одељак The attenuation paradox). Треба одмах рећи и шта иде у корист рада: исти чланак бележи да „it is not uncommon for contemporary researchers to characterize reliabilities in the .60s and .70s as good or adequate“ (Clark & Watson, 1995, одељак Unidimensionality, internal consistency, and coefficient alpha), па вредности осталих подскала МЗР и упитника СЗПО, између 0,73 и 0,83, нису слабе. Примедба се своди на ово: четири подскале на којима почивају појединачни налази (по вредностима из текста три, а по табели Прилога А и алтруизам) мере се скромно поуздано, а тексту недостаје реченица која то каже.

Друго, у подскалама су задржане ставке које не мере свој конструкт. Ставка 5 екстринзичке подскале МЗР корелира са скором подскале −0,149, ставка 5 СЗПО −0,286, а ставке 6 и 8 ОСО, као и ставка 1 интринзичке подскале МЗР, око нуле; изостављањем МЗР5 и СЗПО5 поузданост тих скала порасла би на 0,866, односно 0,862. Текст о тим ставкама ћути. Стандарди из 1999. траже да се поступак избора ставки документује: „The procedures used to develop, review, and try out items, and to select items from the item pool should be documented.“ (AERA, APA, NCME, 1999, стандард 3.7).

Треће, и најважније, упитник МЗР не показује структуру на којој почивају анализе. Од шест компонената са својственом вредношћу изнад 1, рад „суштински“ задржава три, а затим два фактора, без наведеног мерила за број фактора и без ротације; ставке унутрашњег самоопажања и интернализованих циљева засићују исти фактор, а трећи, интринзички фактор одбачен је зато што га чине две ставке. Рад то отворено каже и одлучује: „Даља анализа рађена је на основу унапред предвиђених пет фактора.“ (стр. 179). Стандарди из 1999. за такав случај имају две ставке: „If the rationale for a test use or interpretation depends on premises about the relationships among parts of the test, evidence concerning the internal structure of the test should be provided.“ (AERA, APA, NCME, 1999, стандард 1.11) и „When interpretation of subscores, score differences, or profiles is suggested, the rationale and relevant evidence in support of such interpretation should be provided.“ (стандард 1.12; AERA, APA, NCME, 1999: 20). Последица није у томе да су подскале безвредне — рад их задржава из теоријских разлога и то каже — него у томе да разлике у предикторима између две подскале које се не раздвајају, а на њима почивају и профили у одељку 4.1, треба читати с резервом коју рад на том месту не изриче. Поступак уз то почива на анализи главних компоненти и на правилу својствене вредности изнад 1, о којима је методолошка литература и пре 2013. била изричита: „When the goal of the analysis is to identify latent constructs underlying measured variables, it is more sensible to use EFA than PCA“ (Fabrigar, Wegener, MacCallum & Strahan, 1999: 276), а за правило својствених вредности „There is broad consensus in the literature that this is among the least accurate methods for selecting the number of factors to retain“ (Costello & Osborne, 2005: 2). Налаз о две димензије МЗР зато треба читати као хипотезу за даље истраживање, а не као утврђену структуру; као такав, он је и најзанимљивији метријски налаз рада.

Четврто, упитник ОСО даје четири компоненте са својственом вредношћу изнад 1, а рад говори о „суштински“ два фактора. Први фактор чине четири ставке предвиђене за алтруизам и три за савесност и назван је фактором савесности; други чине искључиво четири негативно формулисане ставке и назван је фактором алтруизма (стр. 175–176). Други фактор тако може одражавати начин формулације пре него садржај — управо оно на шта водич за развој скала упозорава: „If the researcher does choose to use reverse-scored items, they must be very carefully worded to assure appropriate interpretation by respondents, and careful attention should be paid to factor loadings and communalities at the factor analytical stage of scale development“ (Hinkin, 1998, корак 1). Реченица „Даља анализа рађена је на основу два фактора.“ (стр. 176) уз то не одговара ономе што је урађено: поузданост је дата за унапред предвиђене подскале (непарне ставке алтруизам, парне савесност), а не за добијене факторе, па читалац не може са сигурношћу да утврди који су скорови алтруизма и савесности ушли у корелације и регресије.

Пето, једнодимензионалност СЗПО образложена је аргументом који је и чињенично и методолошки неисправан: да „све ставке имају мултипла засићења“ (стр. 180), што „указује на то да се овај упитник може третирати као једнодимензионални, каквим је и предвиђен“ (стр. 180). Ставке 7, 10 и 15 засићују само две компоненте, а вишеструка засићења у неротираном решењу ионако не говоре о броју димензија. Једнодимензионално тумачење може се бранити другим подацима које рад има у Прилогу А — прва компонента објашњава 32,9 одсто варијансе уз својствену вредност 5,923 наспрам 2,271 за другу, а алфа износи 0,833 — али их у тексту не користи; ни алфа сама то не би довршила, јер је унутрашња конзистентност „a necessary but not sufficient condition for homogeneity or unidimensionality“ (Clark & Watson, 1995, исти одељак). Садржај ставки СЗПО разнородан је — од ставова према учењу и практичних препрека до похађања курсева — а које ставке мере коју од три одлике перманентног образовања на којима је упитник заснован (добровољност, усмереност на искуство, самоусмереност), рад не приказује. С тим је повезано и то што граница конструкта остаје широка: рад образложено спаја перманентно образовање и учење, али операционалну дефиницију преузима од спремности за самоусмеравано учење (стр. 107 и 171).

Шесто, опис бодовања МЗР на стр. 176 наведен је немонотоно (један бод за „потпуно се слажем“, пет за „углавном се слажем“), па се из текста бодовање не може поновити. Позитивне корелације ставки са скором у табелама Прилога А показују да је у обради вероватно коришћен исправан кључ, тако да је грешка у опису, а не у подацима — али управо тај опис рад нуди за даљу употребу упитника. Ни за ОСО ни за СЗПО није поименце наведено које су ставке обрнуто бодоване.

Седмо, сва три упитника проверена су на истом узорку на коме се проверавају хипотезе, а конвергентна ваљаност према постојећим мерама није испитана. Исти водич о томе каже: „It may be argued that, due to potential difficulties caused by common source/common method variance, it is inappropriate to use the same sample both for scale development and for assessing the psychometric properties of a new measure“ (Hinkin, 1998, корак 6). То је разумљив избор за прву проверу нових упитника у дисертацији и овде се не узима за ману; ману представља то што закључак о практичном циљу постављеном на стр. 166 — да ли упитници имају задовољавајуће метријске карактеристике за употребу у пракси — ништа не каже.

Осмо, употреба два постојећа теста документована је непотпуно. Мерне карактеристике ПИЕ — „поузданост теста утврђена сплит-халф методом износи од 0.61 до 0.90“ (стр. 174) — наведене су без извора, а поузданост ни ПИЕ ни КОН-6 на овом узорку није дата, иако смернице из 1999. траже: „If a questionnaire is used to collect data, summarize the psychometric properties of its scores with specific regard to the way the instrument is used in a population.“ (Wilkinson & TFSI, 1999: 596). Не наводи се ни да ли су у анализе ушли сирови, процентни или перцентилни скорови ПИЕ, ни у ком смеру се бодује ЕПСИЛОН, на коме почива најистакнутији конативни налаз. ПИЕ је тест присилног избора, чији су скорови бар делимично ипсативни — „Distinctive for ipsative scores is that the score on each scale or dimension is constrained by the scores on the other scales or dimensions.“ (EFPA Board of Assessment, 2013, т. 3.8) — а рад их без осврта на то уноси као независне предикторе у корелације и у регресије са свих девет скорова истовремено. То је ограничење које је требало навести при тумачењу слабих веза емоционалних димензија. У опису ПИЕ најављено је дванаест термина, а набројано десет (стр. 173).

VI Узорак, статистика и резултати

Узорак је изричито означен као пригодан — „Ово истраживање је спроведено на пригодном узорку који је сачињавао 401 испитаник.“ (стр. 180) — и по свих девет социодемографских обележја описан је тачно. Пригодан узорак сам по себи није мана: „Using a convenience sample does not automatically disqualify a study from publication“ (Wilkinson & TFSI, 1999: 595). Али исте смернице траже да се поступак учини јасним, а стандарди извештавања међу подацима које препоручују за сваки извештај о новим подацима наводе „Dates defining the periods of recruitment and repeated measurements or follow-up“ и „Percentage of sample approached that participated“ (APA Publications and Communications Board Working Group on JARS, 2008, Табела 1). Рад наводи да је испитивање „спроведено јуна, јула и августа, у различитим предузећима на територији Београда и Ниша“ (стр. 183), да су тестови задавани „један по један, уз објашњење упутства за њихово попуњавање“ (стр. 183), да су испитивања била групна и у каквим су установама испитаници запослени (стр. 184), али година испитивања, број и начин избора организација, одзив, испитивачи и редослед задавања тестова нису наведени, а о сагласности послодаваца и испитаника, добровољности и анонимности нема ниједне речи. Из рада се зато не може утврдити ни када је испитивање обављено у односу на одобрење теме. Кодекс који ауторку обавезује тражи: „U pismenim i usmenim izveštajima o istraživanjima psiholog je dužan da stručnoj javnosti obelodani tačno, precizno i potpuno sve korake (metodološke, konceptualne, statističke) koje je preduzeo a čije je poznavanje neophodno za kritičko procenjivanje obavljenog posla.“ (Društvo psihologa Srbije, 2000, т. 1.5.1). Ради правичности: етички кодекс Америчког психолошког удружења у верзији важећој 2013. допушта изостављање информисане сагласности за „the study of factors related to job or organization effectiveness conducted in organizational settings for which there is no risk to participants’ employability, and confidentiality is protected“ (American Psychological Association, 2002/2010, стандард 8.05), а упитник о општим подацима не тражи име, што посредно указује на анонимност. Примедба се, дакле, тиче документованости, не спорног поступања. Узорак је, уз то, неуравнотежен — 74,6 одсто испитаника ради у државним предузећима, а 85,3 одсто су извршиоци — а у анализи варијансе по образовању задржана је група од четири испитаника с основном школом; то ограничава уопштавање, што закључак не каже.

Најтежа примедба у овом делу тиче се података једне подскале. У табелама 23, 31 и 36 стандардне девијације подскале мотивације интернализованих циљева у по једној групи износе 8,910, 10,040 и 10,077 — више него што је могуће за скор у распону од 5 до 25 при датим просецима — а укупна стандардна девијација те подскале (5,063) знатно је већа него код осталих. Пошто се стандардне грешке у истим табелама слажу с тим вредностима, оне потичу из излаза, а не из преноса у текст, што упућује на бар једну унету вредност изван распона. Смернице из 1999. за то имају најпростије правило: „As soon as you have collected your data, before you compute any statistics, look at your data.“ (Wilkinson & TFSI, 1999: 597). Налази о мотивацији интернализованих циљева — групне разлике, корелације и регресије — зато треба поново израчунати после провере базе. Налази о остала четири мотивациона извора и о спремности за перманентно образовање тиме нису погођени.

Анализе варијансе по социодемографским варијаблама имају два систематска недостатка. Прво, ЛСД поређења наведена су и протумачена и онда кад омнибус тест за ту зависну варијаблу није значајан (p од 0,055 до 0,262 у табелама 22, 25, 30, 38 и 41), иако ЛСД поређења сама не коригују ниво значајности, па се против грешке прве врсте штите само кад им претходи значајан омнибус тест; ту спада већина налаза о мотивацији интернализованих циљева по образовању, примањима, области пословања и задовољству послом. Друго, рад изводи више од стотину корелација и неколико десетина омнибус тестова без корекције нивоа значајности и без иједне мере величине ефекта, а поступак у опису обраде ни не помиње. Смернице из 1999. кажу: „Always present effect sizes for primary outcomes.“ и „Multiple outcomes require special handling.“ (Wilkinson & TFSI, 1999: 599). Главни налази о одговорном понашању и конативним факторима, с p испод 0,001, од тога не зависе; групне разлике с p између 0,01 и 0,05, на којима почива прихватање хипотеза Х7–Х10, треба читати као истраживачке.

На неколико места текст налазе чита другачије него табеле. На стр. 202 ЛСД разлика из табеле 30, која се односи на мотивацију засновану на унутрашњем самоопажању и иде у корист испитаника с више од двадесет година стажа, приписана је мотивацији интернализованих циљева и средњој категорији стажа, за коју разлике нема (p = 0,787), а објашњење се позива на категорију коју узорак нема: „Ово би могли објаснити чињеницом да су испитаници са 10 до 15 година радног стажа у најпродуктивнијим годинама“ (стр. 202). Нивои значајности у тексту на пет места не одговарају табелама (нпр. разлика у спремности по образовању наведена је као значајна „на нивоу .019“, стр. 212, а табела 46 даје p < 0,001; разлика по примањима с p = 0,056 исказана је као значајна). Просек екстринзичке мотивације групе од 26 до 35 година наведен је као 26,71 уместо 16,71 (стр. 193). Табела 19 пренета је непотпуно (без ознака редова), у табели 22 горње границе интервала поверења нису на свом месту, а у табелама 19, 22, 25 и 41 ознаке горње и доње границе стоје обрнуто. Наслови табела 74–84 шаблонски међу предикторе убрајају интринзичку мотивацију, а текст испод табеле 84 као зависну варијаблу наводи мотивацију засновану на унутрашњем самоопажању уместо спремности за перманентно образовање. Бројеви у табелама тим омашкама нису погођени, али је читање отежано.

Регресије са 17 истовремено унетих предиктора приказане су без провере колинеарности и резидуала, без матрице интеркорелација предиктора, без навођења програма и начина кодирања дихотомних варијабли. То није само формални пропуст, јер на три места мења смисао тумачења. Код АЛФА фактора нулта корелација с екстринзичком мотивацијом је позитивна (0,191), а стандардизовани коефицијент негативан (−0,190); код СИГМА фактора корелација са спремношћу за перманентно образовање је негативна (−0,145), а коефицијент позитиван (0,101, p = 0,041), и у хијерархијском моделу губи значајност (p = 0,077). Такви обрти указују на супресију међу повезаним скалама КОН-6, коју рад не препознаје, па их тумачи као безусловне везе супротног смера (в. одељак VII). Код радног места, из смера разлика у табелама 31–32 произлази да су извршиоци кодирани вишом вредношћу, па позитиван коефицијент у табели 74 (B = 1,103, p = 0,028) говори о вишој интринзичкој мотивацији извршилаца, а не руководилаца, како рад чита — „руководиоци показују више интринзичке мотивације (Beta=0.119; Sig=0.28) од извршиоца“ (стр. 228), где је уз то p омашком одштампано као 0,28. Облик власништва у регресији мења предзнак у односу на разлику средина (стр. 204–205 наспрам 235 и 272), а тај обрт, вероватно последица контроле области пословања, није објашњен. Уз табелу 80 (стр. 235, понављано на стр. 272) као значајни социодемографски предиктори наведени су стаж, зарада и облик власништва, иако је испод 0,05 само стаж, зарада није значајна (p = 0,054), облик власништва је на самом прагу, а изостављен је рад у државној администрацији, најјачи социодемографски предиктор у том моделу (p = 0,003). У табели 70 ЕПСИЛОН има t = 1,952, чему при 383 степена слободе одговара p ≈ 0,052, а не наведених 0,050, па се као регресиони предиктор мотивације интернализованих циљева не може водити.

Посебно ваља рећи шта хијерархијска регресија у одељку 3.7 јесте, а шта није. Рад исти поступак зове час модераторским — „Модераторски утицај пола, година старости, степена образовања“ (стр. 184) — час медијаторским: „3.7. Mедијаторски утицај социо-демографских варијабли“ (стр. 226). Та два појма у психологији нису синоними од класичног рада Барона и Кенија, који наглашава „the importance of not using the terms moderator and mediator interchangeably“ (Baron & Kenny, 1986: 1173) и разлику изриче једном реченицом: „Whereas moderator variables specify when certain effects will hold, mediators speak to how or why such effects occur.“ (Baron & Kenny, 1986: 1176). Модерација се проверава чланом интеракције, медијација проценом посредног пута; модели у табелама 73–84 немају ни једно ни друго. Оно што поступак стварно показује — прираштај објашњене варијансе особина личности и одговорног понашања изнад социодемографског блока — рад, као што је речено, тачно израчунава и тачно тумачи (стр. 226). Погрешан је назив, а из погрешног назива погрешни су и искази изведени из њега (в. одељак VII).

VII Интерпретација, профили и закључци

Интерпретација (стр. 241–282) најјача је тамо где тумачи одговорно понашање, и о њима је речено у одељку II. Слабости су на три места: у тумачењу појединачних регресионих коефицијената, у профилима мотивационих типова и у сажимању резултата у закључку, резимеу и апстракту.

Прво, неколико тумачења иде у смеру супротном табелама. Из негативног коефицијента АЛФА фактора рад изводи да „порастом анксиозности опада екстринзичка мотивација“ (стр. 248) и да „анксиозност генерално делује блокирајуће на екстринзичку мотивацију“ (стр. 250), иако је проста корелација позитивна, што рад на стр. 188 и сам бележи; одбранљиво је само да АЛФА, уз контролу осталих предиктора, има мали јединствени негативан допринос. Тумачење агресивности као чиниоца који подстиче спремност за перманентно образовање (стр. 253–254 и 280–281) почива на једном парцијалном коефицијенту који у хијерархијском моделу нестаје, док оба мерила агресивности — СИГМА и агресивност из ПИЕ — са спремношћу корелирају негативно, како рад исправно каже на стр. 189 и 190. Сажимајућа реченица на стр. 279–280 наводи негативну повезаност спремности и са „емоционалним димензијама репродукције, опозиционалности и склоности ка давању социјално пожељних одговора“ (стр. 280), а корелације с репродукцијом и биас скором позитивне су (0,249 и 0,210), што рад тачно пише на стр. 189, 246 и 259. Тврдња да руководиоци исказују више интринзичке мотивације (стр. 228, 268) нема ослонца: нулта разлика није значајна, а регресиони коефицијент говори у корист извршилаца (в. одељак VI). Тумачење табеле 80 на стр. 272, по коме мотивација заснована на унутрашњем самоопажању „расте са годинама старости и висином зараде“ (стр. 272), не слаже се с табелом, у којој старост има негативан коефицијент, а депривација остаје јача од савесности (о заради и стажу в. одељак VI).

Друго, ЕПСИЛОН се у интерпретацији и закључку уопштава даље него што подаци допуштају. Рад закључује да се фактор ЕПСИЛОН може „сматрати одговорним за мотивацију уопште“ (стр. 244), а закључак да је „вероватно, предиктор мотивације уопште“ (стр. 290). ЕПСИЛОН јесте једини конативни фактор позитивно и значајно повезан са свих пет мотивационих извора, и то је стваран налаз; али су те корелације мале (од 0,139 до 0,276), за три извора испод прага од 0,20 који рад сам поставља, а за мотивацију интернализованих циљева регресиони коефицијент је гранични и у хијерархијском моделу није значајан, што ауторка на стр. 279 и сама бележи. Одбранљив исказ гласи: ЕПСИЛОН показује доследну, али слабу позитивну везу са свим изворима. Реч „вероватно“ у закључку ту разлику делом признаје; резиме је нема.

Треће, „профили мотивационих типова“ у одељку 4.1 нису типови особа. Испитаници нису разврстани по доминантном мотивационом извору, иако рад полази од претпоставке да „Свака индивидуа поседује доминантни мотивациони извор који је основа доношења одлука и каналисања понашања“ (стр. 97); профили су састављени од значајних коефицијената пет одвојених регресија, које објашњавају од 10 до 28 одсто варијансе. Ауторка их с правом најављује као условне — „Уколико бисмо посматрали, условно, профиле индивидуа који карактеришу поједине мотивационе изворе, добијамо следеће податке:“ (стр. 267) — и то је изричита ограда. Али садржајни описи иду далеко изнад ње и изнад коефицијената око 0,2. Екстринзички мотивисана особа описана је преко хистеричних црта: „Овакве особе одликују себичност, самољубивост, поводљивост, склоност регресији, уски интереси.“ (стр. 276–277); о интринзички мотивисанима стоји „Овакав став је помало незрео и хедонистички.“ (стр. 253) и „као и инфантилни став интринзички мотивисаног“ (стр. 258); о екстринзичкој мотивацији — „Екстринзичка мотивација, овако схваћена, није само-усмерена, она је егоистична.“ (стр. 247). Развојна поређења мотивационих извора рад преузима од Барбута и сарадника — „Он овај облик мотивације, такође пореди са Пијажеовим предоперационалним стадијумом“ (стр. 258) — али вредносни описи испитаника, зрелост, егоизам и инфантилност, немају ослонца у подацима: те одлике нису мерене, а везе на којима описи почивају мале су (Beta од 0,19 до 0,29). Опис екстринзички мотивисаних преко хистеричних црта (стр. 276–277) нема ни навода извора, иако је узорак неклинички. Слично важи за део тумачења групних разлика, у коме се незадовољство послом објашњава и „опште мрзовољности, као црте која у свему види корист“ (стр. 210), а испитаницима просечних примања приписује се „највише конформистички став релативног задовољства и избегавања улагања напора“ (стр. 213). Изречени као претпоставке, ти описи ипак остају вредносни судови о испитаницима без ослонца у подацима. Профиле, укратко, треба читати као хипотетичке портрете изведене из коефицијената, а не као емпиријски утврђену типологију. Ни опис екстринзички мотивисаног као неанксиозне особе не стоји, јер почива на коефицијенту АЛФА супротног предзнака од корелације.

Четврто, закључак и резиме приказују резултате јаче и једнозначније него табеле. Резиме, апстракт и закључак наводе: „ХИ, АЛФА, ДЕЛТА, ЕТА су негативно, а СИГМА фактор је у позитивној вези са спремношћу за перманентно образовање“ (стр. 289). Смер за ХИ, АЛФА, ДЕЛТА и ЕТА узет је из корелација, а смер за СИГМА из регресије, иако је њена корелација са спремношћу негативна, како рад на стр. 190 и сам каже. ДЕЛТА је наведена као предиктор екстринзичке мотивације (стр. 290), иако у регресији није значајна (p = 0,526), него само корелира. Хипотеза о стажу и спремности проглашена је потврђеном по хијерархијској регресији, иако анализа варијансе стаж не показује значајним (стр. 214), док је старост, значајна у истом регресионом моделу, по анализи варијансе одбачена. Закључак да је истраживање показало „медијаторски утицај задовољства послом“ (стр. 286) нема ослонца у поступку који није испитивао медијацију; ни тврдња да ЕПСИЛОН постаје доминантни предиктор интринзичке мотивације „код руководилаца и више задовољних својим послом“ (стр. 286), јер анализа по подузорцима није рађена; а утицај задовољства на мотивацију интернализованих циљева почива само на једној ЛСД разлици (табела 41, p = 0,042) уз незначајан омнибус тест (табела 40, p = 0,262). Закључак о упитнику МЗР (стр. 292) погрешно наводи да спољашња мотивација заснована на самоопажању улази у екстринзички фактор, који по стр. 178 чине само ставке екстринзичке подскале.

Пето, и за оцену најважније: носећи закључак о организационој социјалној одговорности треба прецизирати. За спремност за перманентно образовање он је чврст по сваком мерилу. За мотивацију за рад важи у смислу доследности — ОСО (индекс или једна од подскала) има највећу нулту корелацију код четири од пет извора (код интринзичке мотивације то је савесност, 0,208), а бар једна његова подскала значајна је у регресији код четири извора — али не и по јачини: међу значајним предикторима највећи стандардизовани коефицијент ОСО има само код мотивације интернализованих циљева, код осталих предњаче ЕТА, ЕПСИЛОН или депривација, а разлике међу коефицијентима нису тестиране. Исказ да је истраживање „показало највећу предиктивну вредност организационе социјалне одговорности, како за мотивацију за рад, тако и за спремност за перманентно образовање“ (стр. 294) у првом делу треба ослабити, а за оба дела додати могућност да је веза делом увећана заједничким форматом три сопствена упитника.

Шесто, закључак нема систематски приказ ограничења. Поред ниских корелација и неконтролисаног руководећег стила, које рад изричито наводи, не помињу се пригодан узорак из два града, изостанак године испитивања, мали удео објашњене варијансе за мотивационе изворе, ниске поузданости појединих подскала ни то да су сопствени упитници проверени на истом узорку на коме су употребљени. Део тих података стоји у поглављу о методу и у интерпретацији, али без извођења последица за уопштивост. Објашњење ниских корелација (стр. 291–292) остаје претпоставка: свођење шест фактора КОН-6 на Ајзенкове димензије могло је бити проверено на подацима, а није, а тврдња да су емоционалне димензије „променљивог карактера“ (стр. 291) не слаже се с описом Плучикових црта на стр. 21 — „За Плучика црте личности су релативно трајне диспозиције“ (стр. 21). Предлози даљих истраживања (способности, самоефикасност, персонална одговорност, однос с руководиоцем, стр. 294–296) су, насупрот томе, конкретни и изведени из празнина сопственог нацрта.

VIII Наводи, бројеви и језик

Бројеви у раду, како је речено, у највећем делу држе: грешке су у читању и сажимању, а не у самим вредностима. Исто важи за наводе из литературе, који су у претежном делу верни и с тачним странама. Слабост која се понавља јесу преводи изворних речи и појмова који мењају смисао изворника, и у дословним наводима и у препричаном тексту. Најупадљивији је Колбов навод: „Знање резултира из комбинације знатижеље и трансформишућих искустава“ (стр. 114), где изворно „Knowledge results from the combination of grasping and transforming experience“ (Kolb, 1984: 41, према Kolb, Boyatzis & Mainemelis, 1999) не говори о знатижељи него о схватању искуства; реченице које окружују навод Колбов модел излажу тачно. Исте врсте су:

  • „insights“ из Симонове дефиниције организационог учења (Friedman, 2001: 398) преведено као „проналажење“ (стр. 104);
  • enforceable requirement као „неизбежни захтев“ (стр. 137);
  • Нонакин и Такеучијев пар tacit и explicit knowledge као „пасивна и експлицитна знања“ (стр. 155), где је прећутно знање постало пасивно;
  • Ливнеов фактор self-centered као „самоусмереност“, појам који у теорији самоусмераваног учења има друго и кључно значење (стр. 157);
  • Барбутов показатељ „relative wealth of others“ (Barbuto, 2002: 44) као „релативној предности и добробити других“ (стр. 99; исто на стр. 247), чиме се губи новчани смисао показатеља инструменталне мотивације;
  • Големанова social awareness као „категорију социјалне савести“ (стр. 257);
  • role ambiguity као „амбивалентности улога“ (стр. 79).

У преведеном наводу Стирса и сарадника на стр. 6 једно од набројаних обележја изостављено је без ознаке изостављања.

Стручна терминологија није уједначена: исти појам пише се као екстраверзија, екстроверзија и екстраверзија-интраверзија; потреба за повезаношћу из теорије самодетерминације једном је названа „удруживањем“ (стр. 93), изразом који рад користи и за потребу за афилијацијом; континуум самодетерминације на стр. 93 приписан је теорији под другим именом — „Дакле, теорија саморегулације представља континуум“ (стр. 93). Имена страних аутора исписују се недоследно и на више места погрешно — Scholl као „Шул“ и „School“ (и у резимеу и у апстракту), Finkelstein као „Filkenstein“, „Финкенстајн“ и „Финкелстаин“, Lawler као „Лаврел“, „Лавлер“ и „Lowler“, Carver и Scheier као „Craver, Sheler“, Bewley као „Bewlay“ и „Belwey“, а наслов одељка 1.1.5.1 у садржају гласи „Плучникова“. У двадесетак речи помешана су ћириличка и латиничка слова, а у тексту има и словних грешака („изненедио“, „критерјумима“, „орјентисан“). То су ствари лектуре, али у раду који се ослања на стотине туђих имена отежавају проналажење извора.

IX Научни апарат

У апарату има уредног више него што би се по омашкама рекло. Систем аутор–година–страна примењен је кроз цео рад, дословни наводи готово увек носе страну, стране навода из чланака готово увек упадају у распон из пописа, посредно навођење углавном је видно означено, а све четири слике имају наведен извор. Попис нема ниједне јединице објављене после предаје, а ставке у Прилогу Б слажу се с подскалама у тексту и у табелама Прилога А.

Најтежи недостатак апарата јесте то што оба стандардизована теста на којима почива емпиријски део немају јединицу у попису литературе: ни приручник КОН-6 ни ПИЕ и његова југословенска адаптација, ни иједан рад Плучика или Момировића, иако су оба модела у теоријском делу опширно приказана. Плучикова теорија, додуше, приказана је по Ламовецовом приручнику (1997), који у попису јесте, а приручник КОН-6 наведен је у натпису Слике 4 и у опису метода (стр. 174), па се извори могу пронаћи посредно; изворна дела и приручници ипак су морали ући у попис. Приручник КОН-6 наводи се уз то с две године, 1992 (стр. 174 и резиме) и 1998 (стр. 23 и 291), без објашњења. Шире узев, у тексту се наводи више десетина дела којих у попису нема (међу њима Alderfer 1972, Bandura 1986, Hackman и Oldham 1980, Ryan и Deci 2000, Organ 1988, George и Brief 1992, Barbuto и Scholl 1998), а у обрнутом смеру попис садржи двадесетак и више јединица које се у тексту нигде не наводе; три дела наведена су двапут (Bewley, Lindner, Seo), па стварни број различитих јединица износи 167, а не 170. Упутство Сената које дисертацију обавезује ту је недвосмислено: „Наводе се сви радови чији су делови у докторском раду експлицитно наведени, као и они на које се аутор позива. У попису литературе не сме бити радова који нису цитирани, ни оних на које се у раду не упућује.“ (Универзитет у Београду, 2011, Прилог 4, нап. 2).

Поједине јединице пописа нетачне су или непотпуне: чланак Гање и Деција из Journal of Organizational Behavior (2005) уписан је као књига издавача Wiley из Монтреала; рад Смита, Органа и Нира (1983) има погрешне стране; рад Илијеса, Скота и Џаџа (2006) наведен је у тексту и попису без првог аутора; уводни чланак Стирса, Моудеја и Шапирове носи погрешно годиште; иницијали аутора и назив часописа Леонарда и сарадника искварени су. Више навођења поклапа се с пописом по аутору, али не и по години (Arnold и сар. као 2004 и 2005; Маслов као 1987 у тексту и 1982 у попису), а четири навођења дају страну која не припада наведеном делу. Интернет извори делом су без аутора, наслова или године, с исквареним адресама, а један је енциклопедијски; класичне теорије (Херцберг, Шејн) местимично су наведене преко популарних мрежних страна.

Темељне теорије мотивације, личности и одговорног понашања приказане су претежно посредно, преко уџбеника и прегледних радова. Рад то углавном прозирно означава обрасцем аутор: посредник, година, страна, што одговара ономе што приручник стила психологије допушта — „Use secondary sources sparingly, for instance, when the original work is out of print, unavailable through usual sources, or not available in English. Give the secondary source in the reference list; in text, name the original work and give a citation for the secondary source.“ (American Psychological Association, 2013) — али количина посредног навођења значи да се тумачења изворника преносе преко секундарних аутора, а неколико омашки описаних у одељку IV настало је управо на том путу. Три дела која су у попису (међу њима Nuttin, као и Organ и Ryan) наводе се ипак посредно.

У формалном уређењу слике су нумерисане ван реда појављивања (на стр. 20, 23, 36 и 40 редом Слике 3, 4, 1 и 2), „Слика 1“ је по облику табела, табеле Прилога А нумерисане су од 1, као и табеле главног текста, па се упућивање „Табела 5,6 у Прилогу А“ (стр. 180) бројем поклапа с табелама главног текста, а садржај има искварене бројеве страна („17068“ уз хипотезе). Упутство Сената тражи да „Све табеле и слике треба да имају одговарајући наслов и да буду нумерисане.“ (Универзитет у Београду, 2011, Прилог 4), а нумерација која не прати редослед тај захтев испуњава само формално.

X Однос рада и реферата Комисије

Реферат Комисије, датиран 20. новембра 2013, тачно описује нацрт, узорак и инструменте — у највећем делу речима резимеа — и не износи ниједну замерку. Прописани обим провере Већа научних области узак је: оно утврђује „1. да ли је урађена докторска дисертација у складу са темом на коју је Универзитет дао сагласност и“ и „2. да ли наводи садржани у реферату потврђују да су се стекли услови за одбрану докторске дисертације.“ (Правилник о већима научних области на Универзитету у Београду, чл. 23), па садржинска тежина оцене почива на самом реферату.

Посебан допринос ауторке реферат види у томе што је конструисала „три инструмента добрих метријских карактеристика“ (реферат, стр. 10). Сопствени подаци рада ту оцену у изреченом облику не подржавају: МЗР не показује предвиђену петофакторску структуру, ОСО даје фактор измешаних ставки и фактор негативно формулисаних ставки, три подскале већ по вредностима које рад наводи имају алфу испод 0,70 (а по табели Прилога А и алтруизам), вредност 0,869 за алтруизам не слаже се с табелом Прилога А, неке ставке корелирају са скалом негативно, а ваљаност је проверена само на истом узорку. Одржива је скромнија оцена: реч је о првом покушају операционализације, отворено приказаном у Прилогу А, на коме се може даље радити.

Реферат наводи шест хипотеза у облику из пријаве теме — без хипотеза о организационој социјалној одговорности и задовољству послом и са две социодемографске варијабле, „године стажа у актуелној фирми“ и „место“ (реферат, стр. 7), које рад не анализира — док рад поставља општу и десет специфичних хипотеза (стр. 168–169). Ни рад ни реферат не бележе да је нацрт после одобрења теме проширен. Реферат при том у осталим одељцима наводи социјално одговорно понашање као независну варијаблу и оцењује налазе о њему, па је организациона социјална одговорност била део одобреног нацрта. Проширено је, дакле, разрађивање хипотеза, што само по себи није мана, али разлика између хипотеза у реферату и у раду нигде није образложена.

Реферат пише да ауторка „у својој дисертацији потврђује општу хипотеза о постојању повезаности“ (реферат, стр. 9), а рад каже да је општа хипотеза „делимично потврђена“ (стр. 289) и да истраживање „није потврдило све хипотезе“ (стр. 289); о одбаченим хипотезама реферат ћути. Реферат преноси и оне ставове резимеа који не одговарају табелама: да спремност за перманентно образовање „у значајној вези је са свим мереним конативним факторима, осим ЕПСИЛОН“ (реферат, стр. 9), иако ЕПСИЛОН са спремношћу значајно корелира (0,143), што рад на стр. 190 тачно каже; да се ЕПСИЛОН може сматрати добрим предиктором мотивације уопште; да је модераторски утицај социодемографских варијабли проверен „хијерархијском регресионом анализом“ (реферат, стр. 9), иако модели немају чланова интеракције; и да је појам организационе социјалне одговорности „настао 1977. као резултат истраживања Органа и Смита“ (реферат, стр. 6), чиме понавља непостојећи навод са стр. 165 (в. одељак IV). Реферат наводи и да је за обраду коришћен програм SPSS 17.0 (реферат, стр. 9), податак којег у раду нема. Оно што реферат о носећем налазу каже — да се организациона социјална одговорност показала најпоузданијим предиктором спремности за перманентно образовање — одговара табелама; за мотивацију за рад важи с ограничењем изреченим у одељку VII.

XI Шта остаје

Дисертација Емилије Марковић је емпиријско истраживање које на узорку од четири стотине запослених из различитих делатности повезује емоционалне и конативне особине личности, понашање запослених изван формалне улоге и две исходне величине — изворе радне мотивације по типологији Леонарда, Бовеа и Шола и спремност за перманентно образовање. Њен најјачи и најчвршће поткрепљен налаз јесте да је организациона социјална одговорност најјачи корелат спремности за перманентно образовање (в. одељке II и VII); уз њега стоје теоријски смислена тумачења негативне везе одговорног понашања с екстринзичком мотивацијом и изостанка везе са спољашњом мотивацијом заснованом на самоопажању, као и налаз да је екстраверзија доследно, мада слабо, повезана са свим мотивационим изворима, али не и са спремношћу за учење. Рад је провидан у мерењу — објављује све матрице и ајтем-анализе — отворено признаје неповољне исходе сопствених инструмената и ограђује домет налаза малим уделом објашњене варијансе. Туђу теорију, у носећим тачкама, преноси верно, а рачун у највећем делу држи.

Слабости су четвороструке и неједнаке тежине. Прва су мерни инструменти, чија структура и поузданост не допуштају оцену реферата о три инструмента „добрих метријских карактеристика“ у изреченом облику. Друга је статистичко закључивање, у коме грешка у бази једне подскале, поређења без заштите од грешке прве врсте, изостанак мера величине ефекта и непрепознати обрти предзнака ограничавају део налаза, а хијерархијска регресија, тачно израчуната, погрешно је названа. Трећа је раскорак између табела и синтезе: неколико тумачења иде у смеру супротном табелама, хипотезе нису оцењене једним мерилом, а резиме, закључак и профили мотивационих типова износе више него што коефицијенти носе. Четврта је научни апарат и теоријски преглед: попис литературе није усклађен с текстом, а више погрешно пренетих туђих налаза стоји делом на местима која образлажу хипотезе.

Изнад свега тога стоји једна правилност: рад најчешће на неком другом месту има тачан податак или тачну формулацију — праг од 0,20 који сам поштује, корелацију СИГМА фактора коју на стр. 190 тачно наводи, Колбове стилове на стр. 115, порекло теорије когнитивне евалуације на стр. 88, опрезну формулацију о блискости с теоријом самодетерминације на стр. 292. Највећи део онога што треба поправити не тражи ново знање него доследност.

У евентуалном монографском издању или у наставку истраживања најплодније би било следеће. Прво, проверити базу података, исправити вредности изван распона подскале мотивације интернализованих циљева и поново израчунати све анализе с том подскалом; исправити алфу за алтруизам и опис бодовања МЗР и навести обрнуто бодоване ставке. Друго, ревидирати три упитника — изоставити ставке с негативном или нултом корелацијом са скалом, одлучити, уз изречено мерило, између петочлане и двофакторске структуре МЗР, проверити да ли други фактор ОСО одражава формулацију ставки — и проверити их на независном узорку конфирматорном анализом и према постојећој мери мотивационих извора. Треће, преименовати поступак из одељка 3.7 у контролу социодемографских варијабли, а ако се модерација или медијација желе тврдити, испитати их одговарајућим моделима; навести кодирање дихотомних варијабли, проверити колинеарност и супресију, увести корекцију за вишеструка поређења и величине ефекта, и поново прочитати тумачења АЛФА и СИГМА фактора, радног места и табеле 80. Четврто, ускладити закључак, резиме и апстракт с табелама, оцењивати све хипотезе једним, унапред изреченим мерилом, додати засебан одељак о ограничењима (пресечан нацрт, пригодан узорак, заједничка варијанса метода, скромна поузданост појединих подскала, провера инструмената на истом узорку), профиле представити као хипотетичке портрете и изоставити вредносне описе испитаника. Пето, у теоријском делу исправити историју појма и превести га јаснијим изразом, који се не меша с друштвеном одговорношћу предузећа, исправити читање „морала“ и статус саморазвоја као појмовног, а не емпиријског налаза, и заменити погрешно пренете налазе у одељцима 1.4–1.5; у попис унети приручнике КОН-6 и ПИЕ и сва цитирана дела, уклонити нецитиране и удвојене јединице; у опису поступка навести годину испитивања, избор организација, одзив и услове под којима су испитаници учествовали.

Уз ту врсту редакције — која у највећем делу не тражи ново прикупљање података, осим провере инструмената на новом узорку — рад би свој главни налаз о вези одговорног понашања запослених и спремности за перманентно образовање изнео с оном тежином коју он у подацима стварно има, а то је тежина довољна да оправда даље истраживање и практичну пажњу менаџмента.

Литература

Предмет осврта

Марковић, Емилија И., Особине личности као корелати мотивације за рад и спремности за перманентно образовање [докторска дисертација]. Филозофски факултет Универзитета у Београду, 2013. НаРДуС: https://nardus.mpn.gov.rs/handle/123456789/3302.

Реферат о завршеној докторској дисертацији мр Емилије Марковић (М. Ђуришић-Бојановић, С. Чизмић, М. Чабаркапа, Л. Грубић-Нешић), Београд, 20. 11. 2013; с одлуком Наставно-научног већа Филозофског факултета ДС/СС 05/4-02 бр. 1794/1-XVI/9 од 26. 12. 2013 и одлуком Већа научних области друштвено-хуманистичких наука Универзитета у Београду 02 број 61206-226/2-14 од 04. 02. 2014 (материјали седнице Већа, webserver.rcub.bg.ac.rs, материјали 17798 и 17863; наводе се као извор чињеница о поступку).

Прописи и акти који дисертацију обавезују (стање у септембру 2013)

Универзитет у Београду, Сенат, Упутство за формирање репозиторијума докторских дисертација (06 број 3222/XXVI-11, 14. 12. 2011), с Прилозима 1–4 (Изјава о ауторству, Изјава о истоветности, Изјава о коришћењу, Упутства за обликовање докторске дисертације).

Правилник о већима научних области на Универзитету у Београду, Гласник Универзитета у Београду, бр. 134/2007, 150/2009, 158/2011, 164/2011, 165/2011.

Društvo psihologa Srbije, Kodeks etike psihologa Srbije, Beograd: Društvo psihologa Srbije, 2000 (usvojen na Skupštini DPS 20. aprila 2000).

Закон о условима за обављање психолошке делатности, Службени гласник РС, бр. 25/1996, 101/2005 – др. закон.

Стандарди и смернице струке

American Educational Research Association, American Psychological Association, National Council on Measurement in Education, Standards for Educational and Psychological Testing, Washington, DC: American Educational Research Association, 1999.

American Psychological Association, Ethical principles of psychologists and code of conduct, American Psychologist, 57(12), 2002, 1060–1073, с изменама из 2010, American Psychologist, 65(5), 2010, 493.

American Psychological Association, APA Style FAQ: How do you cite a source that you found in another source?, Washington, DC: American Psychological Association, стање 27. 1. 2013.

APA Publications and Communications Board Working Group on Journal Article Reporting Standards, Reporting standards for research in psychology: Why do we need them? What might they be?, American Psychologist, 63(9), 2008, 839–851.

EFPA Board of Assessment, EFPA Review Model for the Description and Evaluation of Psychological and Educational Tests: Test Review Form and Notes for Reviewers, верзија 4.2.6, Brussels: European Federation of Psychologists’ Associations, 2013 (усвојено 13. 07. 2013).

Wilkinson, Leland; Task Force on Statistical Inference, Statistical methods in psychology journals: Guidelines and explanations, American Psychologist, 54(8), 1999, 594–604.

Методологија мерења и статистичког закључивања

Baron, Reuben M.; Kenny, David A., The moderator–mediator variable distinction in social psychological research: Conceptual, strategic, and statistical considerations, Journal of Personality and Social Psychology, 51(6), 1986, 1173–1182.

Clark, Lee Anna; Watson, David, Constructing validity: Basic issues in objective scale development, Psychological Assessment, 7(3), 1995, 309–319.

Cohen, Jacob, A power primer, Psychological Bulletin, 112(1), 1992, 155–159.

Costello, Anna B.; Osborne, Jason W., Best practices in exploratory factor analysis: Four recommendations for getting the most from your analysis, Practical Assessment, Research & Evaluation, 10(7), 2005, 1–9.

Fabrigar, Leandre R.; Wegener, Duane T.; MacCallum, Robert C.; Strahan, Erin J., Evaluating the use of exploratory factor analysis in psychological research, Psychological Methods, 4(3), 1999, 272–299.

Hinkin, Timothy R., A brief tutorial on the development of measures for use in survey questionnaires, Organizational Research Methods, 1(1), 1998, 104–121.

Podsakoff, Philip M.; MacKenzie, Scott B.; Lee, Jeong-Yeon; Podsakoff, Nathan P., Common method biases in behavioral research: A critical review of the literature and recommended remedies, Journal of Applied Psychology, 88(5), 2003, 879–903.

Извори за упоредне наводе

Barbuto, John E. Jr., Identifying the sources of motivation in the post-game press conference: An exercise for applying an integrative taxonomy of motivation, Journal of Behavioral and Applied Management, 4(1), 2002, 41–52.

Cox, Richard H., Sport Psychology: Concepts and Applications, 5. изд., Boston: McGraw-Hill, 2002.

Fisher, Murray; King, Jennifer; Tague, Grace, Development of a self-directed learning readiness scale for nursing education, Nurse Education Today, 21(7), 2001, 516–525.

Foo, Maw-Der; Uy, Marilyn A.; Baron, Robert A., How do feelings influence effort? An empirical study of entrepreneurs’ affect and venture effort, Journal of Applied Psychology, 94(4), 2009, 1086–1094.

Friedman, Victor J., The individual as agent of organizational learning, у: Dierkes, M. и др. (ур.), Handbook of Organizational Learning and Knowledge, Oxford: Oxford University Press, 2001, 398–414.

Gagné, Marylène; Deci, Edward L., Self-determination theory and work motivation, Journal of Organizational Behavior, 26(4), 2005, 331–362.

Grow, Gerald O., Teaching learners to be self-directed, Adult Education Quarterly, 41(3), 1991, 125–149.

Huseman, Richard C.; Hatfield, John D.; Miles, Edward W., A new perspective on equity theory: The equity sensitivity construct, Academy of Management Review, 12(2), 1987, 222–234.

Ilies, Remus; Scott, Brent A.; Judge, Timothy A., The interactive effects of personal traits and experienced states on intraindividual patterns of citizenship behavior, Academy of Management Journal, 49(3), 2006, 561–575.

Kolb, David A.; Boyatzis, Richard E.; Mainemelis, Charalampos, Experiential Learning Theory: Previous Research and New Directions, Cleveland: Weatherhead School of Management, Case Western Reserve University, 1999 (објављено у: Sternberg, R. J.; Zhang, L.-F. (ур.), Perspectives on Thinking, Learning, and Cognitive Styles, Mahwah, NJ: Erlbaum, 2001, 227–247); наводи Kolb, D. A., Experiential Learning, Englewood Cliffs, NJ: Prentice Hall, 1984, 41.

Leonard, Nancy H.; Beauvais, Laura L.; Scholl, Richard W., Work motivation: The incorporation of self-concept-based processes, Human Relations, 52(8), 1999, 969–998.

Organ, Dennis W., A reappraisal and reinterpretation of the satisfaction-causes-performance hypothesis, Academy of Management Review, 2(1), 1977, 46–53.

Organ, Dennis W., Organizational citizenship behavior: It’s construct clean-up time, Human Performance, 10(2), 1997, 85–97.

Podsakoff, Philip M.; MacKenzie, Scott B.; Paine, Julie Beth; Bachrach, Daniel G., Organizational citizenship behaviors: A critical review of the theoretical and empirical literature and suggestions for future research, Journal of Management, 26(3), 2000, 513–563.

Radovanović, Dragana; Okanović, Predrag, Osobine ličnosti kao prediktori željene organizacijske kulture, Primenjena psihologija, 2(1), 2008 [у дигиталном издању часописа 2009], 61–74.

Rice, F. Philip, Human Development: A Life-Span Approach, 4. изд., Upper Saddle River, NJ: Prentice Hall, 2001.

Smith, C. Ann; Organ, Dennis W.; Near, Janet P., Organizational citizenship behavior: Its nature and antecedents, Journal of Applied Psychology, 68(4), 1983, 653–663.