Стручни критички осврт

Јасмина Ђорђевић, Mogućnost primene tehnologije Veb 2.0 u nastavi gramatike engleskog jezika (енгл. „The Possibility of Using Web 2.0 Technology in the Teaching of English Grammar“). Докторска дисертација. Ниш: Филозофски факултет Универзитета у Нишу (Департман за англистику), 2013, vi + 287 стр.: основни текст стр. 1–255, додаци 256–270, библиографија 271–287 (ментор проф. др Биљана Мишић Илић; комисија: Б. Мишић Илић, В. Јовановић и С. Благојевић (Филозофски факултет у Нишу), П. Новаков (Филозофски факултет у Новом Саду) и М. Трајановић (Машински факултет у Нишу)). Отворени приступ: Национални репозиторијум дисертација у Србији (НаРДуС).

---

I Предмет, грађа и мерило

Дисертација узима за предмет питање да ли се и како алати генерације Veb 2.0 могу увести у наставу граматике страног језика и да ли се њима та настава може унапредити. Рад то питање не оставља на начелном нивоу него га сужава на један граматички сегмент — значења модалних глагола — и на три конкретна алата (PBworks, Hot Potatoes и Dvolver), па теоријски преглед проверава експериментом на студентима друге године студија англистике. Тежиште рада је, дакле, двоструко: теоријско-прегледно у другом поглављу и емпиријско у трећем, где је и његово средиште.

Пре свега осталог ваља изрећи мерило, изричито и без изузетка. Рукопис је пред комисијом био у првој половини 2013. године: Наставно-научно веће Филозофског факултета у Нишу именовало је Комисију за оцену и одбрану на седници 26. јуна 2013, реферат је потписан у Нишу и Новом Саду 10. јула 2013, а сам експеримент изведен је у зимском семестру школске 2012/2013. Као крајња граница мерила узима се стога јун 2013. Рад се овде мери искључиво према литератури, стандардима, прописима и знању који су тада постојали и били доступни; ништа што је настало касније није мерило — ни доцнија издања методолошких приручника, ни прописи и правописна издања донети после тог тренутка. То правило важи и за списак литературе овог осврта: свака његова јединица објављена је пре јуна 2013, изузев саме дисертације и реферата комисије (оба из 2013), уз назнаку где је реч о подацима који се временом не мењају.

Наводи из дисертације преузети су дословно, у писму у коме је рад написан (латиница), с бројем стране према штампаној пагинацији (штампана страна = страна PDF-а − 6).

Још једну ствар треба рећи на почетку, јер одређује како се чита цео методолошки слој рада. Дисертација је по опредељењу мешовито, квантитативно-квалитативно истраживање с нацртом с поновљеним мерењима — легитиман истраживачки избор, признат у методологији примењене лингвистике (Z. Dörnyei, Research Methods in Applied Linguistics, Oxford University Press, 2007; A. Mackey, S. M. Gass, Second Language Research: Methodology and Design, Lawrence Erlbaum, 2005). То штити рад од једне врсте пренаглашене замерке — да није реч о правом експерименту — али не и од захтева да оно што се из таквог нацрта закључује буде сразмерно ономе што нацрт заиста изолује.

II Шта рад доноси

Осврт је дужан да почне оним што дисертација јесте, јер је то и највећи део онога што она вреди.

Прво, рад доноси целовит и добро укотвљен теоријски оквир за једну младу и расплинуту област. Периодизација CALL-а (бихејвиористичка, комуникативна и интегративна), теорије учења страног језика и семантика модалности изложене су прегледно и с директно читаним изворима, а не из друге руке. Приказ трофазног развоја CALL-а сагласан је с меродавном литературом (M. Warschauer, D. Healey, „Computers and language learning: an overview“, Language Teaching, 1998), а Палмерова подела модалности пренета је тачно — рад изричито наводи да граматичар „nudi kategorizaciju modalnosti“ (стр. 69) која раздваја модалност догађаја од модалности пропозиције, што је верно изворнику (в. и Quirk et al., 1985; Huddleston & Pullum, 2002; Palmer, 1990).

Друго, рад доноси методолошку самосвест. Ауторка отворено именује слабости сопственог нацрта уместо да их прећути: препознаје претњу спољашњој ваљаности и нуди образложено решење — да се уместо рандомизације примени „tehnika jednačenja grupa“ (стр. 16), при чему „Ova tehnika može u potpunosti zameniti randomizaciju objekata“ (стр. 16, уз Fajgelj, 2012); изричито признаје да „nisu definisane dve grupe, eksperimentalna i kontrolna, u konvencionalnom smislu“ (стр. 117); и своје истраживање сврстава у слабији епистемолошки ред речима да је „Kvazi-eksperimentalno istraživanje je epistemološki slabija vrsta istraživanja“ (стр. 123). Уз то унапред набраја врсте ефекта редоследа — „Postoje tri glavne vrste efekta redosleda“ (стр. 120) — дакле зна за проблем који ће се касније показати као најосетљивија тачка нацрта.

Треће, рад је поштен према сопственим бројевима. Тамо где резултат не иде у прилог очекивању, он се не крије: пораст грешака означава се речима да „ovakav rezultat predstavlja iznenađenje“ (стр. 228), а погоршање код једног значења наводи се изричито — „kod značenja ability gde je u pretestu bilo samo 2 greške, a u posttestu ukupno 10“ (стр. 227). Домет споредног налаза сам рад ограничава: разлику међу двема групама студената „ne treba smatrati značajnom za istraživanje koje je ovde sprovedeno“ (стр. 177). Ова врста уздржаности омогућила је да се о раду уопште може расправљати овако подробно.

Четврто, инструменти и грађа експеримента дати су у целости и проверљиво. Осам значења модала доследно се провлачи кроз претест, сесије, посттест и табеле; сваки од проблематичних примера (П1–П55) наведен је дословно у Табели 3.7, чиме је омогућена независна провера кодирања; критеријум за то шта се броји као грешка образложен је лингвистички, а не механички. Нацрт вежби теоријски је утемељен (Торнберијева разлика дескриптивног и педагошког правила), а осам значења изабрано је по изричито наведеним критеријумима (стр. 74–75). Кодирање, средње вредности, t-тест и фреквенције обрађени су у SPSS-у — управо у оквиру који методологија струке за овакав рад и предвиђа (J. Larson-Hall, A Guide to Doing Statistics in Second Language Research Using SPSS, Routledge, 2010).

Пето, етички слој је уредан. Учесници су потписали сагласност (Dodatak 8), учешће је било добровољно и анонимно, а прибављено је и одобрење установа — што одговара признатим смерницама етике образовног истраживања (BERA, Ethical Guidelines for Educational Research, 2011, т. 10). Репродуковање снимака екрана алата и примера вежби ради илустрације такође је у оквиру права цитирања уз навођење извора (Закон о ауторском и сродним правима, „Службени гласник РС“ бр. 104/2009, чл. 49).

Најзад, потребно је рећи и оно што надилази појединачне вредности: наводи рада у највећем делу одговарају изворима на које упућују. Дословни наводи из класика и граматика (Виготски, Брунер, Пика, Азар, Елис, Палмер, Quirk et al.) пренети су верно и с тачним странама; чињенички подаци о алатима (датум преласка Hot Potatoes на бесплатан режим, природа алата Dvolver, некадашња ознака DFILM) и о историји поља (трајање пројекта MOBIlearn, обим Левијеве анкете) сагласни су с изворима које рад наводи. Та поузданост фактографске основе није споредна: она је оно што уопште омогућава да се о раду расправља на овом нивоу.

III Циљ, хипотезе и нацрт истраживања

Предмет, циљеви и хипотезе постављени су јасно и уредно. Рад раздваја теоријски од емпиријског циља и издваја три хипотезе: основну — да се применом алата Veb 2.0 настава страног језика може знатно унапредити, а савладавање садржаја олакшати — и две помоћне (о брзој и једноставној укључивости алата и о томе да би успех на сегменту значења модала послужио као илустрација за ширу примену ИКТ). Прелиминарна истраживања из увода (анкета о радном простору PBworks и пилот) уграђена су функционално: из њих се изводе тачне поуке за главни оглед (потреба за већим узорком, дужим периодом и одложеним тестом), а домет анкете сам рад ограничава изричито — она „ne može predstavljati merilo koje bi omogućilo utemeljeno gledište i naučni zaključak“ (стр. 19).

Тежиште критике методолошког слоја није у избору нацрта него у једном својству његове изведбе, и то својству које погађа могућност да се резултати припишу баш алату. Осам значења модала фиксно је распоређено по корацима: иста четири значења увек су обрађивана у експерименталном кораку (уз алат), а друга четири увек у традиционалном, кроз све сесије и у обе групе (стр. 128, Табела 3.1). Пошто се та подела нигде не контрабалансира, фактор „приступ“ измешан је с фактором „значење“: разлика у броју грешака између два корака не може се приписати искључиво алату, јер се уз њу увек мења и који је садржај обрађиван. Овоме се придружује и фиксни редослед корака — експериментални је увек први — па је с условом измешан и могући ефекат редоследа, о коме је реч и на стр. 120. У методологији струке управо се захтева да се упоредни услов јасно и уравнотежено опише и одвоји (Dörnyei, 2007; аналогно и D. C. Des Jarlais et al., „The TREND Statement“, American Journal of Public Health, 2004, чек-листа за нерандомизоване нацрте, уз ограду да тај медицински стандард не обавезује примењену лингвистику него служи као оријентир).

Ту треба одмерити и оно што иде у прилог раду, јер би преувеличавање ове замерке било нетачно. Прво, ауторка садржај покушава да уравнотежи: значења се паре по тежини — „značenje possibility/ probability bude obrađeno u eksperimentalnom koraku, a njegov pandam po težini, značenje ability, u tradicionalnom koraku“ (стр. 174) — и у оба корака даје се исти број примера по значењу (стр. 127). Друго, смер конфаунда није једнозначно у корист алата: тежак садржај обрађен алатом напредује (possibility/probability, претест 36 → посттест 15), а лакши садржај обрађен традиционално назадује (ability 2 → 10), што се не да свести само на избор значења; при том би ефекат вежбања погодовао управо другом, традиционалном кораку, а не првом. Замерка стога није да је закључак погрешан, него да нацрт не изолује ефекат баш алата, па то ограничење интерне ваљаности треба изричито стајати уз носеће поређење, с препоруком да се у даљим радовима редослед и распоред контрабалансирају.

Уз то стоје три мање, али стварне слабости узорка и мерења, ниједна фатална. Узорак чине две интактне групе од по 25 студената, добровољаца, без случајног распореда и без прорачуна снаге теста, а изједначеност предзнања се претпоставља а не доказује. Такав скроман нацрт није сам по себи мана ако се закључци сразмерно ограниче — управо то методологија струке допушта за учионичка истраживања на интактним групама (Mackey & Gass, 2005; J. D. Brown, T. S. Rodgers, Doing Second Language Research, Oxford University Press, 2002) — али обавезује на резерву у уопштавању. Даље, формулација „ukupno 100 objekata“ (стр. 117) реторички је осна́жена: 50 студената мерено је двапут, па понављана мерења нису независне јединице и тај број не сме се узети као доказ довољности узорка. Најзад, за наменски прављене тестове (претест, мерења по сесијама, посттест, Answer sheet) не наводи се ниједан показатељ поузданости ни поступак провере ваљаности, што ослабљује поверење у мерну основу на којој почивају сви бројеви; бар оквирну проверу требало је приложити, тим пре што рад иначе следи оквир који то препоручује (Larson-Hall, 2010). Ово се не узима као тежак пропуст, али остаје као стварна празнина коју би допуна лако затворила.

IV Теоријски оквир: CALL, теорије учења и модални глаголи

Теоријски оквир је најшире и добро изведено поглавље рада. Оно даје прегледан развој CALL-а, повезује бихејвиористички и конструктивистички модел учења с концептом наставе уз рачунар, и уз то износи трезвен, нетехноутопијски став — да технологија традиционалну наставу не може и не сме заменити него је може допунити — који је у складу са завршним закључком рада и с утицајном реконцептуализацијом поља (S. Bax, „CALL — past, present and future“, System, 2003). Ауторка отворено признаје и крхкост саме дисциплине: „CALL kao disciplina je i dalje isfragmentisana“ (стр. 42). Семантика модалности изложена је ослањањем на репрезентативне изворе и с тачним приписивањем подела (intrinsic/extrinsic по Quirk et al.; категоризација по Палмеру).

Замерке у овом делу тичу се тачности у појединостима и не дирају носећу аргументацију, али их ваља исправити. Неколико је теоријских непрецизности у спајању порекла појмова: Скинеру се на једном месту приписује разрада теорије класичног условљавања, док је класично условљавање Павловљево, а Скинерово оперантно (инструментално) — што рад на истој страни иначе тачно наводи; порекло теорије когнитивних схема стапа настанак самог појма (Bartlett, 1932) с његовом каснијом разрадом коју је R. C. Anderson извео тек седамдесетих (Anderson, 1977); а увођење динамичке модалности приписује се Палмеру (2001), иако је сам термин старији (von Wright, 1951). У свакој од тих тачака реч је о неслагању с наведеним референтним граматикама и приказима, а не о повреди неког процедуралног правила, и погађа споредне теоријске пасусе, не обраду и мерење.

Терминолошки, означавање основа обраде као епистемичког не одговара сасвим избору значења, јер је шест од осам изабраних значења деонтичко или динамичко по подели коју ауторка сама излаже; појам је ту употребљен у ширем смислу (став и мишљење говорника), а стварно примењени приступ значењима у контексту није споран. Слично, енглески глосар „communicative language learning“ непрецизан је (ризикује забуну с посебним методом Community Language Learning), али је уз њега дат тачан српски термин, па је значење из контекста јасно. Историјски детаљи у прегледу развоја рачунара приписани су изворима које рад наводи и не дирају тезу.

V Алати Veb 2.0 и њихов опис

Опис алата је информативан и, у чињеничном језгру, поуздан: званичне адресе три коришћена алата наведене су тачно, статус лиценце Hot Potatoes прецизно је датован, а опције Hint и Check и природа алата Quandary (акциони лавиринт) описани су у складу с документацијом коју рад наводи. Употреба алата документована је и снимцима екрана и радним везама до израђених садржаја, што приказ чини проверљивим.

Две ствари у овом делу треба поправити. Прва је тон: опис алата местимично клизи у вредносне и хиперболичне исказе изнесене пре експеримента — „Mogućnosti su neiscrpne“ (стр. 100) — чиме се користи наговештавају пре него што су проверене; приказ могућности у теоријском оквиру легитиман је, а проверу рад оставља за треће поглавље, али би тон требало да буде суздржанији. Друга су чињеничне непрецизности у опису алата и појединости: у списку пет вежби Hot Potatoes-а пети тип назван је „Mixed exercises“ уместо спајања (JMatch), како тај тип стоји у документацији програма (Half-Baked Software, Hot Potatoes 6), иако су вежбе спајања у тексту описане; а две енглеске реченице под наводницима приписане Тејлору (1980) заправо су формулације из Warschauer (1996), из чијег текста потичу (Тејлору с правом припада појам „computer as tutor“, али не и словна формулација). Овоме се придружује и словна омашка у називу алата „Extranormal“ уместо Xtranormal (стр. 251), коју наведена адреса ипак тачно идентификује. Ниједна од ових исправки не дира налазе експеримента, али описни слој по коме ће стручни читалац оцењивати избор алата тражи прецизност.

VI Експеримент: узорак, процедура и обрада података

Процедура је описана прегледно и доследно спроведена по методичком обрасцу обрада–увежбавање–утврђивање, с претестом, три мерне сесије од по 90 минута и посттестом, у два наврата за две групе. Обрада података у SPSS-у дата је транспарентно тамо где је дата: t-тест за поређење двеју група приказан је с вредношћу, степенима слободе и двостраном значајношћу (Табела 3.11), а серија табела по значењима (3.31–3.38, осам изабраних значења) савршено се сабира на N=50 и репродукује збирне вредности уз графикон 4.1; табеле што следе (3.39–3.42) нису такве него су упоредне и инференцијалне — поређење аритметичких средина, интервала поверења, фреквенција понављања и грешака у претесту и посттесту. Обелодањена су и одступања у извођењу (прекид струје због којег је једна сесија одложена недељу дана) и (не)критеријуми избора узорка — „uspeh studenata nije uzet u obzir kao varijabla prilikom definisanja grupe“ (стр. 127) — што читаоцу даје тачну слику како је узорак настао.

Ту, међутим, стоје и стварне слабости обраде, распоређене по тежини. Прва је поновљена: изостанак показатеља поузданости и ваљаности наменских инструмената (в. одељак III), због чега бројеви почивају на мерилу чија прецизност није процењена. Друга је извештавање инференције: носеће поређење експерименталног и традиционалног корака дато је без величине ефекта и без интервала поверења, а у Табели 3.11 ознаке доње и горње границе интервала остале су без вредности — што су стварни недостаци статистичке прецизности мерени приручником који рад иначе следи (Larson-Hall, 2010; в. и обавезу извештавања величине ефекта у синтезама СЛА, J. M. Norris, L. Ortega, „Effectiveness of L2 Instruction“, Language Learning, 2000). Инференцијално поређење корака ипак постоји (одељци 3.4.3, Табеле 3.40 и 3.44), па теза није без сваке статистичке потпоре, али је приказ тих табела неспретно пренет из SPSS-излаза: Табела 3.40 најављена је као поређење интервала поверења, а колоне су заправо t, степени слободе и p, док су заглавља некохерентна.

Уз то иде и неусаглашеност дела бројчаног приказа, лака по магнитуди али видљива стручном читаоцу. Табеле по групама (3.14, 3.16, 3.18, 3.22) садрже изоловане грешке уноса, па се њихови збирови (53, 131, 51, 100) не поклапају са збирним вредностима (51, 144, 48, 96) у четири од пет мерења; исти податак (necessity у првој сесији) јавља се и као 39 и као 13+13; а два укупна броја грешака разилазе се (око 506 наспрам око 622) јер две мере — број студената који су погрешили по значењу и сесији и сирови број грешака с понављањима — обе носе назив „broj grešaka“ без јасног разграничења. Носеће збирне табеле (3.8, 3.23) и графикон 4.1 остају интерно доследни, а поређење међу групама сам рад не третира као релевантно за хипотезу, па неслагања не мењају квалитативни образац — али их треба ускладити према сировим подацима и јасно разликовати две мере. Овоме се придружује и једна погрешна дескриптивна реченица — да је „преко 99%“ студената направило од осам до 16 грешака — која из аритметичке средине 12,44 и стандардне девијације 4,730 не следи (тај распон обухвата тек нешто више од половине узорка); реч је о споредном опису расипања, без последица по инференцију.

Најзад, једно ограничење тиче се неуједначене полазне изложености: студенти установе на којој ауторка предаје били су раније изложени управо тим алатима, а ауторка је истовремено творац материјала и извођач, без заслепљивања — што ограничава поређење међу установама и спољашњу ваљаност (двоструку улогу наставник-истраживач препознају и смернице етике образовног истраживања, BERA, 2011, т. 12). Носеће поређење унутар истих испитаника тиме није погођено (исти студенти пролазе оба корака), а група с претходном изложеношћу направила је чак и више грешака — што замерку сужава, али је не уклања.

VII Резултати и закључци у односу на хипотезе

Резултати су, узети онако како их рад приказује, занимљивији и опрезнији него што их завршни регистар представља, и управо у томе је главна замерка овом делу — не у неком појединачном броју него у односу два слоја текста. У поглављу с резултатима рад говори језиком вероватноћа, разлика и ограда; у закључку прелази у језик потврде без остатка.

Разлика се види већ на носећем приказу. По графикону 4.1, највише грешака направљено је у сесији утврђивања (III сесија, 167) и у првој сесији (144), у претесту их је 51, у другој сесији 48, а у посттесту 96 — дакле готово двоструко више него у претесту. Из тога следи да агрегатни ток не подупире оцену да је „napredak kod studenata više nego upečatljiv“ (стр. 228): напредак се, кад се погледа изблиза, односи на значења обрађена алатом (в. одељак III), док на нивоу целог узорка број грешака у посттесту премашује претест, а апсолутни максимум пада баш у сесију утврђивања, где се — ако учење напредује — очекује мање грешака. Сам рад тај максимум поштено означава као изненађење; утолико је упадљивије што закључак ипак прелази у безрезервну потврду.

Отуда и језгро замерке: све три хипотезе рад оглашава потврђеним у целости. За основну то у закључку гласи да је, применом алата, „savladavanje nastavnih sadržaja olakšati, potvrđeno je u celosti“ (стр. 253), а иста формулација употребљена је још у пилоту — „potvrđena je u celosti“ (стр. 26). Пошто нацрт не изолује ефекат баш алата (в. одељак III), а агрегатни бројеви су мешовити, тачнији закључак био би да су резултати сагласни с хипотезом и да илуструју могућу предност алата — што је регистар који рад на неколико места и сам држи, речима да су студенти значења обрађена алатом „uglavnom bolje savladali“ (стр. 218). Прва помоћна хипотеза, која помиње унапређење наставе из свих области савременог енглеског језика, не може се на 50 студената и једном сегменту прогласити потврђеном него илустрованом на примеру значења модала; друга помоћна, по природи описно-илустративна и постављена као могућност, „потврђује“ се самим уочавањем критичних тачака, што је испуњење описног циља, а не емпиријска провера, и таквој условно постављеној тврдњи даје ограничен доказни статус.

Неколико појединачних инференцијалних формулација такође премашује податак. Тврдња да t-тест показује „značajnu razliku u aritmetičkoj sredini između dva koraka u sve tri sesije“ (стр. 218) не важи за другу сесију, где је t = −.163 (без ефекта); носеће су прва (t = −3.699) и трећа сесија (t = −6.682), па исказ треба сузити на њих — тим пре што управо у другој сесији, у којој је табеларни приказ био доступан у оба корака, разлике међу корацима практично нема, што иде у прилог тумачењу да разлику носи скела, а не сам алат. На истом трагу, пад грешака у другој сесији не сме се приписати само алату, што рад и признаје речима да је „mali broj grešaka sigurno delimično i posledica toga“ (стр. 199) што је табела била дозвољена. Најзад, десет наведених позитивних страна CALL-а оглашено је као „pozitivne strane koncepta CALL i primene IKT koje su potvrđene istraživanjem“ (стр. 254), иако међу њима стоје развој интринзичне мотивације, комуникативне компетенције, познавања културе и аутономије — конструкти који у овом раду нису мерени (мерене су грешке у употреби значења модала, уз упитник о задовољству). Те начелне предности литературе о CALL-у требало је држати одвојено од уско омеђених емпиријских налаза и увести их као особине које рад илуструје, а не потврђује.

Ниједна од ових замерки не тврди да је основна теза непоткрепљена. Напротив: најубедљивији и најзанимљивији налаз — да теже значење обрађено алатом напредује, а лакше значење обрађено традиционално назадује — говори у прилог могућој предности алата и не да се свести на избор значења. Том налазу је потребно само да се не изражава језиком безрезервне потврде.

VIII Табеле, графикони, наводи, терминологија и језик

Илустративни апарат је обиман и, у садржини, претежно тачан, али недовољно дотеран у натписима и облику. Графикон 4.1 приказан је као тродимензионална разбијена питица, што није најпримеренији облик за низ узастопних мерења (која нису делови једне целине); подаци се ипак читају јер су бројеви исписани уз сегменте, а исти однос дат је и линијски. Натписи су местимично лабави или погрешни: Табела 3.36 носи натпис „absence of prohibition“ уместо prohibition; два графикона (3.10 и 3.11) имају идентичан натпис иако приказују различит садржај; натпис Табеле 3.41 говори о фреквенцији понављања, а даје укупан број грешака. Исто значење назива се на два начина (advice/recommendation/expectation наспрам advisability/recommendation), а картице обраде упитника погрешно су означене као квалитативна и квантитативна супротно потписима слика и логици збирног прегледа. У једном питању упитника проценти у једној колони сабирају се на 103,9%, што одаје омашку у преносу или заокруживању, али не мења налаз да преовлађује одговор „često“.

Наводи из рада, тамо где су дословни, пренети су верно и с тачним приписивањем; ово је важна вредност и треба је рећи уз све замерке. Постоје, ипак, ситна одступања у упућивању на стране изворника (Крашен, Peters, Ellis), која не дирају садржину навода, и локалне граматичке омашке у облицима: у референтној Табели 2.1 за одсуство обавезе стоји облик „needn’t have to“ (стр. 75) неусклађен с обликом који даје референтна граматика (Quirk et al., 1985), а који се понавља и на стр. 203, док рад тачан облик (needn’t have + прошли партицип) даје на другим местима — реч је, дакле, о локалној омашки, а не о непознавању граматике. Дефиниција разлике must : have to на стр. 163 садржи омашку због које реченица о спољашњој обавези описује унутрашњу, али исправан облик стоји на стр. 208 и по њему је спроведено кодирање.

Језички и правописно, рад је коректан, али недовољно излектурисан. Кроз текст се провлачи осетан број словних омашки које не мењају смисао, али нарушавају утисак о завршној редакцији; интерпункција у термину није сасвим уједначена („Veb 2,0“ поред „Veb 2.0“), а писање облика „internet“/„Internet“ и појединих транскрипција колеба (Пешикан, Јерковић и Пижурица, 2010, реч интернет води као општу именицу која се пише малим словом). Треба, ради правичности, рећи и супротно: терминолошке одлуке рад образлаже изворима које сам признаје као мерило (Kristal, 1988/1996; N. Tomović, „Terminologija primenjene lingvistike“, Prevodilac, 2010), а страна имена по правилу даје у изворном облику у загради при првом помену, чиме је идентитет очуван.

IX Научни апарат

Научни апарат је место на коме је рад био најмање брижљив, мада ни ту не у мери која би дирала садржину. У корист рада иде више ствари: попис од 218 јединица тематски је релевантан, азбучно уређен и доследно нумерисан без прескока; образац цитирања (аутор, година: страна) доследан је кроз цео рад; а темељна дела наведена су непосредно, без злоупотребе секундарних извора — што је вредност коју ваља именовати.

Слабости су, редом, следеће. Осам позивања у тексту нема одговарајућу јединицу у попису или се година не слаже (Todorović 2008; Campbell & Stanley 1963; Jonassen 1991; Brown 2000; Richards & Rodgers 1986 наспрам 1999; Mithun 1999 наспрам 1995; Krashen 1993; „Ayar“ за Azar 2007); од тога су Todorović 2008 и класично методолошко дело Campbell & Stanley 1963 стварно непроверљиви и требало их је унети, док су остало неслагања године или словне омашке. Захтев да се позив аутор–годином потпуно слаже с пописом опште је место стандарда цитирања (Publication Manual of the American Psychological Association, 6. изд., 2010; ISO 690:2010; MLA Handbook, 7. изд., 2009). У супротном смеру, знатан део пописа (око трећине ауторских јединица) нигде се аутор-годином не позива, због чега попис делује шире од онога што рад заиста користи; корисно би било неупотребљене приручнике позвати где припадају или их издвојити као консултовану литературу. Ту је и неколико формалних допуна: две јединице унете су двапут (Crystal/Kristal исти речник; Quirk et al. с две године за исто дело), десет јединица носи „et al.“ уместо пуног списка аутора, а поједине немају место или издавача.

Осетљивија је потпуност навођења сопствених ранијих радова: два раније објављена рада ауторке о раду с PBworks-ом и о Веб 2.0 алатима стоје у попису, али се на местима где се одговарајући приступ описује не позивају аутор-годином, иако се методолошки апарат рада на њима наслања. Укључивање и надоградња сопствених објављених радова легитимна је и очекивана пракса — струка од доктора и тражи објављено остварење (Правилник о стандардима и поступку за акредитацију, „Службени гласник РС“ бр. 106/2006, 112/2008) — али под условом да се извор наведе на месту преузетог приступа; овде је реч о непотпуности унакрсног позивања, коју треба допунити.

Посебно место, по систематичности, заузимају интернет извори: ниједна од 25 јединица с адресом нема датум приступа, а једна јединица групише шест алата без датума. Ту ваља мерило поставити прецизно, а не строго: стилски приручник датум приступа тражи првенствено за изворе подложне промени (APA, 6. изд., 2010; исто ISO 690:2010), а не безусловно за сваки URL. Код променљивих садржаја — портала алата и лиценцних страница — изостанак датума приступа отежава утврђивање коришћене верзије, што је суштина примедбе; за стабилне изворе она је лакша и своди се на уједначеност апарата. Стил цитирања домаћим актима није прописан, па се примедба тиче потпуности и доследности, а не избора школе цитирања.

X Однос рада и реферата комисије

Реферат комисије оцењује да је реч о тези с јасно дефинисаним предметом, методама и циљевима, с „dobro osmišljenim i obrazloženim“ експериментом, да су резултати квантитативно и квалитативно обрађени и да теза „u potpunosti zadovoljava predviđene standarde“; као посебну вредност истиче „naučna zrelost“ ауторке, „zavidna analitičnost i preciznost u detaljima“ и то што се дошло до „novih, empirijskih saznanja“ значајних за област. У делу који се тиче предмета, концепта и теоријске утемељености та оцена одговара стању у тексту: оквир је прегледан и добро укотвљен, а рад доноси и методолошку самосвест и уредно приложене инструменте.

Две ствари, међутим, траже да се напетост између реферата и текста именује — не да би се рад оспорио, него да би се оцена вратила у меру коју подаци носе. Прво, реферат потврду хипотеза преузима у целости, док агрегатни бројеви и нацрт који не одваја ефекат алата од тежине значења и редоследа (в. одељке III и VII) подупиру уздржанију формулацију — да су резултати сагласни с хипотезом и да је могућа предност алата илустрована, што је и регистар који сам рад на местима држи. Друго, похвала прецизности у детаљима стоји уз чињеницу да у бројчаном приказу постоје неусаглашености збирова по групама и двоструко именовање двеју различитих мера истим називом; те су неусаглашености лаке по магнитуди и не дирају носеће табеле, али их стручни читалац примећује баш тамо где се прецизност истиче. Оцена реферата о обиму илустративног апарата (47 табела и 23 графикона) разуман је начин исказивања збира и не дира вредност рада; ситно неслагање с пребројавањем натписа ствар је бројања, не садржине.

XI Шта остаје

Кад се све сабере, добија се оцена коју вреди изрећи у једном комаду, без ублажавања и без претеривања.

Дисертација Јасмине Ђорђевић солидан је и самостално изведен теоријско-емпиријски рад који домаћој методици наставе енглеског језика доноси: прегледан теоријски оквир примене алата Veb 2.0 у настави граматике, теоријски утемељен и у целости приложен мерни инструмент за један граматички сегмент, и изведен експеримент с обрадом у SPSS-у из кога се, уз праву меру опреза, може читати могућа предност алата. Уз то доноси и методолошку самосвест — отворено признање слабости нацрта, поштено бележење налаза супротних очекивању и уредан етички поступак. Фактографска основа рада у највећем делу држи.

Слабости су, по оцени овог осврта, тројаке и ниједна не руши носеће тезе. Прва и најважнија је нацрт: фиксни распоред значења по корацима и фиксни редослед корака мешају ефекат алата с тежином значења и с редоследом, па се резултат не може приписати баш алату; то ограничење рад делимично признаје, али га не износи изричито уз носеће поређење, а закључак ипак прелази у безрезервну потврду. Друга је извештавање: изостали су показатељи поузданости и ваљаности наменских тестова, величина ефекта и интервали поверења, а поједине инференцијалне формулације (значајна разлика „u sve tri sesije“; кумулативни проценти представљени као доказ статистичке значајности) премашују податак. Трећа је регистар закључивања: резултати се износе уздржано, а закључци језиком потврде у целости, судбине и извесности који бројеви у табелама не носе — при чему рад на неколико места сам показује да зна како то треба рећи. Уз то стоји слој формалних слабости научног апарата (непотпуно унакрсно позивање, попис шири од коришћеног, интернет извори без датума приступа) и недовољне лектуре, лаких по тежини али видљивих.

Изнад свега тога стоји једна правилност коју ваља рећи у прилог раду: провере чињеница, приказ туђег знања и вођење сирових бројева изведени су брижљивије него сопствени завршни закључци. Управо зато највећи део онога што треба поправити већ је негде у раду тачно урађено — само на погрешном месту или недоследно спроведено.

Пет измена биле би, по оцени овог осврта, најплодније у евентуалном монографском издању или наставку истраживања. Прво, поновити оглед с контрабалансираним распоредом значења по корацима и контрабалансираним редоследом корака, како би се ефекат алата одвојио од тежине значења и редоследа. Друго, приложити показатеље поузданости и ваљаности инструмената и извештавати инференцију с величином ефекта и интервалима поверења (Larson-Hall, 2010; Norris & Ortega, 2000). Треће, ускладити завршни регистар с подацима — формулације о потврди у целости свести на оцене да су резултати сагласни с хипотезом и да илуструју могућу предност алата, а начелне предности CALL-а држати одвојено од онога што је овим радом заиста мерено. Четврто, ускладити бројчани приказ према сировим подацима и јасно разграничити две мере грешака, те дотерати натписе табела и графикона. Пето, употпунити и уредити научни апарат — унети недостајуће јединице (пре свега Campbell & Stanley 1963 и Todorović 2008), позвати сопствене раније радове на месту преузетог приступа, додати датуме приступа код променљивих онлајн извора и извршити пажљиву лектуру.

Уз ту врсту редакције — која у највећем делу не тражи ново истраживање него доследно спровођење онога што је рад већ започео — ова дисертација остаје вредан и употребљив допринос, чији би теоријски преглед и практичне сугестије имали шта да кажу и наставнику-практичару и истраживачу у области примене ИКТ у настави језика.

---

Литература

Предмет осврта

Ђорђевић, Јасмина, Mogućnost primene tehnologije Veb 2.0 u nastavi gramatike engleskog jezika [докторска дисертација]. Филозофски факултет Универзитета у Нишу, 2013. (Национални репозиторијум дисертација у Србији — НаРДуС, https://nardus.mpn.gov.rs/handle/123456789/21711.)

Реферат Комисије о оцени докторске дисертације Јасмине Ђорђевић, Филозофски факултет Универзитета у Нишу, потписан у Нишу и Новом Саду 10. јула 2013.

Методологија истраживања у примењеној лингвистици

Dörnyei, Zoltán, Research Methods in Applied Linguistics: Quantitative, Qualitative, and Mixed Methodologies. Oxford: Oxford University Press, 2007.

Mackey, Alison; Gass, Susan M., Second Language Research: Methodology and Design. Mahwah, NJ: Lawrence Erlbaum Associates, 2005.

Larson-Hall, Jenifer, A Guide to Doing Statistics in Second Language Research Using SPSS. New York: Routledge, 2010.

Brown, James Dean; Rodgers, Theodore S., Doing Second Language Research. Oxford: Oxford University Press, 2002.

Norris, John M.; Ortega, Lourdes, „Effectiveness of L2 Instruction: A Research Synthesis and Quantitative Meta-Analysis“, Language Learning 50(3), 2000, 417–528.

Fajgelj, Stanislav, Metode istraživanja ponašanja. Beograd: Centar za primenjenu psihologiju, 2012.

Des Jarlais, Don C.; Lyles, Cynthia; Crepaz, Nicole et al., „Improving the Reporting Quality of Nonrandomized Evaluations of Behavioral and Public Health Interventions: The TREND Statement“, American Journal of Public Health 94(3), 2004, 361–366.

CALL и евалуација алата у настави језика

Warschauer, Mark; Healey, Deborah, „Computers and language learning: an overview“, Language Teaching 31, 1998, 57–71.

Warschauer, Mark, „Computer-assisted language learning: an introduction“, у: S. Fotos (ур.), Multimedia Language Teaching. Tokyo: Logos International, 1996.

Bax, Stephen, „CALL — past, present and future“, System 31(1), 2003, 13–28.

Ellis, Rod, Task-based Language Learning and Teaching. Oxford: Oxford University Press, 2003.

Half-Baked Software, Hot Potatoes (верзија 6), помоћна документација. University of Victoria, 1998–2009.

Референтне граматике (мерило за тврдње о модалима)

Quirk, Randolph; Greenbaum, Sidney; Leech, Geoffrey; Svartvik, Jan, A Comprehensive Grammar of the English Language. London: Longman, 1985.

Huddleston, Rodney; Pullum, Geoffrey K., The Cambridge Grammar of the English Language. Cambridge: Cambridge University Press, 2002.

Palmer, Frank R., Modality and the English Modals, 2. изд. London: Longman, 1990.

Теорије учења и порекло појмова

Bartlett, Frederic C., Remembering: A Study in Experimental and Social Psychology. Cambridge: Cambridge University Press, 1932.

Anderson, Richard C., „The Notion of Schemata and the Educational Enterprise“, у: R. C. Anderson, R. J. Spiro, W. E. Montague (ур.), Schooling and the Acquisition of Knowledge. Hillsdale, NJ: Lawrence Erlbaum, 1977, 415–431.

von Wright, Georg Henrik, An Essay in Modal Logic. Amsterdam: North-Holland, 1951.

Научни апарат, стил и правопис

Publication Manual of the American Psychological Association, 6. изд. Washington, DC: APA, 2010.

MLA Handbook for Writers of Research Papers, 7. изд. New York: Modern Language Association, 2009.

ISO 690:2010, Information and documentation — Guidelines for bibliographic references and citations to information resources. Geneva: ISO, 2010.

Пешикан, Митар; Јерковић, Јован; Пижурица, Мато, Правопис српскога језика (измењено и допуњено издање). Нови Сад: Матица српска, 2010.

Tomović, Nenad, „Terminologija primenjene lingvistike (englesko-srpski)“, Prevodilac 29(1–2), 2010, 125–148.

Kristal, Dejvid, Enciklopedijski rečnik moderne lingvistike. Beograd: Nolit, 1988.

Kristal, Dejvid, Kembrička enciklopedija jezika. Beograd: Nolit, 1996.

Етика истраживања

BERA, Ethical Guidelines for Educational Research. London: British Educational Research Association, 2011.

Прописи и стандарди (у верзији важећој јуна 2013)

Правилник о стандардима и поступку за акредитацију високошколских установа и студијских програма, „Службени гласник РС“ бр. 106/2006, 112/2008.

Закон о ауторском и сродним правима, „Службени гласник РС“ бр. 104/2009, 99/2011, 119/2012 (чл. 49).