Seminar: testimise automatiseerimine Seleniumiga

27. aprillil toimus Testijate Päeva järelseminar teemal "Testimise automatiseerimine kasutades Seleniumi". Temaatilised ettekanded olid Aqriselt ning Conformiq'lt ning vahepalaks vesteldi vabas vormis osalejaid huvitavatel teemadel. Järgnevalt lühike kokkuvõte sellest, mida räägiti ehk kokkuvõte arutletud teemadest:

Kuidas salvestada ja hallata ekraanipilte? (2 häält)
Seleniumil endal on täiesti standardsed vahendid ekraanipildi loomiseks. Üks variant on lehe source htmli maha salvestamine ja publitseerimine.
Kuid seleniumil on ka meetodid nagu captureEntirePageScreenshot (lehe põhine, töötab ainult Firefoxis) ja captureScreenshot (Operatsioonisüsteemi põhine).

Who write selenium tests? If developer writes Selenium tests, what tester does? (2 häält)
RIK arvab, et arendajad ei tohiks Seleniumi teste kirjutada, kuna nad on oma koodis kinni ja vigu tuvastavaid teste nad ei leia.
Aqris: kui testcase-d on ette kirjutatud siis võiks arendajad neid kirjutada ja testijad saaksid neid teste täiendada või leida programmis olulisemaid vigu.
Conformiq: testid tuleks disainida mudeli põhiselt. Mudeli peaksid tegema arendajad ja testijad koos.

Kuidas otsustada, mida ja kui palju tasub automatiseerida? (2 häält)
Agiilses arenduses: kõrge prioriteediga acceptance testid (prioriteedi ütleb klient, äripool)

Tavaline arendus, jätkuprojekt: salvestada staatilised testid ja need taaskäivitada. Stabiilsed võtta testidena sisse.


Kuidas paremini organiseerida/üles ehitada testide struktuuri? (3 häält)
Testide loomisel tuleb kasutada helperklasse, tegelikud testide väljakutsed on lühikesed, kogu töö tehakse helperklassides. Koodi haldamine on siin oluline.
Testide loomisel on variant kasutada ka PageObjects metoodikat (http://code.google.com/p/selenium/wiki/PageObjects).
Testide struktureerimiseks võib kasutada ka raporteerimise vahendeid. Näiteks kasutada Java-s koodi annoteerimist ja selle läbi ette anda nii testi andmeid kui ka defineerida testi eel- ja järeltegevusi. TestNG võimaldab sellist lähenemist.


Millises agiilse arenduse etapis tasuks hakata teste automatiseerima? (4 häält)
Sõltub projektist ressurssidest. Kui klient nõuab siis muidugi tuleb igal juhul kirjutada.

Kui järgida test-driven developmenti siis tuleks testid kirjutada juba prototüüpimise faasi (kui see faas on olemas). Kui prototüüpimist ei toimu, siis tuleb ikkagi oodata kuni on valmis vähegi stabiilsem keskkond.

Kui prototüüpimist ei ole siis võiks eesmärk olla: ASAP (as soon as possible), reaalsuses tuleb aga kuskil sprintide vahepeal, kui keskkond on natuke stabiliseerunud.
Andres: kui sprintide käigus tehakse kräppi koodi siis ei ole mõtet teste kirjutada.

Toodi välja probleem: kui automatiseerida teste sprintide lõikes siis läheb asi käest, ei jõua enam. Testide arendamise tuleb ka aega varuda ja planeerida sprindi sees.
Probleemiks: on ka testide muutmine, võib minna aina aja kulukamaks. (Tuleks üle vaadata testide disain?)

Idee: testijad võiksid arendajatega koos paika panna elementide id-d. Nii saaks testija juba varakult kokkulepitud id-dega hakata teste kirjutama.


Testi raportid (11 häält)
How to create human-readable test report? (5 häält)
Milliseid vahendeid paremini kasutada Seleniumi testraportite loomiseks? (3 häält)
Testide astmelisus (testcase, test, testsuite) (3 häält)

Vahendid, mida kasutatakse raporteerimiseks:
EMT - kostümeeritud testng, mis võimaldab luua veebipõhiseid raporteid. Lisaks võimaldab vahend komplekteerida test suite ja testide järjestusi. TestNG-ga saab realiseerida ka data-driven testimist ehk kui testis assert ebaõnnestub siis võetakse testi andmete failist uus test koos testandmetega.

RIK
kasutab isetehtud framework, mis töötab anti peal. Ant võtab sisse testsuite-i ja genereerib custom xslt template alusel vajaliku arusaadava raporti.
Mõned mõtted siia frameworki juurde:

• testsuite, testcase (1 class file per testcase), tests - selline peaks olema tegelik struktuur, testide astmelisus
• Vaikimisi on nii: testsuite, tests, testcases
• Tuleks hallata ainult testide struktuuri (testid ise on viidud helper klassidesse) – nii oleksid testide koostamine justkui legomäng, kus vajalikud tegevused pannakse kokku eri klotsidega ja edaspidiselt on vaja mitme või mitmekümne testi haldamiseks muuta vaid üht/mõnd klotsi - kui miski testitavas süsteemis peaks muutuma.
• Kui testimiseks on kasutatav vaid IE siis peab kahjuks iga testija oma valgete kätega kõikide elementide ID´d ise sisestama (kas siis otse testi või helper klassidesse - olenevalt testija testsüsteemi keerukusest)
• Iga test loob oma algandmed käivitamata eeltingimuste täitmisel kontrolle - igal klotsil on vastav väli, mis ütleb kas on tarvis selle klotsi puhul teha ka kõik kontrollid või tuleb eeltingimustena selle klotsi tegevused teha ilma põhjalike kontrollideta, lisaks toimub testi jooksmisel kontrolltingimuste ja eestikeelsete veateadete kogumine, kontrollid viiakse läbi alles testi lõpus, siis kui kõik tegevused on tehtud, testide kontrolltingimused on seotud ID´dega (mitte elementide ID´d vaid kontrollidel on oma ID´d mida saab testdokumentatsiooni lihtsalt nummerdada))

Ruby ja Rspec:
Rspec suudab genereerida vaikimisi juba väga häid raporteid. Raportites on vaikimisi vea korral olemas lehe html source, screenshot, diff ja kui testi käigus salvestati mingi fail siis ka see on testi juures kätte saadav.

Lauda jäänud küsimused/probleemid

• Selenium ja threadid
• Kiiruse probleemid
• IE salvestaja (nagu on Firefoxil)?
• Seleniumi crashi mure (ei lasta sessiooni kinni)
• Paroolide salvestus faili ning nende lugemine
• Mingid characterid on sisestamatud/trükitamatud
• Selenium startup akna mõõdustamine (FIXED-SIZE)
• Millised on levinumad probleemid, mis on ette tulnud? Kuidas neid lahendati? Kas on teadaolevaid lahendamata probleeme seotud Seleniumiga?
• Kas Seleniumiga saab mõõta CPU ja mälu kasutust? Kas saab ette kirjutada veebilehel navigeerimise stsenaariumi?
• Kuidas võiks olla testimise protsess üles ehitatud automatiseeritud testimise korral? Millest võiks alustada?
• Kuidas kõige paremini disainida testide kogum (testsuite)? (töömaht ja selgus loomisel ning muutmised oleksid minimaalsed)
• Millised võivad olla põhjused, et test kord jookseb läbi ja siis jälle annab vea?
• Mis vahe on FFPluginil (IDE) ja RC vahel? (funktsionaalsus, näiteks kui ma tahan testida ainult FF browseris)
• Faster test runs
  
• Kuidas on äripool (klient) rahul automaatsete testide koostamise kohustusega ning kuidas nad hakkama saavad (Kui tihti satuvad probleemide otsa)?

Vaata ette, EuroSTAR! Eesti Testijate Päev kogub tuure

Kui järgmiseks telehitiks saaks "Eesti otsib Supertestijat", siis esikolmiku oleks kindlasti leidnud naljakuu esimesel neljapäeval (01.04) toimunud Eesti Testijate Päevalt. See kujutas endast konverentsilaadset üritust, kus testimise eri valdkondade spetsialistid andsid ülevaate oma praktilistest töödest ja tegemistest.

Nagu telehitile kohane, oli saal täis noori fänne, kes ühelegi teemale tormilist kiitust avaldamata ei jätnud. Minu suurima aplausi pälvisid kaks esitlust:
• turvatestimine (Mait Peekma) ja
• veebipõhiste rakenduste automaatne testimine Seleniumiga (Raimond Sinivee).
Kes soovib teada ülejäänud teemasid, võib heita pilgu siia.

Mis siis pani mul kui korraldajal silma särama? Loomulikult oli väga meeldiv näha Swedbanki söökla külastajaid hämmeldunud nägudega vaatamas kohvitassidega ringi sebivaid ja innukalt vestlevaid testijaid. Vaheaegadel istusid igas võimalikus nurgas koos Eesti eri paigust kohale tulnud testijad, vahetades elavalt muljeid ja kogemusi.
Kindlasti ei saa mainimata jätta meie staaridest esinejaid, kes suutsid muidu tuimades eestlastes esile kutsuda rõõmsaid naerupahvakuid ja nad samas ka mõtlemapanevaid küsimusi esitama panna.

Kuigi meil puudusid kohtunikest Heidy Purga, Rein Rannap ja Mihkel Raud, avaneb kõigil osalejatel peagi võimalus oma hinnang anda, kui nende postkasti potsatab tagasisideküsitlus.

Quo vadis, Eesti Testijate Päev? Kas varasügisel tuleb uus üritus või peab aasta-paar ootama? Mina seda küsimust ei esitaks, vaid toetaksin nii käte kui ka vaimuga juba järgmise testijate päeva korraldamist!

Mis muud mul veel öelda oleks? Eks ikka suured tänud kõigile osalejatele, sügav kummardus meie säravatele esinejatele ning loomulikult kestev ovatsioon ürituse korraldajale – minule :D!

Eesti testijate Päev!

Teil on hea meel edastada ETL-i nimel kõigile blogi lugejatele ja ametivendadele kutse osalemaks ETL-i korraldataval Testijate Päeval, mis toimub 01.04.2010 Tallinnas, Pärnu mnt. 139/ Kohila 8 asuvas Swedbanki IT majas.

Testijate Päev on praktilise suunitlusega ning päeva eesmärgiks on pakkuda osalejatele võimalust kokku saada ja kuulata oma ala spetsialiste rääkimas praktilistest lahendustest testimisega seotud probleemidele. Siinkohal on tähtis roll mängida ka kuulajatel: luues diskussiooni ning jagades oma temaatilisi kogemusi.

9:30 - 10:00 Kogunemine - hommikukohv ja snäk
10:00 - 10:15 Sissejuhatus

10:15 - 11:45 Turvatestimine
Esineja: Mait Peekma
Ettekanne, kust iga osaleja lahkub vähemalt ühe uue testijuhuga oma testide paunas. Alustuseks näited äriloogikas pesitsevatest vigadest. Seejärel keskendutakse veebirakenduste haavatavustele - ka sellistele, mida leidub rohkem kui pooltes dünaamilist sisu pakkuvates veebisaitides. Lisaks saab teada, mis on turvatestija motivatsiooni võti ja näha testimise etappeHollywoodi näitel. Ettekanne lõpeb ülevaatega ründetestimisest - muuhulgas sellest, kuidas sportautosid vasakule pannes seaduslikult leiba teenida.

11:45 - 13:00 Lõuna

13:00 - 13:45 Üllatusteema - testimine ja kvaliteet ITst väljaspool

13:45-14:30 Kuidas testida uut ID kaardi baastarkvara?
Esineja: Maili Markvardt
Kas teadsite, et iga päev antakse üle 40 000 digiallkirja? ID kaardiga isikutuvastusi on päevas aga üle 70 000. Riigi Infosüsteemide Arenduskeskus kuulutas 2008. aastal välja hanke "uue ID kaardi baastarkvara" arenduseks. Üheks uue tarkvara olulistest eesmärkidest oli võimaldada ID kaardiga seotud funktsionaalsuste kasutamist erinevatel Windows, Linux ning Mac platvormidel, et ID kaardi elektroonilist kasutust veelgi populariseerida. Paralleelselt arendushankega viidi läbi ka teine, Eesti mõistes ebatüüpiline hange: sõltumatu kvaliteedikontroll ning tugi tarkvaratulemite vastuvõtutestimisel. Käesolev ettekanne valgustabki uue ID kaardi baastarkvara vastuvõtutestimisega seotud küsimusi ja vastuseid:
· Kuidas testida efektiivselt kriitilist, keerukat ja mahukat multiplatvormset tarkvara?
· Kas automatiseerimine aitaks hea tulemuse saavutamisele kaasa?
· Kuidas optimeerida testide arvu, kui kõigi soovitud testide läbiviimine oleks liialt kulukas?
· Mis on see, mida ei ole ainuüksi testimisega võimalik saavutada, ja miks?

14:30 -14:45 Kohvipaus

14:45-15:30 Agiilne arendus- ja testimisprotsess
Esineja: Valli Rennig
Agiilne arendus/testimine kõlab küll uhkelt, kuid mida see sõna "agiilne" üldse tähendab? Milline on agiilne arendus ning kuidas testimine agiilses arenduses välja näeb? Kuidas võiks testija kohanduda agiilse arendusega? Valli Rennig annabki ülevaate agiilse arendusprotsessi ja testimise põhimõtetest baseerudes enda kogemusele ettevõttes Helmes.

15:30 - 17:00 Veebipõhiste rakenduste automaatne testimine Seleniumiga
Esineja: Raimond Sinivee
Organisatsioonidel, kes on kliendid tarkvaraarendus firmadele, on raske leida infot tarkvara arenduse kohta. Kliendid peavad testima rakendusi enne kui nad neid vastu võtavad, aga kuidas seda teha?
Probleem on selles, et kõik protsessid ja tehnoloogiad on tehtud silmas pidades tarkvara arendajate vajadusi ja eesmärke. Klient ei saa kasutada unit taseme või teisi tehnilisi meetodeid kui kogu arendus on väljast sisse ostetud. Kliendile jääb vastuvõtmise testid, kuid see on tavaliselt ettekannetest välja jäetud kuna pole arendaja vajadus.
Ettekanne räägib veebipõhise tarkvara testide automatiseerimise kogemusest firmas, kus kogu arendus on sisse ostetud. Peamiselt oli kolm põhimõttelist valikut või probleemi:
· Valikute tegemine - mida automatiseerida ning mis vahendeid kasutades?
· Probleemid Seleniumiga ning kuidas neist üle saada?
· Kuidas juurutada uut protsessi olemas olevasse?
Need küsimused ei ole tegelikult uued ja ülal toodud valikutest on kirjutatud raamatuid, aga ikka tulevad nad ette. Uus on vaade nendele küsimustele - tarkvara kasutaja vaade.Inimene, kelle jaoks on automatiseerimine uus teema, saab ettekandest häid näpunäiteid, millised probleemid võivad tulla. Need, kellel on juba kogemused kõnealuses valdkonnas, saavad ülevaate probleemidest kliendi seisukohalt.

Üritus on kõigile tasuta!

Registreeruda palume hiljemalt 24. märtsil läbi järgneva vormi: http://testijatepaev.eventbrite.com/
Ühtlasi leiab sealt ka vajalikku lisainfot ürituse kohta.

Kuna kogemusi vahetada ilma osalejateta on raske, siis ootame Teid aktiivselt osalema Testijate Päeval ning andma oma panust diskussiooni loomisse!

Kui te teate kedagi keda see üritus võiks huvitada siis edastage see kutse julgelt ka temale!

Kursus Tarkvara automatiseeritud testimine TTÜs

TTÜs tuleb 2009/2010 kevadsemestril (alates veebruarist) lugemisele aine Tarkvara automatiseeritud testimine "uues kuues". Kandvaks teemaks saab sel aastal olema TTCN-3 nimeline testiarendustehnoloogia (www.ttcn-3.org). TTCN-3'e võib vaadata kui spetsiaalset programmeerimiskeelt, mis on loodud pidades silmas automaattestimise eripärasid. Kasutades TTCN-3'e on võimalik automatiseerida testimist erinevatel testitasemetel (komponenttestid, integratsioonitestid, süsteemitestid, süsteemide integratsioonitestid) ning erinevates rakendusvaldkondades - alates pangandusest, telekomist lõpetades autotööstusega (http://www.ttcn-3.org/SuccessStories.htm).
TTCN-3 on näiteks aktiivses kasutuses ETSI (European Telecommunications Standards Institute) vastavustestides:
- Session Initiation Protocol (SIP) for Voice over IP (VoIP),
- IPv6 (Core, Mobility, Security),
- Digital Mobile Radio (DMR) and digital Private Mobile Radio (dPMR) jne

Aine lektoriteks on palutud TTCN-3 tehnoloogia praktikud Elviorist (www.elvior.ee).
Kursus koosneb moodulitest (kokku 4 moodulit)
- TTCN-3 alused (TTCN-3 - Testing and Test Control Notation Version 3)
- TTCN-3 edasijõudnutele
- TTCN-3 liidestamine SUT'ga (System Under Test; süsteemiadapterite-, platvormiadapaterite-, väliste koodekite-, väliste loggerite ehitamine; testide haldamise standard ja selle kasutamine TTCN-3's)
- TTCN-3 arendusplatvorm MessageMagic

Kursus lõpeb arvestusliku projektiga - töötav TTCN-3 testikeskkond koos projekti seletuskirjaga on arvestuse saamise kriteeriumiks. Elvior garanteerib kõigile osalejatele MessageMagic'u (http://elvior.ee/messagemagic/general) litsentsi 2009/2010 kevadsemestriks.

Lisaks "põhiteemale", milleks on TTCN-3, on plaanis kaasata täiendavaid tarkvara testimise automatiseerimist käsitlevaid loenguid erinevatelt spetsialistidelt (koormustestimine, mudelipõhine testimine, automaattestimine kui protsess, automaattestimise mõõtmine jne).

Kursuse toimumise täpne aeg, koht ja loengute kava selgub lähiajal ning värskeim info on kättesaadaval kursuse kodulehelt: http://cs.ttu.ee/tiki-index.php?page=ITI8901
TTÜ tudengid saavad kursusel osaleda vastavalt oma õppekoha tingimustele, kõigil teistel soovijatel on kursust võimalik sooritada Avatud Ülikooli kaudu (http://www.ttu.ee/au).

Osalejate hulga täpsustamiseks palun potentsiaalsetel huvilistel anda mulle meili teel tagasisidet: maili[at]asaquality.ee, ka on samal aadressil oodatud kõik temaatilised küsimused!

Seminar intellektuaalne omand ja tarkvara õiguskaitse 10. veebruaril 2010

Järgmine Eesti Testijate Liidu seminar teemal "Intellektuaalse
omandi õiguskaitse (IT vaatepunktist) ja tarkvara õiguskaitse" toimub kolmapäeval, 10. veebruaril 2010 algusega kell 17:45 kuni 19:30. Üritus leiab aset Helmese ruumides - Lõõtsa 6B (Ülemiste keskuse taga). Parkimine on tasuta.

Millised oleksid teie küsimused antud valdkonnas, millele te tahaksite vastuseid saada? Eesti Testijate Liit on välja mõelnud järgmised küsimused, mis võiksid seminari jooksul vastuse saada:

- Kas testija arendatavad testimise abivahendid (koormuse
generaatorid, testiandmete generaatorid vms) on käsitletavad kui tarkvara? See "testimiseks  kasutatav tarkvara" võib olla loodud kasutades teiste osapoolte loodud testivahendeid, kuid ka "from scratch". Millised on selliste testimisega seotud tarkvaratulemite õiguskaitse võimalused?

- Kindlasti agaramad meist omavad ideesid, kuidas oma tööd veelgi
mugavamaks teha ning üheks võimaluseks võib olla laiemale ringkonnale
kasutamiseks mõeldud  testitööriistade väljatöötamine ning
realiseerimine (testimisega seotud tootearendus).
Ka see eeldab teadmisi, mis seonduvad nii intellektuaalomandi kui ka
patenteerimisega, et oleks infot ja julgustust oma mõtetega edasi
minna, nende realiseerimisele.

Neile ning paljudele teistele küsimustele on valgust heitma kutsutud
Hele Karja ja Tõnu Nelsas.

Hele Karja on advokaadibüroo Glimstedt Straus & Partnerid
(http://www.glimstedt.ee) intellektuaalse omandi/IT töörühma liige,
kuhu lisaks kuulub veel ka professor Heiki Pisuke.

Hele tutvustab intellektuaalset omandi valdkonda. Orienteerivad teemapunktid on järgmised: intellektuaalne omand ja selle liigitumine, intellektuaalset omandi valdkonda reguleerivad õigusaktid, mida intellektuaalne omand kaitseb (nt arvutiprogramm) ja mida ei kaitse (nt ideed), intellektuaalne omand ja IT -  andmebaasid ja arvutiprogrammid autoriõiguse seaduse kontekstis, näidiskaasus.

EAS koostöös advokaadibürooga Glimstedt Straus & Partnerid on andnud välja Eesti esimese intellektuaalse omandi kaitset käsitleva kaasuste kogumiku, mis on mõeldud kõigile ettevõtjatele. Kogumiku kohta informatsiooni saab sellelt aadressilt http://www.glimstedt.ee/ee.php/publikatsioonid/artiklid (artikkel
2008.12.16).

Tõnu Nelsas on AAA Patendibüroo (http://www.aaa.ee) patendivolinik. AAA Patendibüroos alustas ta tööd esilagu patendispetsialistina, kuid alates aastast 2000 on ta seal patendivolinik. Omab Euroopa patendivoliniku tiitlit, mis annab õiguse esindada leiutajaid või patenditaotlejaid, patendi omanikke Euroopa Patendiametis.

Tõnu tutvustab tarkvara õiguskaitse teemat: kaubamärk ja selle taotlemine. Tarkvarapatentide õiguskaitse süsteem riigiti, piirkonniti.

Seminarile on kutsutud kõik ETL liikmed ja muidugi ka mitteliikmed. Mitteliikmetel palume arvestada sümboolse tasuga - 150 EEK seminaril osalemiseks, mis tasutakse kohapeal sularahas või arvega. Viimasel juhul palun registreerumisel märkida maksja firma nimi ning kontaktaadress.


Oma osalemissoovist teatamiseks saatke kiri aadressile valli[at]testijateliit.ee
hiljemalt 5. veebruariks 2010.


Peatse kohtumiseni!

Eesti Testijate Liidu uusaastatervitus 2010

Head liikmed ja sõbrad!

Uut aastat on igati sobilik alustada heade soovidega, väikese tagasivaatega eelmisele aastale ning uute plaanide seadmisega.

Möödunud 2009. aasta oli kindlasti uudne ja täis väljakutseid meie kõigi jaoks. Testijate Liidu pere kasvas eelmise aasta jooksul peaaegu poole võrra: 19-lt 36-le. Hoo sai sisse ka seminaride sari - aasta jooksul oleme kohtunud paljude huvitavate esinejatega ning laiendanud oma silmaringi erinevates põnevates valdkondades. 2009. aasta kevadel akrediteerisime esimese ISTQB Foundation Level Certified Tester koolituse Eestis ning 2009. aasta lõpuks olime välja andnud juba 29 selle taseme sertifikaati. Esimesed sammud koostöös on loengusarjade näol tehtud nii Eesti Infotehnoloogia Kolledži, Tallinna Tehnikaülikooli kui Tartu Ülikooliga.

2010. aasta lubaduste hulka kuulub kindlasti püüd tuua oma liikmeteni veelgi huvitavamaid teemakäsitlusi meilt ja mujalt seminaride ja koolituste näol. Koostööle testimisalaste koolituste osas loodame ka Info- ja Kommunikatsioonitehnoloogia Liiduga (ITL), kelle korraldatud koolitusvajadusi puudutavates mõttekodades olid ka ETLi liikmed esindatud. Jätkame ka ISTQB-suunalist tegevust, hoides Eesti testimise-maailmakaardil.

ETLi juhatus on jätkuvalt huvitatud ideedest, kuidas ETLi tegevust liikmete jaoks veelgi kasulikumaks muuta (seminarid, koolitused, konverentsid, ühisüritused, meediakajastus jne). Kõik mõtted ja soovitused on teretulnud aadressil juhatus [at] testijateliit.ee. Heade ideede autoritel on oht saada karistatud erinevate üllatusauhindadega ;-)

Alanud 2010. aasta on lugemisaasta - loeme, õpime ja arendame ennast jätkuvalt üheskoos!

Eesti Testijate Liidu juhatus soovib kõigile oma liikmetele ladusat ja avastusterohket uut aastat!

Uusaastatervituse leiate aadressilt
http://www.testijateliit.ee/ftp/Uusaastatervitus2010.jpg