Eesti Testijate Liidu blogi

Õpetama õppimisest

2011-10-23T12:49:00.000-07:00

Kunagi sai Mailile antud kolm tilka verd (loe: lubadus aidata IT Kolledzi testimisloengute andmisel). Sel kevadel saaga jätkus - vaja testimisalast e-kursust. Kuna olin 3 tilka verd juba andnud, siis nüüd võeti juba käsi. Kuna teema on huvitav, siis mis mul eselle vastu olla võis. Järgnevalt väike ülevaade, millega vahepeal hakkama olen saanud.

Esmene küsimus, mis kellukesena peas kõlisema hakkas puudutas sõna "e-kursus". Mis on e-kursus? Missugune on (väga) hea e-kursus? Sai küsimust arutatud mitmel rindel ja loetud erinevaid juhendeid. Polnud paha - midagi hakkas selguma. Ühel augustikuu päeval küsisin Raimondilt, ega tema ei tea, kust võiks leida informatsiooni testimise e-kursuse loomise / juhendamise kohta. Vastus oli lihtne: vaata seda. Nimelt AST pakub muude kursuste seas ka "online kursuse instruktori kursust onlines". Miks mitte õppida oma ala ekspertidelt nagu Cem Caner ja Rebecca Fiedler? Otsustatud.

Sellel kursusel osalemisega oli väike trikk. Nimelt kursuse eelduseks on BBST Foundation kursuse läbimine. See Foundation kursus, mis lõppeks enne Instruktori kursuse algust, oli aga täis. Polnud midagi parata, nimi waiting list-i kirja ja ootama. Läks õnneks! Umbes nädala pärast tuli kiri, et olen kursuse nimekirjas.

Ja siis see algas. 11. september. Kestvus 4 nädalat - 3 nädalat õppimiseks ja 1 eksamiks. Koolitus toimus keskkonnas moodle. Peamiseks instruktoriks Michael Larsen. Õpieesmärgid saab teada Caneri blogist. Kogemus iseenesest oli väga väärt - me kõik oleme osalenud mõnepäevastel koolitustel ja ülikooli loengutel ja oskame seda ette kujutada. Kuidas juhtida kursust virtuaalses keskkonnas, kus inimesed erinevatelt mandritelt/ajavöönditest on midagi teistsugust. Samuti on väga "värskendav", et kõik sinu poolt postitatu on kõigile avalik - nii vastused ülesannetele kui ka kohustuslikud kaastudengite tööde hindamised. Nii uskumatu kui see ka pole, siis instruktor sekkub ja kommenteerib väga vähe, aga tema kohalolekut on pidevalt tunda.

Põhiaeg kursusel läks eneseväljendusele inglise keeles. Kuna ei ole varasemat kogemust sellises mahus inglise keelt emakeelena kõnelevate inimestega suhelda, siis oli sõnaraamatuga töötamist ja mitu korda oma postituste läbilugemist enne saatmist väga palju. Kui instruktorid pakkusid nädalaseks töömahuks ca 12 tundi, siis mul läks 20 kindlasti.

Kursus iseenesest oli aega väärt. Sai hea ülevaate heuristikatest, testimise eesmärkide seadmisest, "kõige testimise" võimatusest ja meetrikatest. Kõikide teemade kohta oli lisaks teooria omandamisele ka praktikumid - iseseisvad ja grupitööd. See aitas materjali omandamisele väga palju kaasa. Teooria omandamisest lihtsalt ei piisanud - pidi oskama lahendusvariante võrrelda ja põhjendada, miks midagi just nii või naa teeksid. Samas ei saa eeldada, et Foundation kursuse läbimine kellegi nüüd profiks teeb (ükski kursus ei tee). Florida Tech-s järgneb Foundation kursusele kohe Bug Advogacy ja Test Design. Samad kursused on ka AST kursuste kalendris. Ehk peale nende läbimist saab rääkida alles "testimise baasteadmistest". Kirsiks tordi peal loomulikult omandatud teadmised e-kursuste kohta tudengina.

Foundationi teema lõppes minu jaoks 14. oktoobril, kui tuli kiri, et olen kursuse läbinud. Veidike statistikat: 20 alustajast sai eksamile 10. Väljakukkumise põhjus on enamasti selles, et ei osata arvata, kui palju aega ja pühendumist kursus võtab ning siis jäetakse pooleli. Kahjuks. Soovitan kursust kõigile aga enne registreerimist palun tehke kindlaks, et saate töö/pere/hobide kõrvalt need 20 tundi nädalas kuu aja jooksul näpistada.

Vabadus!? Ei ... Instruktori kursus algas. Nüüd näeb kursuste "köögipoolt". Aga sellest juba paari nädala pärast.

Ja niimoodi ta algas...

2011-09-14T10:27:00.000-07:00

14. septembril toimus IT Kolledži ruumes Eesti Testijate Liidu 2011/2012 hooaja avaseminar.
Meeldiv oli kohata vanu tuttavaid ETLi algusaegadest ning rõõm tutvuda ka uute tegijatega - suurim tänu kõigile tulemast!

Nagu ikka kombeks, algas üritus hooaja plaanide seadmisega. Meeldetuletuseks ülevaade tähtsaimast:

13-15. juuni Nordic Testing Days konverentsi korraldamine - toome oma ala tegijad "koju kätte". Huvilised, kes korraldamisel kaasa aidata tahavad, on väga teretulnud! Võtke ühendust Kaspariga! (kaspar.loog at knowit.ee)
Oktoobris-novembris on plaanis ettevõtete külastused ja ühistestimised! Võõrustajateks Playtech ja KnowIT - täpsem info ilmub siinsamas blogis ja meie Facebooki lehel
Organiseeritud temaatilised välisreisid - initsiatiiv teretulnud liikmetelt! Koos on enamasti lihtsam ja soodsam, samuti saame kasutada EASi toetust.

Edasi täitsid õhtupooliku huvitavate ettekannetega juba külalised:
Enno Aermates, AS Eesti Posti kvaliteedijuht, defineeris kvaliteedijuhtimist kui funktsiooni "kaoses korra loomiseks" - (kvaliteedi)juhi ülesanne on ebaregulaarne, ebatäiuslik ja pigem eranditest kui reeglitest koosnev pärismaailm süstematiseerida ja muuta eesmärgipäraselt mõõdetavaks ja ajas võrreldavaks - kas täna oleme paremad kui eile?
Mõõtmine (ka testimine on muide mõõtmine!) ja järelduste tegemine on iga paremaks-saamise välitmatu alustala. Sellest lähtuvalt on välja töötatud ka näiteks ELS Kullerteenuse teeninduskvaliteedi "testimise" mehhanism: nagu testimisel ikka, on oluline viga piisavalt täpselt kirjeldada, et aru saada, millises ahela osas "viga" tekib. Seejärel tuleb vea juurpõhjuseid analüüsida ning leida ja realiseerida sobilikud parandused. Tuletan omalt poolt meelde, et ainuüksi testimine pole kunagi kvaliteeti tõstnud - testimine ainult annab infot kvaliteedi hindamiseks :) Seda infot on aga oluline kasutada õigesti - mitte ärapanemiseks vaid paremaks saamiseks.

Järgmiseks liikusime automattestimise radadele ja Risko Ruus tutvustas veebilehtede testimist veebiämbliku (webcrawler) abil. Tutvustatavaks vahendiks oli Crawljax - ajaxi-põhiste veebirakenduste testimise raamistik, mille omapäraks on see, et vahend genereerib testid ise - niiöelda "roomab" läbi veebirakenduse, moodustades sellest graafistruktuuri. Genereeritud struktuuri alusel on võimalik läbi viia mitmesuguseid erinevaid teste - näiteks regressioonitestid (võrrelda eelmise versiooni graafi uuega), cross-browser-compatibility testid (võrrelda erinevate brauserite emuleerimisel saadud graafe nö etalongraafiga, mida peame korrektseks), koormustestid jpt.

Ürituse lõpetasid Harles ja Kaspar, kes jagasid oma kogemusi ja järeldusi, mis sobisid ühtviisi hästi hobispordi, töö kui ka igpäevaelu konteksti.
Mõned mõtted meeldetuletuseks ja meeldejätmiseks, järgneb täiesti vaba interpretatsioon minu poolt, nii nagu need mõtted minu maailma sobisid:

Esimene samm millegi saavutamisel on seada endale mõõdetavad ja ajas määratletud eesmärgid - olgu selleks siis lähema aasta perspektiivis 10 kilomeetrit alla 40 minutiga joostes läbida, läbida mõni sertifitseerimisprogramm või ehitada maja. Eesmärgid tuleb seada lähtudes oma kontekstist - hobi(sport)lase ja profi eesmärgid on täiesti erinevad;
Plaan on ainult hinnang, mis väljendab meie hetke parimat teadmist. Päris-elu teeb selles alati oma korrektuurid;
Lähtuvalt eesmärkidest saad teada, mida Sul nende saavutamiseks vaja on - kõva trenni, ohtralt aega, palju raha, kellegi targema abi ja üüratu kogus isiklikku tahtmist ja järjekindlust? Ilmselt natuke kõike;
Ka hea teooria ei vii sihile, kui see ei sobi konkreetsesse konteksti; praktika ilma teooriat teadmata viib lõputu mittetulemusliku "katsetamiseni". Toimiv lahendus oleneb kontekstist;
Tööriistad ja varustus on olulised, aga hädapätakast nad meistrit ei tee; küll aga võivad teha naerualuse;
Keegi ei saa su õlgadel seista, kui sa ise oled pikali. Väsinuna ja näljasena ei ole meist kellelegi kasu, kõige vähem aga iseendale;
Koostegemises on jõud - kaks pead on kaks pead. Keegi on ikka kunagi midagi sarnast läbi elanud. Ja pole paremat tagantutsitajat ja motivaatorit kui trennikaaslane või kolleeg (eriti kui ta ähvardab osutuda paremaks kui sa ise) :)

Niisiis - õiged inimesed, eesmärgid, mõõdupuud, metoodikad, praktikad ja asjad õigel ajal õiges kohas, ja siis veel natuke südant ka - nii sünnibki kvaliteet.

PS: Materjalid lisan veidi aja pärast!

ETL 2011/2012 hooaja avaüritus

2011-09-12T05:15:00.000-07:00

Kena algavat nädalat!

Ma väga loodan, et enamus blogi lugejatest juba teab, et avaüritus toimub IT Kolledži ruumes. Kes veel ei teadnud, siis loodetavasti nüüd teab. Igal juhul on väga oluline end registreerida siin, sest registreerimise alusel plaanime soetada söödavat/joodavat.

Mis toimub? Laias laastus võime jagada ürituse kolmeks:
a) 2011/2012 hooaja plaanide, tegevuste tutvustus. Mida on plaanis teha, millal jne. Väga oluline on see, et tegevuste hulk iseenesest ei ole piiratud, kui leidub aktiviste, kes need ellu viivad. Ehk ootame ideid, tagasisidet ja loomulikult käte merd tegevustes osalemiseks;
b) ettekanded. Seekord on neid kolm:
- Enno Aermates, Eesti Post. "Teeninduskvaliteedi pidevtestimise meetod Eesti Post ELS kullerteenuse näitel."
- Risko Ruus, Playtech. "Veebilehtede automatiseeritud testimisest - veebiämblikuga ja ilma."
- Kaspar Loog, KnowIT ja Harles Paesüld, Swedbank. "Laisk peseb, virk kratsib - ehk kuidas optimaalse pingutusega väga häid tulemusi saavutada."
c) arutelu vabas vormis aktuaalsetel teemadel.

Üritusele on oodatud kõik, kes testimisest huvitatud on. Ja sõbra võib kaasa võtta!

Kohtumiseni!

Konverentsile Saksamaale - Agile Testing Days

2011-09-02T00:07:00.000-07:00

Mart käis välja idee minna Saksamaale ja osaleda konverentsil Agile Testing Days, mis toimub 14-17. november . Kuna kevadist Riias käimist võib lugeda kordaläinuks, siis tundus mõte enam kui hea. Eriti veel, kuna agiilne tarkvaraarendus muutub järjest populaarsemaks ja agiilse testimise alaseid koolitusi pole veel "liiga palju" olnud. Mulle teadaolevalt on ainus hetkel teadaolev koolitus devtraining-u poolt organiseeritud "Agile Acceptance Testing and Specification by Example".

Hetkeseisuga on teada järgmine info:
Paketis:
- osalustasu (tutorial 14.11, konverents 15-17.11)
- lennukipiletid Tallinn-Berliin-Tallinn
- ööbimine kahestes tubades konverentsihotellis

Paketi maksumus inimese kohta ca. 2650EUR. Uurime võimalust saada EAS-i toetust (kuni 50%). Kui see peaks õnnestuma, võib osalustasu väheneda ca 1325 euroni.

Järgmised sammud:
Konverentsi korraldajaga on kokkulepe, et kui 10. septembriks suudame registreerida vähemalt 5 inimest, saame grupisoodustuse (hetkel on hinnas sellega arvestatud). Mingi aeg läheb ka EAS-st vastuse saamisega. Seega on hetke kõige olulisem, et saame tagasisidet, kas konverentsil osalemise vastu on huvi. Kui on, palun registreerige end Doodle-s hiljemalt 5. septembril 2011 kell 20:00. Sellest lähtuvalt teeme otsuse kas ja kuidas edasi minna.

Riias külastasime ka kohalikke ettevõtteid. Kas ka Saksamaal? Veel ei tea. Kui grupp koos ja minek kindel, siis püüab ka selles osas midagi ette võtta. Berliinis ja selle lähiümbruses võiks selliseid firmasid ju olla, mille tegevus meile huvi pakuks.

Antud konverentsireisi projektijuht on Mart, kes hea meelega lisainfot hagab. Loomulikult on oodatud kõik postitused/kommentaarid ka blogisse!

Tartu - heade mõtete linn

2011-07-13T13:05:00.000-07:00

Sai reede (8.juuli) hommikul autosse hüpatud ja Tartusse vuratud. Miks? Põhjuseid oli kaks: Playtech-s ISTQB sertifikaatide üleandmine ja ETL Tartu tiimiga koosolek. Lisaväärtuseks kujunes jalutuskäik suvises Tartus.

Playtech-s andsin ISTQB Foundation Level sertifikaadi üle 18-le tublile testijale. See on siiani suurim number, mis ühe ettevõtte inimestele korraga Eestis on üle antud. Õnnitlused veelkord! Samas ei tohi unustada, et sertifikaat ei taga, et teoreetilised teadmised omandanu ka reaalselt tööd teha oskab - seda näitab elu. Samas on sarnaselt mõne keeleeksami või liikluse teooriaeksamiga läbinuga suhteliselt kindel, et on omandatud ülevaade testimise sisust ja ollakse valmis kolleegidega erialastel teemadel samas keeles suhtlema. Nüüd ei jää enam muud üle kui teooriat praktikas rakendada, kolleegidega kogemusi vahetada ja õppida, õppida, õppida ... Jõudu ja vastupidavust!

Järgnevalt arutasime Rudolfi, Vaido, Polina ja Arturiga kuidas ETL-i Tartus resideeruvad liikmed saaksid ETL-i tegemistes kaasa lüüa. Oli sisukas mõttevahetus, mille tulemusena leppisime kokku, et Tartus toimub sügishooajal tervelt kaks üritust - mis nimelt, jäägu praegu saladuseks. Igal juhul hoidke blogil silma peal! Kuna mitmed ETL-i üritused tulevad tõenäoliselt sellised, mis võtavad terve päeva, siis peab mõtlema, kuidas saada ettevõtetega kokkulepe liikmete töölt eemalolekuks (kuna tegemist on sisuliselt koolitusega, siis ma usun, et tegemist pole saavutamatu ülesandega).

Aeg läks kiiresti ja oligi aeg sammud tagasi seada. Jalutuskäik läbi Tartu oli meeldiv ning tekitas soovi tagasi tulla ja paar päeva kohapeal veeta. Kui mitte varem, siis septembris kindlasti!

Kuidas Demosthenes Riias käis

2011-06-16T05:40:00.000-07:00

Käes oli 24nda mai õhtupoolik. Riia taevast kattis õhuke pilveloor ning vastu Radissoni hotelli aknaid sabistas nõrk uduvihm. Mööda kolmanda korruse tuba sammudes harjutasin kõnet, mida ma saabuval konverentsil pidin esitama enam kui kahesajale inimesele. Justkui Demosthenes mererannal, kordasin oma sõnavõtu algust üha uuest ja uuesti.

Järgmisel hommikul saabus kahe bussi ja mõne autoga üle kahekümne lõbusa testilise Eesti Testijate Liidust. Üht bussi roolis Harles, teist Magnus. Peale sagimist parkimise ja hotellidega oligi aeg päevakava juurde asuda. Kuna järgmisel päeval nägi plaan ette konverentsil pikki kõnesid kuulata, siis esimesel kavatsesime ettevõtetes külas käia. Hakatuseks seadsime sammud Tieto Latvia-sse. Külastasime maksekaartide tarkvara tootvat allüksust, kus on umbes kakssada töötajat ning projekte üle maailma – Aafrikas, Lääne-Euroopas ja mujal. Teste haldavad nad QaTraqi-nimelise vahendiga, mille valis firmasisene eksperdirühm kolme võimaliku seast. Eelistena tõid nad välja kerge seadistamise ja integreerimise Jiraga, kus nad lisaks projekti haldamisele haldasid ka vigu.

Seejärel külastasime ettevõtte Exigen Services kontorit. Exigen pakub mitmesuguseid arendusteenuseid üle maailma. Lätis on nad juhtivad, kui mitte ainsad jõudlustestimise teenuse pakkujad. Selle asemel, et meid pika esitlusega kurnata, otsustas võõrustaja hoopis küsimuste ja vastuste vooru kasuks. Küsida võis kõike! Alates sellest, mitu korda masu tingimustes palka vähendati ja kui palju koondati, ning lõpetades sellega, milline on firmas töötavate nais- ja meestestijate osatähtsus.

Mis siis külastustest meelde jäi? Kõigepealt pakkus lohutust, et me polegi oma probleemidega üksi. Teisedki maadlevad samade küsimustega ning leitud lahendused sarnanevad meie endi omadega. Järelikult oleme õigel teel nii mitmeski asjas!
Teiseks jäi meelde, kui raskelt oli masu tabanud Läti ettevõtteid. Nt Exigen pidi oma testijate koosseisu vähendama 30% ja palku kärbiti kahel korral.
Päeva lõpetas korralik õhtusöök ja mõdu maitsmine kohalikku toitu pakkuvas restoranis. Meeldiv oli näha, kuidas keelepaelad valla pääsesid ning eri ettevõtete testijad suhteid looma hakkasid. Hiljem liiguti edasi tutvuma Riia ööeluga – kas seal mõni suhe ka edasi arenes, jäägu asjaosaliste teada.

Neljapäeva varahommikul liikusime Riia Tehnikaülikooli poole, kus toimus testimise konverents TAPOST 2011. Esinejad olid peamiselt oma ala eksperdid (jah, loen ka end selleks :p), kes andsid ülevaate testimisprotsessi parendamisest, testimise vahenditest, meetoditest ja projektidest. Lähemalt saab räägituga tutvuda siit.
Kui nüüd aus olla, oli mu esinemisärevus liiga suur, et praegu kõiki esinejaid ja nende ettekandeid täpsemalt meelde tuletada. Peate uurima neilt, kes kohal olid!

Minule jättis parima mulje Kaspar Loogi esitlus KnowIT arendatavast vahendist, millega kontrollitakse veebilehtede kuvamist veebisirvijates. Asja tegi minu jaoks huvitavaks fakt, et toote arendamiseks palgati pilditöötlusega tegelev teadlane, kes on sarnast põhimõtet kasutanud sõiduteedes pragude tuvastamiseks. Seega võib testimisvahendite tegemiseks inspiratsiooni leida kõikvõimalikest eluvaldkondadest.

Eelviimasena astusin kõnepulti mina – rääkisin, kuidas pangas eurole ülemineku testimist organiseeriti. Kuna ma polnud enne sellisele hulgale võõrastele esinenud, olid aplaus ning ettekande lõpus esitatud küsimused ja hilisem eraviisiline diskussioon väärt kõike seda harjutamist ja närveerimist. Soovitan julgelt teistelgi sedalaadi konverentsidel üles astuda. Saab nii esinemiskogemust kui ka uusi huvitavaid tuttavaid.

Tegu oli üritusega, mida tahaks kindlasti korrata. Suur tänu eestvedajatele!

Vaade minevikku ja pilk tulevikku ehk Üldkoosolek

2011-06-13T12:20:00.000-07:00

2. juuni õhtul toimus Eesti Testijate Liidu (ETL) Üldkoosolek. Eriliseks tegi koosoleku see, et esimest korda toimus koosolek kahes linnas korraga: Tartu liikmed olid ühenduses üle Skype!

Esimeses (ametlikus) pooles analüüsiti eelmise aasta tegevusi - seminarid, Testijate Päev, eksamite korraldamine, vaadati üle ja kinnitati majandusaasta aruanne. Edasi arutati 2011/12 tegemisi. Põhiline sündmus, milleks algavad ettevalmistused on 2012 juunis toimuv testimisalane konverents. Konverentsiga samal ajal organiseeritakse Tallinnas ka ISTQB üldkoosolek. 2011 plaanides on seminaridega jätkamine Tallinnas ja alustamine Tartus, külaskäigud liikmete tööandjate juurde ning kindlasti veel mõni huvitav reis mõnda naaberriiki tutvumaks testimisega tegelevate ettevõtetega. Kuna ETL on kasvanud juba päris suureks, siis valiti nõukogu (Raivo, Raimond, Risko, Urmo, Arvi), kes hakkab ergutama juhatust (Maili, Kaspar, Harles).

Peale ametlike otsuste tegemist liiguti edasi söögikohta Rucola, kus pitsasid testides mõtiskleti kuidas tegevust aktiviseerida ning liikmetele huvitavat tegevust pakkuda. Oli tore õhtu! Tuleb tore aasta! Aitähh kõigile osalejatele ja neile kes seekord osaleda ei saanud!

Saabusid czechtest 2011 materjalid

2011-04-08T23:55:00.000-07:00

See päev on nüüd käes! Kõik huvilised, kes tunnevad huvi teemade vastu, mida czechtest 2011 käsitleti, saavad nüüd neile pilgu peale visata. Materjalid laadisin üles googledocs-i, kel huvi saatke mulle kiri ja annan teile ligipääsuõigused. Programmi kava on kättesaadav siin. Mõned esitlused on veel puudu aga korraldajate info kohaselt pidid ka need lähiajal kättesaadavaks tehtama. Ja kindlasti on oodatud tagasiside siia blogisse arvamuste ja soovituste näol!

Mis vahet on teoorial ja praktikal?

2011-03-16T14:01:00.000-07:00

Eelmises blogis tegin ülevaate Tšehhi testimiskonverentsil saadud teadmistest. See oli teooria. Esmaspäeva õhtuks oli Kristjan Uba organiseerinud väikese testimisürituse, kus mina ja Ervin saime ülesandeks oma kompetentsust ühe pisikese programmi testimisel üles näidata. See oli praktika.

Ei jäänud oma testimisega rahule, ei jäänud. Vead, mis programmi olid sisse ehitatud, oleks pidanud tükk maad kiiremini kätte saama. Koju sõites analüüsisin, milles probleem oli. Vastus (piinlik tunnistada) oli lihtne - uisapäisa tegutsemine. Miks küll on nii, et kui on mõni suur projekt, siis mõtleme enne läbi, mida teha vaja on, aga kui on tegemist näiliselt lihtsa ülesandega, siis unustame planeerimise ära ja anname tuld? Ja saame kõrvetada.

Kui oleksin omandatud teooriat järginud, oleksin alustuseks vastanud küsimustele nagu:

Mis on mu testimise eesmärk?

Missugune on testimise plaan?

Mis riske ma püüan testimisega maandada?

Missugune on süsteemi arhitektuur, selle nõrgad kohad?

Mis vahendid võiksid testimisel kasuks olla?

Mis on testiideed?

Aga ma ei teinud seda. Kui oleks, oleks praktiline pool kindlasti paremini välja tulnud. Mida öelda kokkuvõtteks? Teooria on oluline. Ja Praktika on oluline. Üks ilma teiseta ei saa. Peame omandama teoreetilisi teadmisi ja siis neid praktikas rakendama. Omandama kogemusi, siis tuleb kompetentsus.

Aitähh Kristjanile ja Ervinile meeldiva õhtupooliku eest. Sain kindluse selles osas, et lisaks seminaridele, mis siiani on enamuses teoreetilisi teadmisi andnud, on vaja ka praktilisi, kus üheskoos testimisülesandeid lahendame. Võtan härja sarvist kinni ja organiseerin aprillis ära. Kui kellelgi on häid ideid, mida testida, võite julgelt teada anda!

Testimiskonverents Tšehhis - Osaletud!

2011-03-13T07:06:00.000-07:00

Läinud kolmapäeval seadsin sammud Tallinna lennujaama, et põgeneda mõneks päevaks kevadisse Prahasse, kus toimus iga-aastane testimisalane konverents czech test. Kus tegijaid seal nägijaid - lennujaamas kohtasin Raimondit, kes lubas mulle valusalt varba peale astuda, kui ma konverentsist pisikest kokkuvõtet ei kirjuta. Mis mul siis üle jäi, kui lubadus anda ja ära teha :). Järgnevalt leiate lühikokkuvõtte kuuldust - nähtust. Lähiajal riputan ülesse ka slaidid, kust juba detailsema ülevaate leida võib.

Czech Test oli kahepäevane konverents, millele eelnes üks päev praktilisi seminare. Ise osalesin ainult viimasel päeval ja õhtul oli kahju küll, et seminaridel ja konverentsi esimesel päeval osaleda ei saanud - tase oli väga hea. Tuntumad esinejad olid Lloyd Roden, Erik van Veenendaal ja Graham Thomas. Põhjalikumalt käsitleti konverentsil selliseid valdkondi nagu testijuhtimine, testidisaini tehnikad, agiilne testimine ja testide automatiseerimine.

Järgnevalt muljed ettekannetest, mida kuulasin:

Testing, so many problems but we have solutions don't we?

Tegijal juhtub. Aga kas sa õpid vigadest ja teed järgmine kord paremini? Halb on see, kui oleme laisad ja astume korduvalt samasse ämbrisse. Mitu testimisalast raamatut sul on? Kui tihti sa loed neid? Kas sul on testimisel eesmärgid? Plaan? Kas sulandud arendustiimiga? Need on mõned küsimused, mida peab endalt pidevalt küsima, et mitte arengus seisma jääda ja kvaliteetset tulemust toota.

Top 10 challenges in Aerospace software testing

Projektides osalevad sajad partnerid, kõike ei ole võimalik testida, vead võivad lõppeda surmaga, projektid kestavad > 10 aastat, selle käigus muutuvad pidevalt nõuded, ... - kas ei ole mitte tore? Kuidas sellega toime tulla? Slaididel on märksõnad, millele tähelepanu pöörata ilusti olemas.

Risk-based Testing in Practice

Lihtne ülevaade, kuidas riskipõhist testimist läbi viia. Oluline seejuures on riski mõju ja tõenäosust mitte korrutada vaid kasutada maatriksit (väikse tõenäosuse, kuid suurema mõjuga viga on hullem kui suure tõenäosusega juhtuv, kuid väiksema mõjuga viga. Kas pole?). Kuidas võiksid testiplaan ja -aruanne välja näha? Lihtsad ja kliendile arusaadavad!

A Hitch-Hikers Guide to the Software Testing Galaxy

Don't Panic! Vaata film uuesti läbi või loe raamatut. IPad, Galaxy Tab ja wikipedia on juba ammu leiutatud - peab ainult veidi mõtlema, kuidas neid vahendeid igapäevases töös informatsiooni ja teadmiste hankimiseks/jagamiseks kasutada.

"Test automation trilogy"

Automatiseerimine on hea, aga mis ohud meid valitsevad? Kuidas neid vältida? Testide automatiseerimine on arendusprojekt ja sellele kehtivad kõik arendusprojekti reeglid. Testija töö on ikka testimine, mitte vahendi haldamine. Peab vaatama, et need kaks ülesannet üksteist segama ei hakkaks.

Testide automatiseerimine ei ole ainult vahendi juurutamine - oluline on määratleda eesmärk, paika panna strateegia, pöörata tähelepanu testiandmetele, keskkondadele ja konfiguratsioonihaldusele. Samuti ei tohi unustada kasumlikkuse analüüsi - kuidas täpselt automatiseerimine aitab meil tõhusamalt tööd teha? Ja loomulikult pidev tagasiside vastamaks küsimusele - kas me liigume eesmärkide saavutamise suunas?

Kokkuvõttes: Tegemist oli väga sisuka ja hästi korraldatud üritusega. Esinejate kvaliteedilt ei jäänud üritus kindlasti alla suurele vennale EuroSTAR-le ja võttes arvesse hinda, võin öelda, et tulu/kulu suhe oli väga hea! Tasub silmad lahti hoida nii selle kui järgmiste sarnaste ürituste osas. Näiteks 26. mai Riias lõunanaabrite korraldatud Theory and Practice of Software Testing.

Seminar: testimise automatiseerimine Seleniumiga

2010-04-28T05:12:00.000-07:00

27. aprillil toimus Testijate Päeva järelseminar teemal "Testimise automatiseerimine kasutades Seleniumi". Temaatilised ettekanded olid Aqriselt ning Conformiq'lt ning vahepalaks vesteldi vabas vormis osalejaid huvitavatel teemadel. Järgnevalt lühike kokkuvõte sellest, mida räägiti ehk kokkuvõte arutletud teemadest:

Kuidas salvestada ja hallata ekraanipilte? (2 häält)
Seleniumil endal on täiesti standardsed vahendid ekraanipildi loomiseks. Üks variant on lehe source htmli maha salvestamine ja publitseerimine.
Kuid seleniumil on ka meetodid nagu captureEntirePageScreenshot (lehe põhine, töötab ainult Firefoxis) ja captureScreenshot (Operatsioonisüsteemi põhine).

Who write selenium tests? If developer writes Selenium tests, what tester does? (2 häält)
RIK arvab, et arendajad ei tohiks Seleniumi teste kirjutada, kuna nad on oma koodis kinni ja vigu tuvastavaid teste nad ei leia.
Aqris: kui testcase-d on ette kirjutatud siis võiks arendajad neid kirjutada ja testijad saaksid neid teste täiendada või leida programmis olulisemaid vigu.
Conformiq: testid tuleks disainida mudeli põhiselt. Mudeli peaksid tegema arendajad ja testijad koos.

Kuidas otsustada, mida ja kui palju tasub automatiseerida? (2 häält)
Agiilses arenduses: kõrge prioriteediga acceptance testid (prioriteedi ütleb klient, äripool)

Tavaline arendus, jätkuprojekt: salvestada staatilised testid ja need taaskäivitada. Stabiilsed võtta testidena sisse.

Kuidas paremini organiseerida/üles ehitada testide struktuuri? (3 häält)
Testide loomisel tuleb kasutada helperklasse, tegelikud testide väljakutsed on lühikesed, kogu töö tehakse helperklassides. Koodi haldamine on siin oluline.
Testide loomisel on variant kasutada ka PageObjects metoodikat (http://code.google.com/p/selenium/wiki/PageObjects).
Testide struktureerimiseks võib kasutada ka raporteerimise vahendeid. Näiteks kasutada Java-s koodi annoteerimist ja selle läbi ette anda nii testi andmeid kui ka defineerida testi eel- ja järeltegevusi. TestNG võimaldab sellist lähenemist.

Millises agiilse arenduse etapis tasuks hakata teste automatiseerima? (4 häält)
Sõltub projektist ressurssidest. Kui klient nõuab siis muidugi tuleb igal juhul kirjutada.

Kui järgida test-driven developmenti siis tuleks testid kirjutada juba prototüüpimise faasi (kui see faas on olemas). Kui prototüüpimist ei toimu, siis tuleb ikkagi oodata kuni on valmis vähegi stabiilsem keskkond.

Kui prototüüpimist ei ole siis võiks eesmärk olla: ASAP (as soon as possible), reaalsuses tuleb aga kuskil sprintide vahepeal, kui keskkond on natuke stabiliseerunud.
Andres: kui sprintide käigus tehakse kräppi koodi siis ei ole mõtet teste kirjutada.

Toodi välja probleem: kui automatiseerida teste sprintide lõikes siis läheb asi käest, ei jõua enam. Testide arendamise tuleb ka aega varuda ja planeerida sprindi sees.
Probleemiks: on ka testide muutmine, võib minna aina aja kulukamaks. (Tuleks üle vaadata testide disain?)

Idee: testijad võiksid arendajatega koos paika panna elementide id-d. Nii saaks testija juba varakult kokkulepitud id-dega hakata teste kirjutama.

Testi raportid (11 häält)
How to create human-readable test report? (5 häält)
Milliseid vahendeid paremini kasutada Seleniumi testraportite loomiseks? (3 häält)
Testide astmelisus (testcase, test, testsuite) (3 häält)

Vahendid, mida kasutatakse raporteerimiseks:
EMT - kostümeeritud testng, mis võimaldab luua veebipõhiseid raporteid. Lisaks võimaldab vahend komplekteerida test suite ja testide järjestusi. TestNG-ga saab realiseerida ka data-driven testimist ehk kui testis assert ebaõnnestub siis võetakse testi andmete failist uus test koos testandmetega.

RIK
kasutab isetehtud framework, mis töötab anti peal. Ant võtab sisse testsuite-i ja genereerib custom xslt template alusel vajaliku arusaadava raporti.
Mõned mõtted siia frameworki juurde:

testsuite, testcase (1 class file per testcase), tests - selline peaks olema tegelik struktuur, testide astmelisus
Vaikimisi on nii: testsuite, tests, testcases
Tuleks hallata ainult testide struktuuri (testid ise on viidud helper klassidesse) – nii oleksid testide koostamine justkui legomäng, kus vajalikud tegevused pannakse kokku eri klotsidega ja edaspidiselt on vaja mitme või mitmekümne testi haldamiseks muuta vaid üht/mõnd klotsi - kui miski testitavas süsteemis peaks muutuma.
Kui testimiseks on kasutatav vaid IE siis peab kahjuks iga testija oma valgete kätega kõikide elementide ID´d ise sisestama (kas siis otse testi või helper klassidesse - olenevalt testija testsüsteemi keerukusest)
Iga test loob oma algandmed käivitamata eeltingimuste täitmisel kontrolle - igal klotsil on vastav väli, mis ütleb kas on tarvis selle klotsi puhul teha ka kõik kontrollid või tuleb eeltingimustena selle klotsi tegevused teha ilma põhjalike kontrollideta, lisaks toimub testi jooksmisel kontrolltingimuste ja eestikeelsete veateadete kogumine, kontrollid viiakse läbi alles testi lõpus, siis kui kõik tegevused on tehtud, testide kontrolltingimused on seotud ID´dega (mitte elementide ID´d vaid kontrollidel on oma ID´d mida saab testdokumentatsiooni lihtsalt nummerdada))

Ruby ja Rspec:
Rspec suudab genereerida vaikimisi juba väga häid raporteid. Raportites on vaikimisi vea korral olemas lehe html source, screenshot, diff ja kui testi käigus salvestati mingi fail siis ka see on testi juures kätte saadav.

Lauda jäänud küsimused/probleemid

Selenium ja threadid
Kiiruse probleemid
IE salvestaja (nagu on Firefoxil)?
Seleniumi crashi mure (ei lasta sessiooni kinni)
Paroolide salvestus faili ning nende lugemine
Mingid characterid on sisestamatud/trükitamatud
Selenium startup akna mõõdustamine (FIXED-SIZE)
Millised on levinumad probleemid, mis on ette tulnud? Kuidas neid lahendati? Kas on teadaolevaid lahendamata probleeme seotud Seleniumiga?
Kas Seleniumiga saab mõõta CPU ja mälu kasutust? Kas saab ette kirjutada veebilehel navigeerimise stsenaariumi?
Kuidas võiks olla testimise protsess üles ehitatud automatiseeritud testimise korral? Millest võiks alustada?
Kuidas kõige paremini disainida testide kogum (testsuite)? (töömaht ja selgus loomisel ning muutmised oleksid minimaalsed)
Millised võivad olla põhjused, et test kord jookseb läbi ja siis jälle annab vea?
Mis vahe on FFPluginil (IDE) ja RC vahel? (funktsionaalsus, näiteks kui ma tahan testida ainult FF browseris)
Faster test runs
Kuidas on äripool (klient) rahul automaatsete testide koostamise kohustusega ning kuidas nad hakkama saavad (Kui tihti satuvad probleemide otsa)?

Vaata ette, EuroSTAR! Eesti Testijate Päev kogub tuure

2010-04-02T08:42:00.000-07:00

Kui järgmiseks telehitiks saaks "Eesti otsib Supertestijat", siis esikolmiku oleks kindlasti leidnud naljakuu esimesel neljapäeval (01.04) toimunud Eesti Testijate Päevalt. See kujutas endast konverentsilaadset üritust, kus testimise eri valdkondade spetsialistid andsid ülevaate oma praktilistest töödest ja tegemistest.

Nagu telehitile kohane, oli saal täis noori fänne, kes ühelegi teemale tormilist kiitust avaldamata ei jätnud. Minu suurima aplausi pälvisid kaks esitlust:
• turvatestimine (Mait Peekma) ja
• veebipõhiste rakenduste automaatne testimine Seleniumiga (Raimond Sinivee).
Kes soovib teada ülejäänud teemasid, võib heita pilgu siia.

Mis siis pani mul kui korraldajal silma särama? Loomulikult oli väga meeldiv näha Swedbanki söökla külastajaid hämmeldunud nägudega vaatamas kohvitassidega ringi sebivaid ja innukalt vestlevaid testijaid. Vaheaegadel istusid igas võimalikus nurgas koos Eesti eri paigust kohale tulnud testijad, vahetades elavalt muljeid ja kogemusi.
Kindlasti ei saa mainimata jätta meie staaridest esinejaid, kes suutsid muidu tuimades eestlastes esile kutsuda rõõmsaid naerupahvakuid ja nad samas ka mõtlemapanevaid küsimusi esitama panna.

Kuigi meil puudusid kohtunikest Heidy Purga, Rein Rannap ja Mihkel Raud, avaneb kõigil osalejatel peagi võimalus oma hinnang anda, kui nende postkasti potsatab tagasisideküsitlus.

Quo vadis, Eesti Testijate Päev? Kas varasügisel tuleb uus üritus või peab aasta-paar ootama? Mina seda küsimust ei esitaks, vaid toetaksin nii käte kui ka vaimuga juba järgmise testijate päeva korraldamist!

Mis muud mul veel öelda oleks? Eks ikka suured tänud kõigile osalejatele, sügav kummardus meie säravatele esinejatele ning loomulikult kestev ovatsioon ürituse korraldajale – minule :D!

Eesti testijate Päev!

2010-03-18T01:45:00.000-07:00

Teil on hea meel edastada ETL-i nimel kõigile blogi lugejatele ja ametivendadele kutse osalemaks ETL-i korraldataval Testijate Päeval, mis toimub 01.04.2010 Tallinnas, Pärnu mnt. 139/ Kohila 8 asuvas Swedbanki IT majas.

Testijate Päev on praktilise suunitlusega ning päeva eesmärgiks on pakkuda osalejatele võimalust kokku saada ja kuulata oma ala spetsialiste rääkimas praktilistest lahendustest testimisega seotud probleemidele. Siinkohal on tähtis roll mängida ka kuulajatel: luues diskussiooni ning jagades oma temaatilisi kogemusi.

9:30 - 10:00 Kogunemine - hommikukohv ja snäk
10:00 - 10:15 Sissejuhatus

10:15 - 11:45 Turvatestimine
Esineja: Mait Peekma
Ettekanne, kust iga osaleja lahkub vähemalt ühe uue testijuhuga oma testide paunas. Alustuseks näited äriloogikas pesitsevatest vigadest. Seejärel keskendutakse veebirakenduste haavatavustele - ka sellistele, mida leidub rohkem kui pooltes dünaamilist sisu pakkuvates veebisaitides. Lisaks saab teada, mis on turvatestija motivatsiooni võti ja näha testimise etappeHollywoodi näitel. Ettekanne lõpeb ülevaatega ründetestimisest - muuhulgas sellest, kuidas sportautosid vasakule pannes seaduslikult leiba teenida.

11:45 - 13:00 Lõuna

13:00 - 13:45 Üllatusteema - testimine ja kvaliteet ITst väljaspool

13:45-14:30 Kuidas testida uut ID kaardi baastarkvara?
Esineja: Maili Markvardt
Kas teadsite, et iga päev antakse üle 40 000 digiallkirja? ID kaardiga isikutuvastusi on päevas aga üle 70 000. Riigi Infosüsteemide Arenduskeskus kuulutas 2008. aastal välja hanke "uue ID kaardi baastarkvara" arenduseks. Üheks uue tarkvara olulistest eesmärkidest oli võimaldada ID kaardiga seotud funktsionaalsuste kasutamist erinevatel Windows, Linux ning Mac platvormidel, et ID kaardi elektroonilist kasutust veelgi populariseerida. Paralleelselt arendushankega viidi läbi ka teine, Eesti mõistes ebatüüpiline hange: sõltumatu kvaliteedikontroll ning tugi tarkvaratulemite vastuvõtutestimisel. Käesolev ettekanne valgustabki uue ID kaardi baastarkvara vastuvõtutestimisega seotud küsimusi ja vastuseid:
· Kuidas testida efektiivselt kriitilist, keerukat ja mahukat multiplatvormset tarkvara?
· Kas automatiseerimine aitaks hea tulemuse saavutamisele kaasa?
· Kuidas optimeerida testide arvu, kui kõigi soovitud testide läbiviimine oleks liialt kulukas?
· Mis on see, mida ei ole ainuüksi testimisega võimalik saavutada, ja miks?

14:30 -14:45 Kohvipaus

14:45-15:30 Agiilne arendus- ja testimisprotsess
Esineja: Valli Rennig
Agiilne arendus/testimine kõlab küll uhkelt, kuid mida see sõna "agiilne" üldse tähendab? Milline on agiilne arendus ning kuidas testimine agiilses arenduses välja näeb? Kuidas võiks testija kohanduda agiilse arendusega? Valli Rennig annabki ülevaate agiilse arendusprotsessi ja testimise põhimõtetest baseerudes enda kogemusele ettevõttes Helmes.

15:30 - 17:00 Veebipõhiste rakenduste automaatne testimine Seleniumiga
Esineja: Raimond Sinivee
Organisatsioonidel, kes on kliendid tarkvaraarendus firmadele, on raske leida infot tarkvara arenduse kohta. Kliendid peavad testima rakendusi enne kui nad neid vastu võtavad, aga kuidas seda teha?
Probleem on selles, et kõik protsessid ja tehnoloogiad on tehtud silmas pidades tarkvara arendajate vajadusi ja eesmärke. Klient ei saa kasutada unit taseme või teisi tehnilisi meetodeid kui kogu arendus on väljast sisse ostetud. Kliendile jääb vastuvõtmise testid, kuid see on tavaliselt ettekannetest välja jäetud kuna pole arendaja vajadus.
Ettekanne räägib veebipõhise tarkvara testide automatiseerimise kogemusest firmas, kus kogu arendus on sisse ostetud. Peamiselt oli kolm põhimõttelist valikut või probleemi:
· Valikute tegemine - mida automatiseerida ning mis vahendeid kasutades?
· Probleemid Seleniumiga ning kuidas neist üle saada?
· Kuidas juurutada uut protsessi olemas olevasse?
Need küsimused ei ole tegelikult uued ja ülal toodud valikutest on kirjutatud raamatuid, aga ikka tulevad nad ette. Uus on vaade nendele küsimustele - tarkvara kasutaja vaade.Inimene, kelle jaoks on automatiseerimine uus teema, saab ettekandest häid näpunäiteid, millised probleemid võivad tulla. Need, kellel on juba kogemused kõnealuses valdkonnas, saavad ülevaate probleemidest kliendi seisukohalt.

Üritus on kõigile tasuta!

Registreeruda palume hiljemalt 24. märtsil läbi järgneva vormi: http://testijatepaev.eventbrite.com/
Ühtlasi leiab sealt ka vajalikku lisainfot ürituse kohta.

Kuna kogemusi vahetada ilma osalejateta on raske, siis ootame Teid aktiivselt osalema Testijate Päeval ning andma oma panust diskussiooni loomisse!

Kui te teate kedagi keda see üritus võiks huvitada siis edastage see kutse julgelt ka temale!

Kursus Tarkvara automatiseeritud testimine TTÜs

2010-01-22T14:37:00.000-08:00

TTÜs tuleb 2009/2010 kevadsemestril (alates veebruarist) lugemisele aine Tarkvara automatiseeritud testimine "uues kuues". Kandvaks teemaks saab sel aastal olema TTCN-3 nimeline testiarendustehnoloogia (www.ttcn-3.org). TTCN-3'e võib vaadata kui spetsiaalset programmeerimiskeelt, mis on loodud pidades silmas automaattestimise eripärasid. Kasutades TTCN-3'e on võimalik automatiseerida testimist erinevatel testitasemetel (komponenttestid, integratsioonitestid, süsteemitestid, süsteemide integratsioonitestid) ning erinevates rakendusvaldkondades - alates pangandusest, telekomist lõpetades autotööstusega (http://www.ttcn-3.org/SuccessStories.htm).
TTCN-3 on näiteks aktiivses kasutuses ETSI (European Telecommunications Standards Institute) vastavustestides:
- Session Initiation Protocol (SIP) for Voice over IP (VoIP),
- IPv6 (Core, Mobility, Security),
- Digital Mobile Radio (DMR) and digital Private Mobile Radio (dPMR) jne

Aine lektoriteks on palutud TTCN-3 tehnoloogia praktikud Elviorist (www.elvior.ee).
Kursus koosneb moodulitest (kokku 4 moodulit)
- TTCN-3 alused (TTCN-3 - Testing and Test Control Notation Version 3)
- TTCN-3 edasijõudnutele
- TTCN-3 liidestamine SUT'ga (System Under Test; süsteemiadapterite-, platvormiadapaterite-, väliste koodekite-, väliste loggerite ehitamine; testide haldamise standard ja selle kasutamine TTCN-3's)
- TTCN-3 arendusplatvorm MessageMagic

Kursus lõpeb arvestusliku projektiga - töötav TTCN-3 testikeskkond koos projekti seletuskirjaga on arvestuse saamise kriteeriumiks. Elvior garanteerib kõigile osalejatele MessageMagic'u (http://elvior.ee/messagemagic/general) litsentsi 2009/2010 kevadsemestriks.

Lisaks "põhiteemale", milleks on TTCN-3, on plaanis kaasata täiendavaid tarkvara testimise automatiseerimist käsitlevaid loenguid erinevatelt spetsialistidelt (koormustestimine, mudelipõhine testimine, automaattestimine kui protsess, automaattestimise mõõtmine jne).

Kursuse toimumise täpne aeg, koht ja loengute kava selgub lähiajal ning värskeim info on kättesaadaval kursuse kodulehelt: http://cs.ttu.ee/tiki-index.php?page=ITI8901
TTÜ tudengid saavad kursusel osaleda vastavalt oma õppekoha tingimustele, kõigil teistel soovijatel on kursust võimalik sooritada Avatud Ülikooli kaudu (http://www.ttu.ee/au).

Osalejate hulga täpsustamiseks palun potentsiaalsetel huvilistel anda mulle meili teel tagasisidet: maili[at]asaquality.ee, ka on samal aadressil oodatud kõik temaatilised küsimused!

Seminar intellektuaalne omand ja tarkvara õiguskaitse 10. veebruaril 2010

2010-01-20T08:18:00.000-08:00

Järgmine Eesti Testijate Liidu seminar teemal "Intellektuaalse
omandi õiguskaitse (IT vaatepunktist) ja tarkvara õiguskaitse" toimub kolmapäeval, 10. veebruaril 2010 algusega kell 17:45 kuni 19:30. Üritus leiab aset Helmese ruumides - Lõõtsa 6B (Ülemiste keskuse taga). Parkimine on tasuta.

Millised oleksid teie küsimused antud valdkonnas, millele te tahaksite vastuseid saada? Eesti Testijate Liit on välja mõelnud järgmised küsimused, mis võiksid seminari jooksul vastuse saada:

- Kas testija arendatavad testimise abivahendid (koormuse
generaatorid, testiandmete generaatorid vms) on käsitletavad kui tarkvara? See "testimiseks kasutatav tarkvara" võib olla loodud kasutades teiste osapoolte loodud testivahendeid, kuid ka "from scratch". Millised on selliste testimisega seotud tarkvaratulemite õiguskaitse võimalused?

- Kindlasti agaramad meist omavad ideesid, kuidas oma tööd veelgi
mugavamaks teha ning üheks võimaluseks võib olla laiemale ringkonnale
kasutamiseks mõeldud testitööriistade väljatöötamine ning
realiseerimine (testimisega seotud tootearendus).
Ka see eeldab teadmisi, mis seonduvad nii intellektuaalomandi kui ka
patenteerimisega, et oleks infot ja julgustust oma mõtetega edasi
minna, nende realiseerimisele.

Neile ning paljudele teistele küsimustele on valgust heitma kutsutud
Hele Karja ja Tõnu Nelsas.

Hele Karja on advokaadibüroo Glimstedt Straus & Partnerid
(http://www.glimstedt.ee) intellektuaalse omandi/IT töörühma liige,
kuhu lisaks kuulub veel ka professor Heiki Pisuke.

Hele tutvustab intellektuaalset omandi valdkonda. Orienteerivad teemapunktid on järgmised: intellektuaalne omand ja selle liigitumine, intellektuaalset omandi valdkonda reguleerivad õigusaktid, mida intellektuaalne omand kaitseb (nt arvutiprogramm) ja mida ei kaitse (nt ideed), intellektuaalne omand ja IT - andmebaasid ja arvutiprogrammid autoriõiguse seaduse kontekstis, näidiskaasus.

EAS koostöös advokaadibürooga Glimstedt Straus & Partnerid on andnud välja Eesti esimese intellektuaalse omandi kaitset käsitleva kaasuste kogumiku, mis on mõeldud kõigile ettevõtjatele. Kogumiku kohta informatsiooni saab sellelt aadressilt http://www.glimstedt.ee/ee.php/publikatsioonid/artiklid (artikkel
2008.12.16).

Tõnu Nelsas on AAA Patendibüroo (http://www.aaa.ee) patendivolinik. AAA Patendibüroos alustas ta tööd esilagu patendispetsialistina, kuid alates aastast 2000 on ta seal patendivolinik. Omab Euroopa patendivoliniku tiitlit, mis annab õiguse esindada leiutajaid või patenditaotlejaid, patendi omanikke Euroopa Patendiametis.

Tõnu tutvustab tarkvara õiguskaitse teemat: kaubamärk ja selle taotlemine. Tarkvarapatentide õiguskaitse süsteem riigiti, piirkonniti.

Seminarile on kutsutud kõik ETL liikmed ja muidugi ka mitteliikmed. Mitteliikmetel palume arvestada sümboolse tasuga - 150 EEK seminaril osalemiseks, mis tasutakse kohapeal sularahas või arvega. Viimasel juhul palun registreerumisel märkida maksja firma nimi ning kontaktaadress.

Oma osalemissoovist teatamiseks saatke kiri aadressile valli[at]testijateliit.ee
hiljemalt 5. veebruariks 2010.

Peatse kohtumiseni!

Eesti Testijate Liidu uusaastatervitus 2010

2010-01-04T12:27:00.000-08:00

Head liikmed ja sõbrad!

Uut aastat on igati sobilik alustada heade soovidega, väikese tagasivaatega eelmisele aastale ning uute plaanide seadmisega.

Möödunud 2009. aasta oli kindlasti uudne ja täis väljakutseid meie kõigi jaoks. Testijate Liidu pere kasvas eelmise aasta jooksul peaaegu poole võrra: 19-lt 36-le. Hoo sai sisse ka seminaride sari - aasta jooksul oleme kohtunud paljude huvitavate esinejatega ning laiendanud oma silmaringi erinevates põnevates valdkondades. 2009. aasta kevadel akrediteerisime esimese ISTQB Foundation Level Certified Tester koolituse Eestis ning 2009. aasta lõpuks olime välja andnud juba 29 selle taseme sertifikaati. Esimesed sammud koostöös on loengusarjade näol tehtud nii Eesti Infotehnoloogia Kolledži, Tallinna Tehnikaülikooli kui Tartu Ülikooliga.

2010. aasta lubaduste hulka kuulub kindlasti püüd tuua oma liikmeteni veelgi huvitavamaid teemakäsitlusi meilt ja mujalt seminaride ja koolituste näol. Koostööle testimisalaste koolituste osas loodame ka Info- ja Kommunikatsioonitehnoloogia Liiduga (ITL), kelle korraldatud koolitusvajadusi puudutavates mõttekodades olid ka ETLi liikmed esindatud. Jätkame ka ISTQB-suunalist tegevust, hoides Eesti testimise-maailmakaardil.

ETLi juhatus on jätkuvalt huvitatud ideedest, kuidas ETLi tegevust liikmete jaoks veelgi kasulikumaks muuta (seminarid, koolitused, konverentsid, ühisüritused, meediakajastus jne). Kõik mõtted ja soovitused on teretulnud aadressil juhatus [at] testijateliit.ee. Heade ideede autoritel on oht saada karistatud erinevate üllatusauhindadega ;-)

Alanud 2010. aasta on lugemisaasta - loeme, õpime ja arendame ennast jätkuvalt üheskoos!

Eesti Testijate Liidu juhatus soovib kõigile oma liikmetele ladusat ja avastusterohket uut aastat!

Uusaastatervituse leiate aadressilt
http://www.testijateliit.ee/ftp/Uusaastatervitus2010.jpg

2009-10-01T21:54:00.000-07:00

2009. aasta juunis käisin Eesti Testijate Liitu ja tarkvara testijate tegevust tutvustamas Eesti Infosüsteemide Audiitorite Ühingus (EISAÜ). 30. septembril toimus ETL seminaride sarja raames vastukülaskäik-seminar: EISAÜ poolt olid esinejateks Jaak Tepandi ning Mari Seeba, kes tutvustasid meie liikmetele EISAÜ tegevust, audiitori professiooni ning auditeerimise põhimõtteid. Lisaks tutvustas Mari ka Cybernetica AS poolt välja antud raamatut Turvarisk, mis annab süstemaatilise ülevaate infoturbest kui distsipliinist.

Küllap mõnigi kohalviibija tabas sarnasusi auditeerimise ning testimise vahel:

- Nii audit kui testimine algavad eesmärkide püstitusest - millistele küsimustele soovime vastuseid saada? Vastavalt sellele valitakse sobivate oskustega meeskond ja tegevused ning nende detailsusaste.

- Nii testimise kui auditeerimise (üheks) tulemiks on hinnang riskidele (jääkriskile) - kui valmis ollakse oma eesmärkide täitmiseks, mida on vaja paremaks muuta?

- Nii testimist kui auditeerimist saab läbi viia erineva põhjalikkusega. Tüüpiliselt mida detailsemaks minnakse, seda pistelisemaks muutub ka kontroll.

- Nii auditis kui testimises on oluline testija/audiitori sõltumatus. Kui aga testija sõltumatuse tasemeid on erinevaid (nt testija arendusmeeskonnas vs kolmanda osapoole testija), siis audiitor peab olema sõltumatu nii auditeeritavast ettevõttest kui rakendusest.

Põhierinevustest jäid kõrva järgnevad tähelepanekud:
- Tegevuste skoop on erinev: Kui testimine keskendub peaasjalikult nõuete testitavuse ja nõuetelevastavuse kontrollile, siis auditi käigus uuritakse ka esitatud nõuete mõistlikkust ning seadustele, standarditele vms vastava valdkonna regulatsioonidele vastavust.

- Tüüpiline testimine ei uuri tarkvara ja inimeste tööprotsesside omavahelist sobivust, kuid auditile on see üks olulisi uurimisobjekte. Üldistatult võibki öelda, et testimine keskendub peamiselt tarkvarale, audit aga organisatsiooni töökorraldusele ning tarkvara rollile selles.

Täpsemat infot Eesti Infosüsteemide Audiitorite Ühingu, audiitorite ja auditeerimise kohta leiate Mari Seeba ja Jaak Tepandi ettekannetest.

Lõpetuseks tänan Eesti Testijate Liidu poolt esinejaid ja osalejaid ning loomulikult meie lahket võõrustajat Skype'i! Üldkorralduse ja hõrgutava snäkilaua eest lähevad ilmselt kõigi kohalviibinute tänusõnad Vallile ning Ruthile!

Muljeid Eesti Testijate Liidu avaseminarilt

2009-09-11T06:31:00.000-07:00

Käies seminaridel, mis tutvustavad tehtud töid ja tulevasi plaane, on saanud harjumuseks oodata plinkivaid Powerpointi slaide ja kuiva loetelu sellest, mis tehtud-tegemata. Õnneks ei olnud see standard paikapidav Eesti Testijate Liidu seminaril.

Lähenedes IT Kolldžis seminari tarbeks broneeritud ruumile, kajas juba koridoris minuni rõõmus ja asjalik sumin. Uksel kaastestijaid, kuigi mõnel tundus programmeerija või projektijuhi nägu olevat, tervitav ja nimesilte jagav Eesti Testijate Liidu juhatuse liige lõi kohe alguses mulje oodatusest ning asjalikkusest. Meeldivaks üllatuseks ja nii mõndagi kaastestijat seisatama panev ning pea viltu mõtisklema jättev seinale kuvatud esimene slaid. Ei, see ei olnud tavapärane „selle-ja-selle-organisatsiooni-avaseminar-sellel-ja-sellel-kuupäeval“ või „teemaga-seonduv-nali-mis-tegelikult-eriti-nalajakas-ei-ole“ tüüpi slaid vaid postimpressionistlik maal tuntud maalikunstnikult Paul Gauguin. (Kahjuks pean tunnistama, et need faktid ja hiljem mainitavad faktid pidin Wikipedia abiga selgeks saama). Nagu hiljem selgus, ei olnud ma meeltesegaduses sattunud „Postimpressionistliku maailmapildi kujunemise, õitseaja ning hääbumise anlüüs“-i seminarile vaid eelnimetatu oli lihtsalt näiteks, kuidas testija ameti juures nii tähtsal kohal olev loovus end ilmutas seminari läbiviijate juures.

Nii nagu maal (see oli Paul Gauguin „Kust me tuleme? Kes me oleme? Kuhu me läheme?“), nii ka seminar vastas kolmele küsimusele, mis olid iga uue kohaletulnu huulil: „Mida te teinud olete?“, „Kes te sellised olete?“ ja „Mida te plaanite?“. Lisaks tavapärasele ja arusaadavalt ka kohustuslikule osale teemal tehtud/tegemata tööd (Kui soovite täpsemalt lugeda siis slaide saab näha siit) tuli meeldiva üllatusena, et organisatsioon ei lähene testimisele ja testija elukutsele, kui teada-tuntud "asjale" vaid üritab vastata küsimusele „Mis teeb testijast (lad. k. testicus regularis) Testija?“. Esimesed sammud selle küsimusele vastamiseks olid juba tehtud. Nimelt on ETL liitunud rahvusvahelise organisatsiooniga International Software Testing Qualifications Board (http://www.istqb.org/), mis minu arvates on tähtis kahest seisukohast.

Esiteks loob see usalduse ja kindluse ETL-i suhtes: tegemist on organisatsiooniga, mis ei tegutse vaid Eestis ja üksi, vaid on millegi suurema ja tunnustatuma liige. Teise olulise aspektina tooks välja aktiivse ETL-i osalemise ISTQB erinevates töögruppides, mis kujundavad testimismaastikku rahvusvahelises plaanis, luues nii võimaluse IGALÜHEL osaleda testimise kui elukutse kujundamisel. Selline võimalus peaks olema midagi, mida iga oma ala tõsine professionaal peaks soovima ja tegema pingutusi selleni jõudmaks.

Lisaks koostööle ISTQB-ga aitab testimist edasi viia tihe koostöö Eesti ülikoolidega (Tallinna Tehnikaülikool, IT Kolledž ja Tartu Ülikool), andes Eesti noortele võimalust saada testimise alased teadmised juba varakult ning mis seal salata - üheks tagamõtteks on istutada testimise
pisik tulevastesse IT professionaalidesse juba varakult. Märkimisväärsemate edulugudena jäid kõrva loengute sarjad IT Kolledžis, kus kuuldavasti lõppenud loengud ovatsioonidega ning Tartu Ülikooli omapoolne huvi, et keegi tuleks ja loeks neile testimisest ainet. Ning loomulikult - kes oleks selleks parem kui ETL.

Eelmisel hooajal on edukalt käima läinud ka ETL liikmetele mõeldud seminaride sari - 2008/2009 hooajal toimus 6 seminari erinevatel päevakajalistel teemadel. Uuel hooajal on plaanis jätkata, kuid kõige suurema kasu saavutamise nimel on äärmiselt oluline, et ka liikmetelt
(ja potentsiaalsetelt liikmetelt) tuleks sisendit huvitavate ja vajalike teemade osas. Olge aktiivsed oma soovidest-huvidest teada andma - kasvõi sellesama postituse kommentaarides!

Täpp "i" peal, mis kohe tõestas kas selliste ürituste ja organisatsioonide tõelist kasu, oli põnev keskustelu ümber mõnusa snäkilaua. Oli näha, kuidas vestlused testimisest haarasid seminari nii külastanud akadeemikuid kui ka noori testijaid, kes elavalt kogemusi vahetades ei raatsinud lõpetada snäkipausigi. Minu arvates on just sellised kogemuste vahetamine ning ideede rutamine peamiseks väärtuseks elukutse esindajaid koondavate organisatsioonide üritustel.

Lõpetuseks soovin tuult tiibadesse ETL-ile ning loodan, et soodsad lõunatuuled kannavad selle tänuväärset tööd tegeva organisatsiooni tuleval aastal uutesse kõrgustesse!

Raivo Päts
ETL tegevliige

Eesti Testijate Liidu 2009/2010 hooaja avaseminar toimb 9. septembril

2009-08-28T23:45:00.000-07:00

9. septembril, Testijate päeval toimub Eesti Testijate Liidu 2009/2010 hooaja avaseminar. Osalema on oodatud nii meie olemasolevad liikmed kui kõik meie tegevusest huvitatud isikud, kes soovivad end tarkvara testimise vallas arendada või kaasa lüüa valdkonna arendamisel. Seminaril tutvustame ETLi eesmärke, tegemisi, uue hooaja plaane ning räägime, kuidas meie tegevustes kaasa lüüa saab.

Kogunemine: 18:00-18:30
Algus: 18:30
Planeeritav kestus: 2 tundi
Kohtumispaik: IT Kolledž (Raja 4C), ruum 316

Oma osalemissoovist palume teatada hiljemalt 02.09 aadressil info@testijateliit.ee.

Eesti Testijate Liit asutati 31.märtsil 2008 tarkvara testimisest ning sellega seonduva informatsiooni jagamisest huvitatud eraisikute poolt. 2008/2009 hooajal kuulus ETLi ridadesse 33 erineva taustaga professionaali ning toimus 6 liikmetele mõeldud seminari. Eesti Testijate Liit on alates aastast 2008 rahvusvahelise testijate organisatsiooni ISTQB (www.istqb.org) liige ning tegeleb testijate sertifitseerimisega Eestis vastavalt ISTQB õppekavadele.
Lisainfo Eesti Testijate Liidu kohta www.testijateliit.ee ja http://testijateliit.blogspot.com.

ETL külas Eesti Infosüsteemide Audiitorite Ühingul

2009-06-21T03:12:00.000-07:00

18.juunil 2009 oli mul suurepärane võimalus esineda Eesti Testijate Liitu tutvustava ettekandega Eesti Infosüsteemide Audiitorite Ühingu (EISAÜ) igakuisel kokkusaamisel.

Juba ettekande koostamisel selgus, et ETLi ja EISAÜ näol on tegemist küllaltki sarnaste organisatsioonidega - koondame oma ridadesse eriala spetsialiste ning toetame professionaalset arengut. Samuti on audiitoritel ning testijatel võimalik teineteist täiendades ka koostööd teha. Audiitorid keskenduvad süsteemi ja tema keskkonnaga seotud riskidele, mis on sisendiks testimisele (mida on kõige olulisem testida). Testijad kasutavad erinevaid meetodeid spetsiifilise tõendusmaterjali kogumiseks (nt jõudluse ja turvalisusega seotud omadused) süsteemi toimimise kohta, mis võib olla sisendiks auditi järelduste tegemisele ning soovituste andmisele.

Ettekande slaidi leiate siit. Rohkem infot EISAÜ kohta saab siit.

Et infovoog ei jääks liialt ühesuunaliseks, siis on EISAÜga saavutatud esialgne kokkulepe sügisel ETLi sisesel seminaril auditite ja auditeerimise teemaga esinemiseks. Täpsem info ürituse kohta sügisel.

8. juunil toimunud ETL-i üldkoosolek valis uueks juhatuse liikmeks Kaspar Loog'i

2009-06-09T10:51:00.000-07:00

Mina otsustasin mitte kandideerida ning jätkata ETL-i tegevliikmena, lüües kaasa ISTQB koolituste akrediteerimise ja testijate sertifitseerimisalastes tegevustes.

Kaspar on tarkvaraarenduse valdkonnas tegutsenud 9 aastat. 2007. aastast alates on ta olnud ühe Eesti juhtiva kvaliteedi ja testimise valdkonna ettevõtte Know IT Estonia tegevjuht. Lisaks suurepärastele testimisalastele teadmistele omab ta ka ettevõtte juhtimise kogemust.

Kaspar Loog on seni ETL-is olnud ISTQB-ga liitumise eestvedaja ja Testijate Liidu kontaktisikuks ISTQB-s.

Lisaks Kasparile jätkavad ETL-i juhatuses senised juhatuse liikmed Maili Markvardt ja Harles Paesüld.

Edu ja jõudu uuele juhatusele!
Urmo

ETL seminar: kasutuskõlblikkuse testimine

2009-05-28T21:20:00.001-07:00

27. mail toimus järjekordne Testijate Liidu seminar, sel korral oli teemaks õrna salapäralooriga ümbritsetud kasutuskõlblikkuse (kasutatavuse, usability) testimine. Salapära hajutama oli kutsutud Hegle Sarapuu (Trinidad Consulting).

Saime teada, et antud teemaga haakuvad isegi kaks olulist mõistet - ligipääsetavus ja kasutuskõlblikkus. Kasutuskõlblikkuse tagamine (nagu kvaliteedi tagaminegi) algab juba projekti varajastes etappides - esmalt oma kasutaja, tema harjumuste, eripärade, eelistuste tundmaõppimisega ning seejärel saadud infost lähtuva disainiga.

Tagantjärele aga on võimalik kasutatavust hinnata (näiteks põhinedes küsimustikel) ja testida (kaasates selleks potentsiaalsete kasutajate esindajaid ning jälgides, kuidas nad sooritavad soovitud ülesandeid).

Seminari teises pooles oli kõigil osalejatel võimalik saadud teadmisi paberprototüübi koostamisel ning testimise planeerimisel-läbiviimisel rühmatööna rakendada.

Tänusõnad Heglele praktikat ja teooriat nii hästi ühendava seminari juhatamise eest ning osalejaile huvitavate küsimuste ning kaasalöömislusti eest!
Seminari materjalid on kättesaadaval siit.

Antud seminariga läheb ETL seminarisari suvepuhkusele, kuid seminarid jätkuvad taas sügisest uutel ja põnevatel teemadel!
Kõigil liikmetel on võimalik teemade valikul ka kaasa rääkida, saates kirja oma eelistustega aadressil info [at] testijateliit.ee

Vaatamata sellele, et ametlikult suundume suvepuhkusele ja on tulemas kena ja soe suveaeg, pole huviliste olemasolul välistatud vähemametlikud pisiseminarid värskes õhus, kodumaiseid maasikaid ning jäätist testides ;-).

Eesti Testijate Liit Tartu Ülikoolis

2009-04-29T06:08:00.000-07:00

Harles Paesüld, Maili Markvardt, Magnus Hillermaa ja Kaspar Loog viivad Tartu Ülikoolis läbi ainet "Tarkvara testimine". Tegu on intensiivkursusega (kokku neli päeva), mis järgib üldjoontes ISTQB Foundation Level õppekava.

Esimene seminar on Harlese ja Kaspari poolt edukalt läbi viidud. Aine lõpus on ka avalik ISTQB Foundation Level eksam. Osavõtjad on enamuses magistriõppe esimese aasta tudengid.

Vaid reaalselt ülikoolides õpetades täidame eesmärki, et testimise aine jõuab ka kohustusliku distsipliinina kõikidesse informaatika ja infotehnoloogia õppekavadesse. Tartu rinne on avatud!

Uus õppeaine Tarkvara testimise alused Eesti Infotehnoloogia Kolledžis

2009-02-02T08:22:00.000-08:00

Kevadsemestri alguse puhul on mul hea meel teatada, et Eesti Testijate Liidu ja Eesti Infotehnoloogia Kolledži initsiatiiv on kandnud vilja ning 2009 aasta kevadsemestrist on IT Kolledži tudengitel võimalus valikainena osaleda tarkvara testimise põhialuseid tutvustaval loengute sarjal.

Nagu nimigi viitab, on aine eesmärgiks anda põhiteadmised ja oskused tarkvara testimise põhimõtetest, metoodikatest ja tehnikatest. Aine programmi koostamisel lähtusime paljus International Software Testing Qualifications Board'i (ISTQB) Foundation Leveli õppekavast, mis määratleb testija põhioskused. See tagab, et soovi korral on õppe läbinud tudeng valmis sooritama ISTQB Foundation Leveli eksami.

Aine tuleb lugemisele infosüsteemide administreerimise, infosüsteemide arendamise, infosüsteemide analüüsi ja tehnosuhtluse õppekaval (päevases ja õhtuses õppevormis). Kaugõppes loodame kursust lugeda järgmisel õpinguperioodil, kui välja on töötatud ka kogu kursust hõlmav e-õppe tugi.

Õppekavade, mille valikainete hulka Tarkvara testimise alused kuulub, on lai seetõttu, et põhiteadmised testimisest on vajalikud testijale, aga ka teistele tarkvaraarendusprotsessis osalejatele, alates ärinõuete koostajast kuni arendaja ning süsteemiadministraatorini välja.

Lektoritena ning harjutustundide läbiviijatena osalevad ETLi liikmed Magnus Hillermaa, Kaspar Loog, Maili Markvardt ja Harles Paesüld. Spetsiifiliste ja suhteliselt kitsaste teemade käsitlemiseks kaasame ka konkreetses teemas praktilisi kogemuse omavaid külalislektoreid. Loodame, et jaotades teemad arvestades lektorite tausta, suudame efektiivselt edasi anda testimise parimaid praktikaid.

Täname Eesti Infotehnoloogia Kolledžit selle suurepärase võimaluse eest ning
soovime edukat semestrit - ka töö- ja elu-üliõpilastele!

Lähem info aine kohta:
Maili Markvardt, maili.markvardt [at] itcollege.ee

Torbjörn Ryber ja "Test Design Essentials" 19-20. veebruar

2009-01-29T01:30:00.000-08:00

19-20. veebruaril tuleb Eestisse Torbjörn Ryber – raamatu „Test Design Essentials“ autor. Nimetatud raamat on üks paremaid kogumikke testimistehnikate ja nende praktilise kasutamise osas (raamatus on ka omajagu ülesandeid lahendustega). Torbjörn on Rootsis populaarne lektor, sest tema koolitused on pikitud näidete ja harjutustega. Tasub vaadata ka tema kodulehekülge http://www.ryber.se/. Olemas on ka PDF formaadis kursuse tutvustus.

2 päevase koolituse hind on 13900 krooni + km. Testijate Liidu liikmetele on koolitusel erihind 12 900 krooni + käibemaks. Info registreerumise kohta palume edastada 6. veebruariks aadressile mari-liis.milli@knowit.ee

P.S. Kui keegi on raamatust huvitatud, siis kirjutage kaspar.loog@knowit.ee. Meil on kontoris kastitäis, müügiks.

Seminar: Mittefunktsionaalsed nõuded ja testimine - kokkuvõte

2009-01-23T02:30:00.001-08:00

22. jaanuaril 2009 toimus järjekordne seminar Eesti Testijate Liidu initsiatiivil. Sel korral käisime külas SEB'l ning arutlusteemaks mittefunktsionaalsed nõuded ning nende testimine. Osavõtjaid oli üllatavalt palju ning arutelu kujunes taas põnevaks.

Kokkuvõtlikult öeldes rääkisime esmalt teooria baasil selgeks, miks üldse mittefunktsionaalseid nõudeid püstitada ning kuidas seejuures saavutada kvaliteetne tulemus - nõuded peaksid olema määratletud süstemaatiliselt ning kirja pandud testitavalt. Täpsemalt: Maili Markvardt (Eesti Testijate Liit/ASA Quality Services), Mittefunktsionaalsed nõuded.

Edasi läksime juba märksa praktilisemalt: käsitlesime jõudlustestimist konkreetse projekti näitel. Saime teada, et oluline on esmalt paika saada lähenemine ja metoodikad, teisalt aga testitavad nõuded piisavalt täpseks. Seejärel saab asuda iteratiivselt testima - testimist tuleb tõenäoliselt arendajaga koostöös mitmekordselt läbida, kuna jõudlusprobleemide põhjuste selgitamine ei pruugi olla triviaalne. Täpsemalt: Jan-Erik Moon, Margus Härm (ASA Quality Services), Jõudlustestimine sõnumipõhise süsteemi näitel.

Järgmisena kuulasime muudatuste testimise korraldusest SEB'is. Kuulsime, kuidas pöörata tähelepanu nii protsessile ja kommunikatsioonile kui ka tehnilistele aspektidele - kuidas tööd efektiivselt organiseerida, et rahul oleks nii tellija, testija kui ka arendaja.

Huvitava päeva lõpetas ettekanne mittefunktsionaalsete nõuete staatilisest analüüsist. Lühidalt tutvustati staatilisest analüüsist saadavat kasu ja erinevate staatilise analüüsi meetodite/vahendite iseloomu, samas lükati ka ümber valdkonnaga seotud müüte.
Täpsemalt: Ervin Hülp (SEB), Mittefunktsionaalsete nõuete staatiline analüüs.

Täname SEB'i suurepärase korralduse eest ning kõiki esinejaid ja kohalviibijaid!

Etteruttavalt võib öelda, et järgmine seminar ETLi liikmetele toimub väga suure tõenäosusega turvalisuse testimise teemal.

Seminar: mittefunktsionaalsete nõuete testimine

2009-01-06T05:58:00.000-08:00

ETL seminaride seeria jätkub ning järgmine üritus võtab juba tasapisi kuju.
Teema: mittefunktsionaalsete nõuete testimine (ja sellega seonduv).
Aeg: 22.01.2009 kell 16.30.
Koht: Tornimäe 2 (SEB peamaja), 21 korruse nõupidamiste tuba.

Ettekanded: sissejuhatus teemasse ja jõudluse testimine (ASA Quality poolt) ning muudatuste testimine ja staatiline analüüs (SEB poolt).

Organisatoorsest poolest niipalju, et sisse pääseb Tornimäe maja Radissoni poolsest nurgast. Ruum on kinni pandud 3 tunniks ning kui autoga tulete, peate parkimise eest ise hoolitsema.
Osalemise soovist peaks vähemalt nädal enne teada andma Ervinile (ervin.hylp at seb.ee), siis on suurem tõenäosus valvelauast mööda pääseda. ;-)

Seminar: tarkvara automatiseeritud testimine - kokkuvõte

2008-12-15T12:38:00.000-08:00

15. detsembril 2008 toimus Eesti Testijate Liidu eestvedamisel tarkvara testimise automatiseerimist käsitlev seminar. Sel korral oli meie lahkeks võõrustajaks Swedbank.

Sellest lähtuvalt algaski sisukas õhtu võimalusega kuulata-vaadata-arutada võõrustajate kogemusi testimise automatiseerimise vallas. Marek Kusmin ja Aadu Adok Swedbank'i elektrooniliste kanalite valdkonnast tutvustasid oma valdkonna arendustestimise automatiseerimist ning andsid põhjaliku ülevaate ka agiilsest tarkvaraarendusest ning testimisest selle kontekstis. Seejuures on oluline eristada arendajate, testijate ning kliendi tegevusi - kõigil on oma kindel roll kvaliteetse tulemi loomisel.

Et teooria ja praktika oleksid tasakaalus, siis tutvustas järgmiseks Harles meile TPI (Test Process Improvement) mudeli ja testimise automatiseerimise suhteid. Kõige olulisem on seejuures ehk silmas pidada, et edukas testimise automatiseerimine põhineb hästi korraldatud testimisprotsessil, sealhulgas oskusest disainida head testid. Ehk lühidalt - kaose automatiseerimisega saavutame ainult väledama kaose.

Olles ära kuulanud vahepõike teooriasse, tutvustas ETLi liige Anton Šiškov üht võimalikku viisi testikoodi haldamiseks ja seda, kuidas tagada modulaarne ja hästi hallatav testikood.
Siinkõneleja arvates oli Antoni ettekanne hea näide eelnevalt tutvustatud teooria rakendamise kohta: testikood peab juba algama süstematiseeritud mõtlemisest, sest ainult läbimõeldud ning modulaarne testidisain tagab hästi hallatava ning võimalikult suures osas taaskasutatava testikoodi.

Kui planeeritud ettekanded olid kuulatud, avanes võimalus diskussiooniks, mida ka agaralt kasutati. Arutlusteemasid jätkus nii agiilse arenduse, testimisprotsessi ja selle parendamise kui ka testivahendite kohta.

Kokkuvõtlikult võib öelda, et seekordne seminar täitis oma eesmärgi isegi kahekordselt - lisaks huvitavale arutelule automaattestimise osas saime osa ka praktikute kogemusest agiilses tarakvaraarenduses ja -testimises.

Täname Swedbank'i elektrooniliste kanalite arenduse esindajaid ja kõiki osalejaid sisuka diskussiooni eest!

Järgmisel seminaril jaanuaris räägime juba sellest, kuidas testida tarkvara vastavust mittefunktsionaalsetele nõuetele.

Muljeid ISTQB Test Managament koolituselt

2008-12-14T07:04:00.000-08:00

Juhtus siis nii, et eelmise nädala pühapäeval (7. detsembril) võtsime Magnusega ette tee Londonisse, et seal viis päeva teadmisi omandada ja väljamaa kolleegidega tutvust teha. 8-12. detsembril toimus ISTQB Advanced level koolitus Test management ja Test Analysis valdkonnas. Järgnevalt tahangi välja tuua mõned olulisimad punktid, mis on minu meelest olulised.
Faktid
Koolitaja: Grove Consultants (Clive, Mark, Julie, Lloyd). Kogenud praktikud, sagedased esinejad mitmetel testimisalastel konverentsidel (nt. EuroSTAR, STAREast, STARWest jne.). Pikaajaline taust koolituste läbiviimisel ISEB erinevatel tasemetel ja ISTQB Foundation level-l.
Toimumise koht: London, Thistle Marble Arch hotell. Väga mugav, hea teeninduse ja söögiga koht. Kuna koolitus toimus seal, siis sai ka seal ööbitud. Üks olulisimaid asju on toa valgustus ja selle hotelli toa valgustus oli väga hea. Vabalt võis lugeda nii voodil lesides kui ka laua taga. Kes hotelli hindu vaadates ära ehmatab, siis võite end rahustada sellega, et 2 inimest ühes toas on sama hinnaga, kui 1 inimene ühes toas. Kuna hotell asus kesklinnas ja Hyde parki vahetus läheduses, siis oli väga mõnus end peale pingsat päevatööd veidike õhutada ja pargis jooksmas käia.
Koolitus ise: tegemist on väga uue koolitusega. Akrediteeritud koolitajaid on hetkel veel vähe. Nt. Grove on minu teada teine firma UK-s, kes seda õigust omab ja neile oli see esimene koolitus ISTQB Test Management ja Test Analysis osades. Koolitus toimus 2-päevase Core-moodulina, millele järgnes 3-päevane spetsialiseerumine. See on väga mugav, kui on soovi end mitmes valdkonnas arendada. Piisab korra Core mooduli läbimisest ja edaspidi saab ainult spetsialiseerumismooduleid võtta.
Osalejad
Väga erineva taustaga: huvitavamatest 'firmadest' võib välja tuua NATO ja Capgemini (üks suurimaid testimisalaseid teenuseid pakkuvaid firmasid maailmas). Väljastpoolt UK-d pärit osalejad viisid enamuses ise ISTQB Foundation level koolitusi läbi.
Meenutusi koolitusest
Keskendun siin Test Management moodulile.
Kogu vajalik teooria osa on kirja pandud ISTQB Foundation level ja ISTQB Advanced level Syllabuses. Olulisimad teemad, mida Test Management-s käsitleti, olid:
a) testimisalane dokumentatsioon;
b) testimistulemuste analüüs ja raporteerimine vastavalt info tarbijate huvidele;
c) riskide hindamine ja maandamine;
d) ressursi planeerimine.
Teadmiste omandamine toimus läbi teooria ja praktiliste ülesannete, milleks oli nii iseseisev töö kui grupitöö. Tulemused analüüsiti läbi ja koolitajad esitasid ka enda nägemuse. See, mida antud teemadel teada sai, on tõesti muljetavaldav - võid enda arvates head tööd teha ja siis koolitusel selgub, et oled redeli esimesel astmel. Väga palju on veel arenguruumi. Ühe näitena võib välja tuua just selle, kuidas panna kokku ja presneteerida testimisega seotud infot. Lihtne märksõna: graafikud!
Meenutusi eksamist
Aega 2 tundi + 20min. neile, kellel inglise keel pole emakeel. Max 100 punkti, 65 küsimust, küsimused vastavalt raskusastmele 1,2 ja 3-punktised. Küsimused põhinevad stsenaariumitel (olukorra kirjeldus, kokku oli neid umbes 4-5).
Täna ma ei oska ennustadagi, kuidas eksam läks. Küsimused olid enamuses suhteliselt keerulised, valikvastustena (vastavalt ülesandele pidi valima 1-4 variandi vahel). Paljudes küsimustes pidi valima nt. 4 parimat 7 võimaliku seast jne. Praktilised kogemused riskide analüüsimisel ja maandamisel on kindlasti kasuks. Nt. hinnata lennuki juhtimissüsteemi projektiriske ja tuua neist välja 3 olulisimat on ühest küljest lihtne, sest safe critical süsteemide testimist mõnevõrra käsitleti, samas on suht keeruline ära arvata, mis küsimuse koostaja aspektist olulisimad on.
Kokkuvõte
Minu jaoks oli tegemist väga väärtusliku koolitusega. Kavatsen saadud kogemusi kindlasti ära kasutada igapäevases töös ja ka ETL tegemistes. Kõigile neile, kes sel teemal eneseharimisest huvitatud on, soovitan enne koolitusele minekut syllabus-ga tutvuda ja saadud teadmisi rakendada igapäevases töös juba enne võimalikku koolitust. Ja miks mitte luua Test management workgroup ETL-s, et üheskoos teadmiste redelil ülespoole sammuda!

Mõtteid EuroSTAR-i mõttekojast

2008-12-02T08:24:00.000-08:00

Läinud reedel võttis seltskond aktiviste ette teekonna Aqris Software kontorisse, kus Mart meid vastu võttis ja lahkelt kostitas. Külastuse eesmärgiks oli siiski kuulata Raivo muljeid EuroSTAR-l kuuldust-nähtust ja sellele oma vaatenurgast hinnang anda. Olles ise eelnevalt kolmel korral EuroSTAR-l osalenud, oli ette aimata, et tulemas on huvitav õhtupoolik.
Omast kogemusest võin öelda, et peale nelja päeva konverentsil on tagasi tulles väga raske vastata küsimustele nagu "Noh, said nüüd targaks?" või "Mis head teada said?". Samas on vägagi loogiline, et arvestades konverentsi hinda sealt lausa peab midagi väärtuslikku kaasa haarama. Olgu selleks siis mõni uus idee, mida saab kohe realiseerima hakata, või lihtsalt kinnitus sellele, et liigud õiges suunas. Olen endale pannud nö. normiks saada igalt külastatud ürituselt vähemalt kolm nimetatud kriteeriumitele vastavat ideed.
Järgnevalt toon välja mõtted, mida sain antud ürituselt.
Esiteks. See, kuidas me testime, ja kui motiveerituna me end tunneme, sõltub ainult meist endist. Me võime teha seda igavalt ja samas väga huvitavalt. Exploratory testimise propageerijate vaatenurgast lähtudes oli nende meelisviis nö. 'hele tulevik', kus põhiliseks märksõnaks on loomingulisus. 'Tumeda tulevikuna' nähti pingsat teooriast ja tehnikatest kinnipidamist, mis kõik testijad ühesuguseks pidavat muutma. Mida sellest arvata? Maailm ei ole ainult must ja valge, enamuses on siiski hallid toonid (kui järgida must-valget skaalat). On väga oluline, et me ei võtaks ühte konkreetset teooriat absoluutse tõena, vaid omades laia kogemuste ja teadmiste pagasit, oskaksime vajalikul momendil valida just õige lähenemisviisi. Keegi meist ei taha ju sõita lennukiga, mille tarkvara on testitud ainult loomingulisest vaatenurgast. Teisest küljest ei saa internetipanga kasutusmugavuse kohta rangete testimistehnikate abil ka midagi asjalikku öelda.
Teiseks. Mõelgem enne testima asumist, miks me seda teeme. Mis on see lisandväärtus, mida me oma klientidele pakume? Kas lihtsalt sõnake 'OK', mis väljendab meie arvates tarkvara valmisolekut toodangukeskkonda installeerimiseks? Või on see ülevaade tarkvara vastavusest kirjalikult dokumenteeritud nõudmistele? Või hoopis midagi uut selle kohta, kuidas tarkvara saab kasutada ja kuidas see võiks kliendile sobida? Tuli meelde vanasõna, et seitse korda mõõda, üks kord lõika. Kas just seitse korda mõõtma peab, aga enne lõikamist peame igal juhul teadma, miks me midagi teeme, ja mis on lõpptulemus. Motivatsioonile aitab kaasa ka see, kui teame, mis otsuseid klient meilt saadud info alusel teeb. Kui hiljem näeme, et sellest kasu oli, on ka testimise vajalikkus selgelt mõistetav.
Kolmandaks. Milline näeb välja testija roll tulevikus? Oleme harjunud mõtlema, et ühes õiges tarkvaraprojektis on esindatud projektijuht, analüütik, arendaja, testija ja kui hästi mõelda, siis leiab mõne vajaliku rolli veel. Siiski, järjest enam tulevad kasutusele agiilsed arendusmetoodikad ja enam ei ole võimalik eristada nö. puhtaid rolle. Pigem suudavad projektis osalejad teisi teatud määral katta ja vajadusel on võimalik rohkem jõudu suunata sinna kuhu vaja. Juhtivat rolli selles tegevuses etendab vastava ala kõige paremini tundev projektirühma liige. See viitab ka sellele, et testija ei saa olla ainult persoon, kes arenduse lõppfaasis funktsionaalsuse ekraanil läbi klikib, vaid heade tehniliste teadmistega spetsialist, kes testimist väga hästi tundes, suudab mitte vigu ainult võimalikult kiiresti peale nende tegemist leida, vaid analüüsi käigus asjalikke küsimusi küsides ja riske analüüsides suisa ennetada. Vähetähtis ei ole ka teiste projektirühma liikmete juhendamise oskus ning suutlikkus oma tegevusplaani põhjendada.
Mida kokkuvõtteks öelda - on, mille üle mõelda. Liiga tihti langeme laiskuse ohvriks ja pakume oma klientidele ainult seda, mida meilt küsida osatakse. Või teisest küljest - tutvudes mõne uue teooriga, hakkame seda kiiresti ellu viima mõtlemata sellele, mis kasu see kokkuvõttes annab. Hoidkem oma silmad ja kõrvad tahti, mõelgem selle peale, mida ja kuidas teeme. Ja teeme seda nii, et oleks Fun! Head testimist!

Workshop teemal "EuroSTAR: The Future of Software Testing"

2008-11-25T10:18:00.000-08:00

Selleaastane EuroSTAR toimus ühes kenas väikeses Hollandi linnas nimega Haag. Konverentsi peateemaks oli "The Future of Software Testing" ehk siis läbivaks teemaks oli: Mis meist, testijatest, tulevikus saab?

Selles küsimuses jagunes testijate kogukond kaheks koolkonnaks. Ühed kummardasid mõõdetavat, korratavat ja reglementeeritud testimist ning teised loomingulist, uurivat ja pidevalt küsimusi esitavat testimist. Argumendid olid veenvad mõlemal poolel (lähemalt neist workshopil), kuid isiklikult arvan, et tõde, nagu ikka, on kuskil seal vahepeal.

Testimist mõjutab tugevalt see, kuidas tooteid arendatakse ning seega olid konverentsil luubi all erinevad arendusmeetodid. Märksõnadest tooks ära Agiilne arendus (koos Exploratory testing'uga), SOA ja Model-based Testing, millest üheks vastasseisu paariks näib kujunevat Model-based testing ja Exploratory testing.

Reedel (28. november) toimuval workshopil annangi lühiülevaate mainitud teemadest ning pööran põhilise tähelepanu mulle isiklikult sümpatiseerinud testimise tuleviku nägemusele: Exploratory testing.

Loodan teid kõiki workshopil kohata!

Kuidas hinnata testija töö väärtust? Selles on küsimus (I)

2008-11-05T21:19:00.000-08:00

Nagu Urmo eelnevas postituses kirjutas, oleks hea aruteludele järgnevalt teha kokkuvõtteid ning sõnastada iseenda ja teiste jaoks kõige olulisemad järeldused. Teen sellega ise kohe algust ning soovitan sama ka teistele!

Üks minu eesmärkidest workshopile tulles oli saada selgust ning teiste osalejate arvamusi teemal, kuidas testija töö headust hinnata eelkõige "ette", juba testimise protsessi käigus - enne kui ilmnevad mingid tagajärjed toodangus. Antud infot vajab hädasti näiteks testijuht, kes projekti käigus peab hoidma silma peal testijate töö kvaliteedil ning vajadusel suunama testijaid paremini testima (oluline on ju ikkagi tulemus mitte lihtsalt töö ärategemine!). Lihtsad mõõdikud, näiteks leitud vigade arv ei ütle tegelikult palju selle kohta, kui palju ja kui kriitilisi (!) vigu veel leidmata võib olla. Etteruttavalt ütlen, et sellele küsimusele ei saanud ma päris aktsepteeritavat vastust ka arutelu käigus.

Siiski sõnastaksin enese jaoks kõige kasulikumad ja kasutatavamad järeldused meie arupidamisest järgnevalt:

1. Testimise väärtust on ilmselt küllalt edukalt võimalik hinnata tagantjärele (pärast vigade leidmist arenduse käigus või toodangus) - tuleb kokku arvutada kõigi vea haldamise ja parandamisega seotud inimeste töötunnid (alustades helpdeskist, lõpetades arenduse, kordustestimise ja toodangusse panemisega). "Pehmete" kulude nagu inimeste (klientide ja arendusega seotud) närvid, kahjud mainele, saamata jäänud tulu mõõtmine ei pruugi olla nii lihtne, kuid ka sel juhul on meetrika kasutatav.

2. Väärt testija puhul on oluline oskus valida konkreetsesse arendusolukorda sobiv lähenemine (plaanist, sh testimise maht, meetodite ja vahenditeni) ning osata seda usutavalt põhjendada. See annab kindlust, et testija on professionaal ja olulised aspektid saavad piisavalt testitud. Eellest lähtuvalt on info, mis on testija töö tulemiks, kvaliteetne ning selle põhjal on võimalik teha õigeid otsuseid.
Kui järele mõelda, siis tegelikult selle järgi saab mingil määral hinnata testija töö headust ka "ette". See hindamine aga on pigem subjektiivne, kui mitte öelda intuitiivne.

Igal juhul püüan edaspidi antud järeldusi ka praktikas testida ja soovitan seda teistelegi huvitatutele - see tagab, et mõne aja pärast saame selle teema juurde jälle tagasi tulla. Sel korral aga kogemuse võrra rikkamana.

Head testimist!

Toimus esimene workshop teemal "Kuidas hinnata testija töö väärtust?"

2008-11-05T14:29:00.000-08:00

Teisipäeval, 4. novembril toimus esimene Eesti Testijate Liidu liikmetele mõeldud workshop, kus püüti selgust saada testija töö väärtusest.

Testija tööd ja selle kvaliteeti on tihti keerukas hinnata. Küllap me seetõttu olemegi kõik kuulnud kahtlusi - "testimine ei tee tulemit paremaks - pärast testimise lõpetamist on tulem ikka sama vigane/korrektne kui enne testimist", "tagantjärele toodangus ilmnevate vigade lugemine ei ole meetrika vaid tagantjärele tarkus" jne. Kuid mis ikkagi on see, mis testimise väärtuslikuks teeb ning kuidas seda nii enese kui teiste jaoks mõõdetavatesse raamidesse panna?

Workshopil oli esindatud 9 liiget. Arvatavasti pani iga osaleja midagi uut ja kasulikku endale kõrva taha ning suutis workshopi käigus oma olemasolevaid mõtteid korrastada. Loodetavasti saame siin samas blogs peatselt lugeda worshopist inspireeritud mõtteavaldusi testijate töö väärtustamise teemal.

Saime üldjoontes kokku lepitud ka järgmise worksopi teema, milleks on „Testimise automatiseerimine - mis juhul, mis ulatuses ning kuidas“. Järgmine Workshop toimub detsembri alguses, koht ja täpne aeg selguvad paari nädala jooksul.

Tere tulemast Eesti Testijate liidu blogisse

2008-10-26T15:15:00.000-07:00

Eesti Testijate Liit (ETL) asutati 31.märtsil 2008 testimisest ning sellega seonduva informatsiooni jagamisest huvitatud eraisikute poolt. ETL-i missiooniks on teadvustada testimise kui distsipliini olemust ning aidata kaasa erialase oskusteabe levitamisele ja kompetentside arendamisele. Täpsem info on leitav aadressilt http://www.testijateliit.ee/

Oma veebipäeviku käivitame koondamaks testimisalaseid mõtteavaldusi ning pakkumaks keskkonda testimisteemadel arutlemiseks. Veebipäeviku kaudu plaanime hakata andma ülevaadet ETL-i tegemistest ning testimisalastest üritustest Eestis ja välismaal.

Siin võivad sõna võtta nii liidu liikmed kui ka kõik teised valdkonnast huvitatud. Testimise või tarkvaraarenduse kvaliteeditagamise teemalisi arvamusavaldusi blogis avaldamiseks ootame aadressile blog@testijateliit.ee.

Ootame aktiivset kaasalöömist!

Eesti Testijate Liidu juhatus