Tehnike crne kutije

Šta učimo ovog semestra

Petnaest sedmica: svaka ima tri časa teorije i tri časa praktične nastave. Danas: poglavlje 8 (Sedmica 8, označeno). Isti primjer kroz knjigu: DeliveryApp, narudžba N-1001.

Šta učimo ovog semestra

Literatura

1. J. Popović: Priručnik za test inženjere, CET i Računarski fakultet, Beograd, 2023.
2. Rakić-Skoković: Priručnik za testiranje softvera, Fakultet tehničkih nauka, Novi Sad, 2013.
3. G. J. Myers: The Art of Software Testing, 2. izdanje, John Wiley & Sons, 2004.
4. A. P. Mathur: Foundations of Software Testing, Addison-Wesley Professional, 2008.

Priča za početak

U julu 2012. južnokorejski pjevač PSY objavio je na YouTubeu spot za pjesmu „Gangnam Style”. Ples u kojem se „jaše” nevidljivi konj obišao je svijet, i spot je postao prvi video s milijardu pregleda. Ali brojanje se nastavilo. Početkom decembra 2014. YouTube je na svojoj stranici na Google+ objavio neobičnu vijest: „Nikad nismo mislili da će neki video biti pogledan više puta nego što stane u 32-bitni cijeli broj (2 147 483 647 pregleda), ali to je bilo prije nego što smo upoznali PSY-ja.” Brojač pregleda bio je napravljen kao 32-bitni cijeli broj s predznakom, a najveći takav broj je 2³¹ − 1 = 2 147 483 647. Šta se desi kad mu se doda još jedan? U mnogim programima broj se „prelije” i postane najmanji mogući: −2 147 483 648.

Gangnam Style bi tada pokazivao minus dvije milijarde pregleda. Google je kasnije rekao da su inženjeri problem vidjeli nekoliko mjeseci ranije i na vrijeme prebacili brojač na 64-bitni broj, koji ide do oko 9,2 triliona. Priča je postala šala na internetu, ali iza nje stoji ozbiljna pouka za testere: greške žive na granicama. Niko ne bi testirao brojač s 1 000 ili 1 000 000 pregleda i našao problem. Problem je bio tačno na jednom broju: 2 147 483 647 + 1. Ovo poglavlje uči kako se takvi brojevi nalaze iz specifikacije, prije nego što ih nađe svijet.

Zašto ovo poglavlje

U poglavljima 6 i 7 gledali smo kod iznutra i vidjeli njegovu slabost: testovi koji obilaze sve puteve ne stoje na granicama, pa greška D-01 preživi 100 % pokrivenosti, a pet od dvanaest mutanata preživi testove. Sada zatvaramo haubu i vraćamo se crnoj kutiji: testove pravimo samo iz pravila PP-1 … PP-6, ne gledajući kod. Prvo učimo klase ekvivalencije i granične vrijednosti, najkorisniji par tehnika u cijelom testiranju. Zatim tabelu odlučivanja za pravila koja zavise od više uslova i prelaze stanja za narudžbu. Na kraju kombinatorno testiranje po parovima i pogađanje grešaka. U praktičnoj nastavi konačno otkrivamo pet grešaka ubačenih u prvu verziju DeliveryApp: D-01 do D-05.

Riječi ovog poglavlja (1/2)

• Crna kutija (black-box, specification-based) – testovi napravljeni iz zahtjeva i pravila, bez gledanja koda.
• Klasa ekvivalencije (equivalence partition) – skup ulaza za koje sistem treba da se ponaša isto, pa je dovoljan jedan predstavnik.
• Važeća i nevažeća klasa – ulazi koje sistem treba prihvatiti, odnosno odbiti.
• Granična vrijednost (boundary value) – ulaz na samoj ivici klase, gdje se ponašanje mijenja (npr. tačno 3 km ili tačno 30,00 €).
• Prelijevanje (overflow) – broj postane veći od najvećeg koji tip može čuvati, pa „preskoči” na pogrešnu vrijednost.
• Tabela odlučivanja (decision table) – tabela koja za svaku kombinaciju uslova kaže koji je ishod.

Riječi ovog poglavlja (2/2)

• Prelazi stanja (state transition testing) – testovi iz dijagrama stanja: dozvoljeni prelazi moraju raditi, nedozvoljeni moraju biti odbijeni.
• Testiranje po parovima (pairwise testing) – izbor malog broja kombinacija tako da se svaki par vrijednosti dva parametra pojavi bar jednom.
• Pogađanje grešaka (error guessing) – testovi iz iskustva: ulazi na kojima programi često griješe.
• Pokrivenost klasa / granica – procenat klasa ili graničnih vrijednosti koje testovi provjeravaju.

Ciljevi poglavlja

Nakon poglavlja možete:

podijeliti ulaz na važeće i nevažeće klase ekvivalencije; za svaku granicu izabrati granične vrijednosti po pravilu dvije ili tri vrijednosti; objasniti zašto su greške na granicama tako česte; napraviti tabelu odlučivanja za pravilo s više uslova i iz nje testove; nacrtati dijagram stanja i napisati testove svih dozvoljenih i nedozvoljenih prelaza; izračunati koliko kombinacija treba za puno i za testiranje po parovima; napraviti listu za pogađanje grešaka; za svaki pad testa nad prvom verzijom DeliveryApp reći koja je greška i koja tehnika ju je našla.

Plan poglavlja – Sedmica 8: tri časa teorije i tri časa praktične nastave

8.1 Testovi iz specifikacije

Za crnu kutiju nam treba samo jedno: dobra specifikacija. Za DeliveryApp to su pravila iz poglavlja 1:

8.1 Testovi iz specifikacije

Problem je u tome što ulaza ima beskonačno mnogo. Udaljenost može biti 0, 0,1, 0,11, 2,5, 3, 3,0001… Iznos može biti bilo koji broj centi. Ne možemo testirati sve (prvi princip iz poglavlja 1: iscrpno testiranje je nemoguće). Treba nam pametan izbor: što manje testova koji hvataju što više grešaka. Tehnike crne kutije su upravo recepti za taj izbor.

Crna kutija ima i jednu veliku prednost nad bijelom: testove možemo napisati prije nego što kod postoji, čim su pravila jasna. Tako je napravljen tests/test_granice.py iz poglavlja 4: iz pravila, a ne iz koda. Sad ćemo vidjeti kako je nastao svaki njegov red.

Ukratko – 8.1 Testovi iz specifikacije

• Crna kutija pravi testove samo iz specifikacije, ne gledajući kod.
• Ulaza je beskonačno mnogo, pa tehnike crne kutije biraju malo testova koji hvataju mnogo grešaka.
• Testovi crne kutije mogu se napisati prije koda, čim su pravila jasna.
• Datoteka tests/test_granice.py napravljena je iz pravila PP-1 … PP-6.

8.2 Klase ekvivalencije

Ideja je jednostavna: ako sistem za dva ulaza radi po istom pravilu, dovoljno je testirati jedan od njih. Pažljivo s riječju „isto”: 4 km i 4,5 km ne daju istu cijenu (4 km je jedan dodatni kilometar, a 4,5 km su dva započeta), ali se računaju istom formulom. Zato: sve udaljenosti od 0 do 3 km daju istu cijenu (2,00 €), pa su jedna klasa. Udaljenosti preko 3 do 10 km se računaju istom formulom (2,00 € + 0,50 € po započetom km), pa su druga klasa, iako daju različite iznose.

Klasa ekvivalencije je skup ulaza za koje sistem treba da radi po istom pravilu. Iz svake klase uzmemo jednog predstavnika: ako radi za njega, vjerovatno radi za cijelu klasu; ako ne radi, vjerovatno ne radi za cijelu klasu.

Slika iz života: kontrola kvaliteta jabuka. Ne probate svaku jabuku iz gajbe. Podijelite ih po sortama i iz svake sorte probate jednu.

Klase za ulaze DeliveryApp (slika 8.2):

8.2 Klase ekvivalencije

8.2 Klase ekvivalencije

Iz klasa se testovi prave po dva pravila:

1. Važeće klase se mogu kombinovati: jedan test može pokriti više važećih klasa odjednom. N-1001 (4,2 km, 21,50 €, bez koda) pokriva V2, V3 i V6.
2. Nevažeće klase se testiraju jedna po jedna: svaki test ima samo jedan nevažeći ulaz. Zašto? Ako test ima i −1 km i 4,50 €, a sistem ga odbije, ne znamo zbog čega: možda provjera udaljenosti ne radi, a odbijen je samo zbog iznosa.

Najmanji skup testova koji pokriva sve klase:

8.2 Klase ekvivalencije

8.2 Klase ekvivalencije

Sedam testova pokriva sve klase. Ali pazite: nijedan nije na granici. Za D-01 (> umjesto >= kod 30,00 €) ovih sedam testova je slijepo, kao i testovi iz poglavlja 6.

Ukratko – 8.2 Klase ekvivalencije

• Klasa ekvivalencije je skup ulaza za koje sistem radi po istom pravilu, pa je dovoljan jedan predstavnik.
• Postoje važeće klase (sistem prihvata) i nevažeće klase (sistem odbija).
• Važeće klase se smiju kombinovati u jednom testu, a nevažeće se testiraju jedna po jedna.
• Sedam testova pokriva sve klase DeliveryApp, ali nijedan ne stoji na granici.

8.3 Granične vrijednosti

Gangnam Style, D-01, mutanti M1, M2, M5 i M6 iz poglavlja 7: sve su to greške na ivici. Zašto su granice tako opasne?

• Programer mora odlučiti između < i <=, > i >=. To je pola sekunde razmišljanja i lako se pogriješi.
• Pravila često ne kažu jasno šta je s granicom: da li je „do 3 km” s 3 km ili bez? (PP-2 kaže „preko 3 km”, pa je 3 km još u osnovnoj cijeni.)
• Brojanje „od nule” ili „od jedan” (kao petlja koja ide jedan korak previše).
• Tipovi podataka imaju svoje granice (2 147 483 647 za 32 bita).

Analiza graničnih vrijednosti kaže: za svaku granicu između klasa testiraj vrijednosti na granici i odmah do nje. Postoje dvije varijante:

• dvije vrijednosti: granica i prva vrijednost u susjednoj klasi (3 km i 3,01 km);
• tri vrijednosti: vrijednost prije granice, granica i vrijednost poslije (2,99, 3 i 3,01 km). Ova varijanta hvata više grešaka (npr. == umjesto <=), ali traži više testova.

8.3 Granične vrijednosti

Šta je „odmah do” granice? Za cijene u centima to je 1 cent: 29,99 € i 30,00 €. Za udaljenost zavisi od toga s kojom tačnošću aplikacija mjeri; uzmimo 0,01 km (10 metara).

Granice DeliveryApp i testovi iz tests/test_granice.py:

8.3 Granične vrijednosti

U kodu (iznos u centima, dostava za 10,00 € artikala ili na 5 km):

8.3 Granične vrijednosti

@pytest.mark.parametrize("km, ocekivano", [
    (0, 200), (3, 200), (3.01, 250), (3.1, 250), (4, 250), (4.2, 300), (9.99, 550), (10, 550)])
def test_dostava_po_km(km, ocekivano):
    assert cijena_dostave(km, 1000) == ocekivano


@pytest.mark.parametrize("iznos, ocekivano", [(500, 300), (2999, 300), (3000, 0), (3001, 0)])
def test_besplatna_dostava(iznos, ocekivano):
    assert cijena_dostave(5, iznos) == ocekivano


@pytest.mark.parametrize("km", [-0.01, 10.01, 11])
def test_izvan_zone(km):
    with pytest.raises(ValueError):
        cijena_dostave(km, 1000)

8.3 Granične vrijednosti

Pored čistih granica, test ima i nekoliko vrijednosti unutar klase V2 (3,1, 4, 4,2, 9,99 km). One provjeravaju „započeti kilometar”: 4 km je tačno jedan dodatni kilometar (2,50 €), a 4,2 km su dva započeta (3,00 €). Ovo je granica unutar formule, svaki cijeli kilometar je mala granica.

8.3 Granične vrijednosti

Ukratko – 8.3 Granične vrijednosti

• Greške se gomilaju na granicama jer se lako zamijene < i <= i jer pravila često ne kažu jasno šta je s granicom.
• Analiza graničnih vrijednosti testira granicu i vrijednost odmah do nje, a u strožoj varijanti i vrijednost prije.
• Za iznose u centima „odmah do” je jedan cent: 29,99 € i 30,00 €.
• DeliveryApp ima granice 0 km, 3 km, 10 km, 5,00 €, 30,00 € i 50,00 € za gornju granicu popusta.

Provjeri se

1. Zašto se nevažeće klase testiraju jedna po jedna? Da bi se znalo zbog kojeg ulaza je sistem odbio zahtjev.
2. Koje vrijednosti testiraju granicu od 30,00 € po pravilu dvije vrijednosti? 29,99 € (plaća dostavu) i 30,00 € (besplatna).
3. Koji je najveći 32-bitni cijeli broj s predznakom? 2 147 483 647, odnosno 2³¹ − 1.

Odgovori: tipka R ili klik na zamućeno polje.

8.4 Tabela odlučivanja

Klase i granice gledaju jedan ulaz po jedan. Ali neka pravila zavise od više uslova zajedno. Konačna cijena zavisi od iznosa (besplatna dostava?), koda (popust?) i od toga da li je 10 % veće od 5,00 € (gornja granica). Za takva pravila koristi se tabela odlučivanja: svaki uslov je red, svaka kombinacija je kolona, a ispod su ishodi.

Uslovi:

• U1: iznos artikala ≥ 30,00 €?
• U2: važeći kod STUDENT10?
• U3: 10 % iznosa > 5,00 € (odnosno iznos > 50,00 €)?

Tri uslova sa po dva ishoda daju 2³ = 8 kombinacija. Neke su nemoguće: ako iznos nije ni 30,00 €, ne može biti veći od 50,00 €. Neke su iste: bez koda je svejedno da li je iznos preko 50,00 €. Kad se to sredi, ostaje pet pravila:

8.4 Tabela odlučivanja

Crtica „–” znači „svejedno”. Svaka kolona je jedan test, s očekivanim rezultatom izračunatim iz pravila:

• P4: 32,00 € − 3,20 € (10 %) + 0,00 € = 28,80 €. Primijetite: besplatna dostava gleda iznos prije popusta (PP-5), iako je poslije popusta 28,80 € manje od 30,00 €. Ova kolona provjerava baš tu rečenicu pravila.
• P5: 80,00 € − 5,00 € (gornja granica, a ne 8,00 €) + 0,00 € = 75,00 €.

8.4 Tabela odlučivanja

Tabela odlučivanja ima još jednu korist: otkriva rupe u pravilima. Dok je pravite, morate odgovoriti na svaku kombinaciju. Šta ako je iznos 32,00 €, a s popustom padne ispod 30,00 €? Pravilo PP-5 na to odgovara (besplatna dostava gleda iznos prije popusta), ali da nije, tabela bi pokazala prazninu, i to prije pisanja koda.

Ukratko – 8.4 Tabela odlučivanja

• Tabela odlučivanja služi za pravila koja zavise od više uslova zajedno.
• Svaka kolona je kombinacija uslova s ishodom i postaje jedan test.
• Nemoguće i ekvivalentne kombinacije se spajaju, pa od osam kolona DeliveryApp ostaje pet.
• Pravljenje tabele otkriva rupe u pravilima prije nego što se napiše kod.

8.5 Prelazi stanja

Narudžba nije samo broj: ona ima stanje koje se mijenja kroz vrijeme. Ista radnja („otkaži”) dozvoljena je u jednom stanju (NOVA), a zabranjena u drugom (U_PRIPREMI). Za takve sisteme koristi se testiranje prelaza stanja, iz dijagrama stanja (slika 8.3).

8.5 Prelazi stanja

stateDiagram-v2
    direction LR
    [*] --> NOVA
    NOVA --> PRIHVAĆENA: restoran prihvati
    NOVA --> ODBIJENA: restoran odbije
    NOVA --> OTKAZANA: kupac otkaže
    PRIHVAĆENA --> U_PRIPREMI: počne priprema
    PRIHVAĆENA --> OTKAZANA: kupac otkaže
    U_PRIPREMI --> NA_PUTU: dostavljač preuzme
    NA_PUTU --> ISPORUČENA: kupac primi

Iz dijagrama se prave dvije vrste testova:

1. Svaki dozvoljeni prelaz mora raditi. Ima ih 7. Ovo je najmanji zahtjev i zove se pokrivenost prelaza (0-switch coverage).
2. Svaki nedozvoljeni prelaz mora biti odbijen, a stanje mora ostati isto. Za 7 stanja ima 7 × 7 = 49 parova (stanje, novo stanje), od kojih je 7 dozvoljeno, pa je 42 nedozvoljeno: npr. ISPORUČENA → NOVA, ODBIJENA → PRIHVAĆENA, U_PRIPREMI → OTKAZANA.

Druga vrsta je često važnija. Programeri obično dobro naprave ono što treba da radi, a zaborave zabranu. Pravilo PP-6 je upravo zabrana.

8.5 Prelazi stanja

Da li treba ručno napisati 49 testova? Ne: tabela parova se napravi programom, a pytest ih parametrizuje. Fajl tests/test_prelazi.py:

8.5 Prelazi stanja

STANJA = ["NOVA", "PRIHVAĆENA", "ODBIJENA", "U_PRIPREMI", "NA_PUTU", "ISPORUČENA", "OTKAZANA"]

# Sedam dozvoljenih prelaza iz specifikacije (SADRZAJ.md), a ne iz koda
DOZVOLJENI = {
    ("NOVA", "PRIHVAĆENA"), ("NOVA", "ODBIJENA"), ("NOVA", "OTKAZANA"),
    ("PRIHVAĆENA", "U_PRIPREMI"), ("PRIHVAĆENA", "OTKAZANA"),
    ("U_PRIPREMI", "NA_PUTU"), ("NA_PUTU", "ISPORUČENA"),
}


@pytest.mark.parametrize("staro, novo", sorted(DOZVOLJENI))
def test_dozvoljen_prelaz(staro, novo):
    n = narudzba_u_stanju(staro)
    n.promijeni(novo)
    assert n.stanje == novo


@pytest.mark.parametrize("staro, novo", [p for p in itertools.product(STANJA, STANJA) if p not in DOZVOLJENI])
def test_nedozvoljen_prelaz(staro, novo):
    n = narudzba_u_stanju(staro)
    with pytest.raises(ValueError):
        n.promijeni(novo)
    assert n.stanje == staro

8.5 Prelazi stanja

Pomoćna funkcija narudzba_u_stanju dovede novu narudžbu u traženo stanje dozvoljenim putem (npr. za NA_PUTU: PRIHVAĆENA → U_PRIPREMI → NA_PUTU). Važno: skup DOZVOLJENI je prepisan iz specifikacije, a ne uvezen iz koda (PRELAZI u deliveryapp.py). Da smo ga uvezli iz koda, test bi provjeravao kod samim sobom i nikad ne bi pao.

pytest -q tests/test_prelazi.py
.................................................                        [100%]
49 passed in 0.04s

Jedan parametrizovan test, 49 slučajeva, 0,04 sekunde.

Ukratko – 8.5 Prelazi stanja

• Testiranje prelaza stanja pravi testove iz dijagrama stanja.
• Svaki od 7 dozvoljenih prelaza mora raditi, a svaki od 42 nedozvoljena mora biti odbijen bez promjene stanja.
• Zabrane se češće zaborave od dozvola, pa su testovi nedozvoljenih prelaza posebno važni.
• Očekivani prelazi u testu prepisuju se iz specifikacije, a ne uvoze iz koda.

Provjeri se

1. Koliko pravila ima sređena tabela odlučivanja za dostavu i popust? Pet (od osam kombinacija, jer su neke nemoguće ili iste).
2. Koliko košta N-1002 sa STUDENT10 i zašto je dostava besplatna? 28,80 €; besplatna dostava gleda iznos prije popusta (32,00 €).
3. Koliko je nedozvoljenih parova stanja narudžbe? 42, od ukupno 49.

Odgovori: tipka R ili klik na zamućeno polje.

8.6 Testiranje po parovima

Zamislimo da web forma DeliveryApp ima pet izbora:

8.6 Testiranje po parovima

Sve kombinacije: 3 × 3 × 2 × 2 × 2 = 72 testa. Uz deset parametara po pet vrijednosti bilo bi 5¹⁰, skoro deset miliona. Previše.

Istraživanja grešaka u stvarnim sistemima pokazala su nešto korisno: većinu grešaka izaziva jedan parametar sam ili par parametara zajedno (npr. „STUDENT10 ne radi kad je plaćanje gotovinom”). Greške koje traže tačnu kombinaciju tri, četiri ili pet parametara su rjeđe. Zato testiranje po parovima traži samo da se svaki par vrijednosti bilo koja dva parametra pojavi bar jednom.

8.6 Testiranje po parovima

Skripta primjeri/kombinacije/parovi.py bira kombinacije pohlepno: u svakom koraku uzme onu koja pokriva najviše još nepokrivenih parova.

python parovi.py
Sve kombinacije: 72; po parovima: 9

8.6 Testiranje po parovima

8.6 Testiranje po parovima

Devet umjesto 72. I manje od devet ne može: restoran i kod imaju po tri vrijednosti, pa samo njihovih parova ima 3 × 3 = 9, a svaki test pokrije tačno jedan od njih. Provjerite sami u tabeli: R-2 i gotovina (K-03), STUDENT10 i od 30 € (K-02), nepoznat kod i 3–10 km (K-04, K-08)…

Tabela daje kombinacije, a ne gotove testove. Svaki red još treba pretvoriti u konkretan ulaz (npr. K-02: R-1, 2 × Capricciosa + 4 × Sok = 32,00 €, 4,2 km, STUDENT10, gotovina) i izračunati očekivani rezultat iz pravila (32,00 € − 3,20 € + 0,00 € = 28,80 €).

Za veće slučajeve postoje gotovi alati: biblioteka allpairspy za Python, Microsoftov PICT, i mnogi online generatori.

Ukratko – 8.6 Testiranje po parovima

• Broj svih kombinacija raste kao proizvod broja vrijednosti, pa brzo postaje ogroman.
• Većinu grešaka izaziva jedan parametar ili par parametara, pa se traži da svaki par vrijednosti bude pokriven.
• Za pet parametara DeliveryApp 9 kombinacija pokriva sve parove umjesto 72.
• Trojke i veće kombinacije nisu garantovano pokrivene.

8.7 Pogađanje grešaka

Posljednja tehnika nema formulu. Pogađanje grešaka koristi iskustvo: „na ovakvim mjestima programi često griješe”. To je ista ideja kao heuristike iz poglavlja 3, sad pretvorena u listu za automatske testove. Lista za DeliveryApp:

8.7 Pogađanje grešaka

8.7 Pogađanje grešaka

Neki od ovih testova će otkriti stvari koje pravila ne kažu: šta je s količinom 0? Šta je s praznom korpom? To nisu uvijek greške u kodu, nego pitanja za vlasnika proizvoda. Zapišite ih kao u recenziji iz poglavlja 2.

Ukratko – 8.7 Pogađanje grešaka

• Pogađanje grešaka koristi iskustvo o mjestima gdje programi često griješe.
• Tipične kategorije su prazno, nula, negativno, ogromno, decimale, pogrešan tip i čudni znakovi.
• Ovi testovi često otkriju pitanja na koja pravila ne odgovaraju, a ne samo greške u kodu.
• Dobar tester vodi svoju listu i dopunjuje je svakom novom greškom.

8.8 Koju tehniku kada

Tehnike se ne biraju „jedna ili druga”, nego zajedno, prema vrsti pravila:

8.8 Koju tehniku kada

Redoslijed u praksi: prvo klase i granice (najviše grešaka po testu), zatim tabela i stanja za složenija pravila, i na kraju pogađanje kao dopuna. Poslije toga, alat za pokrivenost iz poglavlja 6 pokaže da li je neki dio koda ostao netaknut.

Ukratko – 8.8 Koju tehniku kada

• Tehnika se bira prema obliku pravila: rasponi, kombinacije uslova, stanja ili mnogo parametara.
• Klase i granice daju najviše grešaka po testu i rade se prve.
• Pogađanje grešaka dopunjuje sistematske tehnike.
• Na kraju mjerenje pokrivenosti pokaže koji dio koda testovi crne kutije nisu dotakli.

Provjeri se

1. Koliko kombinacija ima forma s parametrima od 3, 3, 2, 2 i 2 vrijednosti? 72; po parovima je dovoljno 9.
2. Da li testiranje po parovima garantuje da je svaka trojka vrijednosti pokrivena? Ne, samo svaki par.
3. Koju tehniku koristite za pravilo PP-6? Prelaze stanja.

Odgovori: tipka R ili klik na zamućeno polje.

Praktična nastava – Lov na greške D-01 … D-05

Od poglavlja 4 pokrećemo testove nad prvom verzijom DeliveryApp (deliveryapp_v0.py) i vidimo da padaju, ali nismo pitali zašto. Sad je vrijeme. Cilj je za svaki pad naći grešku u kodu, imenovati tehniku koja ju je našla i dopisati testove koji fale. Radi se u parovima.

Korak 1 – Klase i granice rukom (30 minuta)

1. Bez gledanja u 8.2 i 8.3, napravite tabelu klasa ekvivalencije i graničnih vrijednosti za pravilo napojnice PP-8 (0, 5, 10 ili 15 %, zaokruženo naviše na 10 centi, najviše 10,00 €).
2. Za svaku granicu napišite ulaz i očekivani rezultat iz pravila. Uporedite s testovima iz tests/test_napojnica.py (poglavlje 5). Koja granica nedostaje?

Korak 2 – Pokretanje nad v0 (30 minuta)

1. U primjeri/deliveryapp pokrenite pytest -q tests/test_granice.py tests/test_narudzba.py tests/test_prelazi.py nad ispravnom verzijom: mora proći sve. Zatim $env:DeliveryApp="v0" (PowerShell) i ponovo. Zapišite koji testovi padaju (očekuje se 10 padova: 8 iz test_granice.py, 1 iz test_narudzba.py, 1 iz test_prelazi.py). Ostale testove u folderu upoznajemo u poglavlju 9.
2. Popunite tabelu: test koji pada, ulaz, očekivano, dobijeno.

Korak 3 – Detektivski rad (60 minuta)

1. Za svaki pad otvorite deliveryapp_v0.py i nađite red koji ga izaziva. Sada smijete gledati kod.
2. Grupišite padove po greškama: više padova može imati isti uzrok. Dajte svakoj grešci oznaku D-01, D-02… i kratak opis.
3. Za svaku grešku zapišite tehniku koja ju je našla (granična vrijednost, klasa ekvivalencije, tabela odlučivanja, prelazi stanja).
4. Vratite se na nalaz alata ruff iz poglavlja 7 (math uvezen, a nekorišten). Koja greška objašnjava taj nalaz?
5. Uporedite svoj spisak sa rješenjem u nastavku tek kad završite.

Korak 4 – Testovi koji fale (45 minuta)

1. Napravite tests/test_tabela.py sa pet testova iz tabele odlučivanja (P1 – P5 iz 8.4) preko funkcije ukupno. Koji od njih padaju na v0 i zbog koje greške?
2. Napravite tests/test_parovi.py s bar četiri reda iz tabele po parovima (8.6) pretvorena u konkretne narudžbe s očekivanim iznosom. Parametar „plaćanje” DeliveryApp u kodu nema, pa ga zapišite samo kao komentar.
3. Dodajte bar pet testova iz liste za pogađanje grešaka (8.7). Za one na koje pravila ne odgovaraju zapišite pitanje u rezultati-8.md umjesto testa.

Korak 5 – Web stranica (15 minuta)

Otvorite web/index.html?v=0 (kao u poglavlju 3) i ručno ponovite tri testa koja su na v0 pala: 30,00 € na 5 km, kod student10, otkazivanje u pripremi. Da li stranica griješi isto kao Python kod?

Rezultat koji se predaje: fajl rezultati-8.md s tabelom klasa i granica za PP-8; tabela padova nad v0; spisak grešaka D-01 … D-05 s redom koda, opisom i tehnikom; tests/test_tabela.py, tests/test_parovi.py i testovi pogađanja; pitanja za vlasnika proizvoda; rezultat ručne provjere web stranice.

Vježba za studenta 1 – klase.

Vježba za studenta 1 – klase. – rješenje

Vježba za studenta 2 – granice.

Vježba za studenta 2 – granice. – rješenje

Vježba za studenta 3 – tabela odlučivanja.

Vježba za studenta 3 – tabela odlučivanja. – rješenje

Vježba za studenta 4 – prelazi stanja.

Vježba za studenta 4 – prelazi stanja. – rješenje

Vježba za studenta 5 – pogađanje.

Vježba za studenta 5 – pogađanje. – rješenje

Sažetak u pet rečenica

1. Brojač pregleda „Gangnam Style” približio se 2014. najvećem 32-bitnom broju 2 147 483 647, što pokazuje da greške žive na granicama i da ih treba tražiti iz specifikacije.
2. Klase ekvivalencije dijele ulaze na skupove koji se ponašaju isto, pa je iz svake dovoljan jedan predstavnik, a nevažeće klase se testiraju jedna po jedna.
3. Analiza graničnih vrijednosti testira granicu i vrijednost odmah do nje, za DeliveryApp 0, 3 i 10 km, te 5,00 €, 30,00 € i 50,00 €, i ona je našla D-01, D-02 i D-05.
4. Tabela odlučivanja pokriva pravila s više uslova (pet kolona za dostavu i popust), prelazi stanja provjeravaju 7 dozvoljenih i 42 nedozvoljena prelaza narudžbe, a testiranje po parovima smanjuje 72 kombinacije na 9.
5. Pogađanje grešaka iz iskustva dopunjuje sistematske tehnike, a svih pet grešaka prve verzije DeliveryApp našle su tehnike crne kutije iz pravila, bez gledanja koda.

Pitanja za ponavljanje

1. Šta se desilo s brojačem pregleda „Gangnam Style” i kakve to veze ima s testiranjem?
2. Šta je testiranje crnom kutijom i koja je njegova prednost u odnosu na bijelu kutiju?
3. Šta je klasa ekvivalencije? Navedite klase za udaljenost u DeliveryApp.
4. Zašto se važeće klase smiju kombinovati u jednom testu, a nevažeće ne?
5. Zašto su greške na granicama česte?
6. Koja je razlika između analize graničnih vrijednosti s dvije i s tri vrijednosti?
7. Navedite granične vrijednosti za pravila PP-1 i PP-4 s očekivanim rezultatima.
8. Kada se koristi tabela odlučivanja? Kako se iz nje prave testovi?
9. Kolika je cijena N-1002 sa STUDENT10 i koju rečenicu pravila PP-5 provjerava taj test?
10. Kako se testiraju prelazi stanja? Koliko dozvoljenih i nedozvoljenih prelaza ima narudžba?
11. Zašto skup dozvoljenih prelaza u testu ne treba uvoziti iz koda?
12. Šta je testiranje po parovima i zašto ima smisla?
13. Šta je pogađanje grešaka? Navedite pet kategorija ulaza.
14. Nabrojte greške D-01 … D-05 i tehniku koja je našla svaku.