Agent agent F A PAQT
Narzędzie AI, które wykonuje zadanie wieloetapowe z użyciem innych narzędzi (uruchamia kod, czyta pliki, przegląda strony) i podejmuje kroki pośrednie bez polecenia dla każdego z nich.
Słownik standardu PAQT to jedno miejsce, w którym standard mówi, co znaczy każde pojęcie użyte w syllabusach, na egzaminach i w materiałach akredytowanych dostawców. Każde hasło ma termin polski, odpowiednik angielski, definicję dla klasy narzędzi (bez nazw produktów), poziomy, na których obowiązuje (F Foundation, A Advanced, S-TA Specialist: Test Automation), kody kompetencji, w których występuje, oraz źródło definicji: PAQT, T (termin przyjęty w testowaniu), AI Act, RODO, ustawy, OWASP.
Wersja do druku: PAQT: Słownik standardu 1.0, projekt do przeglądu rady programowej, PDF, 71 stron, 6,3 MB. Zawiera też zasady definiowania, reguły pierwszeństwa, wersjonowanie i załączniki.
Pobierzcie PDFNarzędzie AI, które wykonuje zadanie wieloetapowe z użyciem innych narzędzi (uruchamia kod, czyta pliki, przegląda strony) i podejmuje kroki pośrednie bez polecenia dla każdego z nich.
Agent, który dla nowych zgłoszeń proponuje priorytet, moduł i duplikaty; typowy kandydat na tryb z zatwierdzeniem, bo zmiana statusu zgłoszenia jest widoczna na zewnątrz zespołu.
Agent, który naprawia testy kruche i nieaktualne lokatory na osobnej gałęzi; wymaga celu wykluczającego zmianę oczekiwanego zachowania bez źródła w wymaganiu.
Agent, który na podstawie propozycji zmiany w kodzie aplikacji wyprowadza zmienione zachowanie i generuje dla niego testy; najwyższe ryzyko z trzech agentów, bo brak wygenerowanego testu nie daje sygnału.
Agent, który po niepowodzeniu sklasyfikowanym jako błąd testu poprawia lokator, oczekiwanie albo wywołanie w warstwie dostępu i oddaje wynik jako propozycję zmiany; nie może zmieniać asercji ani kroków.
Agent, który klasyfikuje niepowodzenia testów w czerwonym przebiegu (defekt aplikacji, błąd testu, środowisko, dane) i wskazuje prawdopodobną przyczynę; nie zmienia kodu.
Program uruchamiany w potoku CI, który wykonuje zadanie wieloetapowe z użyciem modelu językowego i narzędzi (odczyt repozytorium, uruchomienie testów, zmiana plików, utworzenie propozycji zmiany) pod tożsamością techniczną o ograniczonych uprawnieniach.
Agent uruchamiany przez potok integracji ciągłej (analiza wyników regresji, dobór testów, naprawa testów); pracuje na osobnej gałęzi, bez dostępu do sekretów produkcyjnych i bez prawa scalenia.
Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2024/1689 w sprawie sztucznej inteligencji. Art. 4 nakłada na dostawców i podmioty stosujące obowiązek zapewnienia odpowiedniego poziomu kompetencji w zakresie AI u personelu.
Advanced: Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2024/1689 w sprawie sztucznej inteligencji; w zakresie zespołu testowego dotyczy go wprost art. 4 o kompetencjach, a rozdział III tylko wtedy, gdy organizacja stosuje system wysokiego ryzyka.
Klasa systemów AI tworzących nową treść (tekst, kod, obraz, dane) na podstawie polecenia i danych treningowych.
Przypisanie testów niestabilnych do przyczyn (synchronizacja, dane współdzielone, zależność od kolejności, środowisko, defekt przerywany) na podstawie historii wykonań, z weryfikacją każdej grupy eksperymentem.
Ustalenie, dlaczego defekt wystąpił, na podstawie logu, kodu i reprodukcji; AI pomaga porządkować dane, wniosek potwierdza tester.
Identyfikacja i ocena ryzyk związanych z jakością produktu (prawdopodobieństwo i wpływ); AI porządkuje wejście do warsztatu ryzyka, ocenę nadaje zespół z biznesem.
Ustalenie, które obszary produktu i które testy dotyczy zmiana w kodzie albo wymaganiach; podstawa doboru testów do zmiany.
Nieodwracalne usunięcie albo zastąpienie danych wartościami syntetycznymi tak, że osoby nie da się zidentyfikować; dane zanonimizowane nie są danymi osobowymi (motyw 26 RODO).
Przekształcenie kopii danych produkcyjnych tak, żeby nie dało się zidentyfikować osób; wykonywana skryptem lokalnie, nigdy przez przekazanie danych do modelu.
Struktura zestawu testów automatycznych: warstwy, zależności między nimi, konwencje i narzędzia. W PAQT dodatkowo: cechy, które pozwalają modelowi generować testy zgodne z tą strukturą.
Przepis określający obowiązki podmiotu przetwarzającego i wymóg umowy powierzenia, gdy dane osobowe przetwarza w imieniu administratora inny podmiot, na przykład dostawca narzędzia AI.
Przepis rozporządzenia (UE) 2024/1689 nakładający na dostawców i podmioty stosujące obowiązek zapewnienia, w miarę możliwości, odpowiedniego poziomu kompetencji w zakresie AI u personelu i innych osób działających w ich imieniu.
Sprawdzenie w teście automatycznym, czy wynik rzeczywisty jest zgodny z oczekiwanym; test bez asercji nic nie sprawdza.
Specialist: Test Automation: Instrukcja w teście sprawdzająca, czy wynik rzeczywisty jest zgodny z oczekiwanym. Asercja na wynik biznesowy sprawdza wartość albo stan z przypadku testowego; asercja na widoczność, typ albo brak wyjątku jest słaba.
Narzędzie AI w formie okna rozmowy, które przyjmuje tekst i zwraca tekst; widzi tylko to, co użytkownik wklei.
Narzędzie AI zintegrowane ze środowiskiem programistycznym, które podpowiada, generuje i poprawia kod w kontekście otwartego projektu.
Atrybut elementu interfejsu dodany wyłącznie na potrzeby testów (np. data-testid), dający stabilny lokator niezależny od wyglądu i układu strony.
Atrybuty elementów interfejsu nadane wyłącznie na potrzeby testów (np. data-test), stabilne i niezależne od tekstu, stylu i układu strony; pierwszy poziom hierarchii lokatorów.
Niezależne sprawdzenie, czy użycie AI w zespole jest zgodne z polityką, umowami i prawem; dowodami są rejestr użycia AI, polityka zespołu, oceny dostawców i dziennik incydentów.
Zbiór dokumentów zespołu (wymagania, specyfikacje, historia defektów) udostępniony modelowi przez wyszukiwanie; wymaga właściciela, aktualizacji i klasyfikacji danych.
Zbiór szablonów poleceń zespołu dla powtarzalnych zadań, z właścicielem i wersją.
Błąd w wyniku AI, w którym poszczególne zdania albo kroki są poprawne, ale wniosek, kolejność albo warunek nie wynika z przesłanek; trudniejszy do wykrycia niż halucynacja.
Limit wywołań modelu, iteracji albo kosztu ustalony przed uruchomieniem procesu generowania albo agenta i egzekwowany mechanizmem, nie instrukcją.
Górne ograniczenie kosztu, czasu albo liczby kroków, po którym agent zatrzymuje się i przekazuje stan człowiekowi; jeden z ośmiu elementów projektu agenta.
Budżet na partię i moduł w procesie generowania wielu testów naraz; przekroczenie jest sygnałem złego wejścia, nie powodem do podniesienia limitu.
Element polecenia określający, co ma powstać i po co; bez celu model wybiera własną interpretację zadania.
Wynik, który organizacja chce osiągnąć testowaniem (czas wydania, defekty na produkcji, koszt regresji, zgodność); punkt wyjścia strategii użycia AI.
Technika sprawdzenia testu: tester zmienia oczekiwaną wartość albo kod i sprawdza, czy test przestaje przechodzić; test, który nadal przechodzi, niczego nie sprawdza.
Zmiana wprowadzona do kodu aplikacji w celu sprawdzenia, czy testy ją wykryją; używana w podwójnym uruchomieniu przy migracji; odpowiednik mutanta na poziomie modułu.
Rodzaj licencji otwartego oprogramowania (np. GPL), który wymaga, aby utwory pochodne były udostępniane na tej samej licencji; fragment takiego kodu w wygenerowanym teście może objąć tym wymogiem kod projektu.
Metryka: czas od otrzymania zgłoszenia albo logu do sformułowania hipotezy przyczyny; porównywana przed użyciem AI i po nim.
Metryka: czas od otrzymania wymagania do gotowego zestawu warunków, przypadków i danych testowych; podstawowa miara efektu AI na poziomie zadania.
Czas od zakończenia prac rozwojowych do wdrożenia wersji; miara efektu AI na poziomie biznesu, zależna także od czynników poza testowaniem.
Czas przebiegu zestawu testów w potoku; jedna z sześciu miar zestawu; wzrost szybszy niż wzrost pokrycia oznacza zestaw droższy bez korzyści.
Zapis defektów z poprzednich wydań z modułem, wagą, czasem naprawy; wejście do analizy ryzyka i szacowania z AI, pod warunkiem anonimizacji.
Informacje o zidentyfikowanej albo możliwej do zidentyfikowania osobie fizycznej (art. 4 pkt 1 RODO); w testach najczęściej imię i nazwisko, adres e-mail, numer identyfikacyjny, dane w logach i zrzutach ekranu.
Dane z działającego systemu, pochodzące od realnych użytkowników albo klientów; nie wolno ich przekazywać do narzędzi AI bez anonimizacji i zgody wynikającej z polityki AI organizacji.
Dane testowe, w których rekordy są powiązane kluczami obcymi i regułami spójności; generator musi tworzyć je w kolejności zależności i sprawdzać reguły.
Dane testowe wygenerowane sztucznie, niepochodzące od realnych osób ani z systemów produkcyjnych.
Specialist: Test Automation: Dane wytworzone generatorem według schematu i reguł, nieodnoszące się do żadnej rzeczywistej osoby ani rekordu produkcyjnego; domyślne źródło danych testowych.
Dane potrzebne do wykonania testu: wejścia, stan początkowy i oczekiwane wyniki; w pracy z AI powstają jako dane syntetyczne, nigdy z danych produkcyjnych.
Specialist: Test Automation: Dane potrzebne do wykonania testu. W PAQT: pochodzą z generatora albo pliku danych, są syntetyczne, nie są wpisywane w teście na stałe.
Hasła, klucze API, tokeny sesji i certyfikaty; nigdy nie trafiają do narzędzi AI, także w logach i fragmentach kodu.
Wartości testowe wpisane na stałe w kodzie testu (adresy, loginy, identyfikatory); typowy błąd w wygenerowanym kodzie, który utrudnia utrzymanie i może ujawniać dane.
Data, po której model nie ma danych treningowych; model może nie znać nowszych wersji narzędzi i bibliotek.
Decyzja zarządu o rozszerzeniu, utrzymaniu albo ograniczeniu użycia AI w testach, podejmowana między wariantami z kosztem, efektem i warunkami zmiany.
Wykrycie i usunięcie testów powielonych (ten sam warunek sprawdzany w kilku testach); model jako pierwszy filtr par podobnych, człowiek decyduje, który test zostaje.
Defekt aplikacji, który ujawnia się tylko w części wykonań (wyścig, zależność od czasu, od obciążenia); wygląda jak test niestabilny, a jest prawdziwym defektem.
Koszt przyszłej pracy wynikający z decyzji, które były szybsze w chwili podjęcia; w zestawie testów: logika w testach, lokatory strukturalne, dane na stałe, brak warstw.
Dług techniczny w zestawie testów; model generujący testy na podstawie zadłużonego kodu powiela dług w każdym nowym teście.
Zasada: najmniejszy model, który przechodzi zestaw wzorcowy zespołu dla danego zadania; dobór per zadanie, mierzony, nie zakładany.
Wybór podzbioru testów regresji na podstawie analizy wpływu zmiany; wymaga zabezpieczenia pełną regresją w stałym rytmie i pomiaru przepuszczonych defektów.
Ocena zespołu w pięciu wymiarach użycia AI (kompetencje, zasady, narzędzia, pomiar, nadzór) z trzema stopniami i następnym krokiem dla każdego wymiaru.
Opis elementów interfejsu albo API utrzymywany w kodzie i sprawdzany w potoku (każdy lokator istnieje i jest jednoznaczny), z którego asystent generuje lokatory i wywołania bez zgadywania.
Jedno z trzech kryteriów decyzji o użyciu AI: czy tester może przekazać modelowi materiał potrzebny do zadania (wymaganie, kod, konwencję) bez naruszenia zasad ochrony danych.
Technika weryfikacji: ten sam wynik albo to samo zadanie przekazane innemu modelowi w celu porównania; różnice wskazują miejsca do sprawdzenia przez człowieka.
Stopniowa zmiana jakości wyników AI w czasie bez zmiany po stronie zespołu, zwykle po zmianie modelu u dostawcy; wykrywany testem regresji poleceń i pomiarem odrzuceń.
Zgłoszenie defektu opisujące tę samą przyczynę, co zgłoszenie już istniejące, niezależnie od różnic w objawach i słowach.
Model statystyczny trenowany na dużych zbiorach tekstu, który generuje kolejne fragmenty tekstu na podstawie kontekstu.
Ustrukturyzowany zapis każdego uruchomienia agenta: wejście, kroki (narzędzie, argumenty bez sekretów, wynik), decyzje z uzasadnieniem, koszt, wynik; przechowywany poza repozytorium.
Zapis każdego działania agenta z uzasadnieniem, wejściem i wynikiem; podstawa analizy niechcianego działania i nadzoru.
Prosty zapis, w jakich zadaniach i z jakim narzędziem użyto AI oraz jaki był wynik weryfikacji; źródło danych do metryk i do przeglądu zasad zespołu.
Zmiana w czasie, jakości albo ryzyku przypisywana użyciu AI, mierzona względem linii bazowej na poziomie zadania, procesu i biznesu; podawana z przedziałem niepewności.
Zaplanowane porównanie wykonania tego samego zadania z AI i bez niej, z linią bazową, metryką i określonym czasem trwania; podstawa decyzji o skali użycia.
Europejski Obszar Gospodarczy; przekazanie danych osobowych do dostawcy narzędzia AI poza EOG wymaga podstawy prawnej z RODO.
Samonaprawa lokatora, która dopasowała test do innego elementu niż zamierzony; test przechodzi, ale nie sprawdza tego, co miał. Odmiana maskująca: element zniknął z powodu defektu, a narzędzie dopasowało coś innego.
Element polecenia określający kształt wyniku: tabela, lista, Gherkin, JSON, długość.
Zestaw bibliotek, konwencji i narzędzi uruchamiających testy automatyczne w projekcie; asystent AI generuje kod w ramach frameworku, nie zamiast niego.
Generowanie z pomocą modelu wartości wejściowych niepoprawnych, brzegowych i nieoczekiwanych do testów negatywnych API; w tym module ograniczony do walidacji ze specyfikacji, testy bezpieczeństwa w osobnym module.
Osobna gałąź w repozytorium, na której agent zapisuje zmiany (z ustalonym przedrostkiem); agent nie ma prawa zapisu na gałęzi głównej.
Kod, który tworzy dane testowe według schematu, reguł spójności i rozkładów, z ziarnem zapewniającym powtarzalność; AI generuje generator, nie dane.
Tworzenie danych testowych na podstawie definicji tabel albo modelu domeny z zachowaniem typów, ograniczeń i relacji.
Generowanie testów API z dokumentu specyfikacji (OpenAPI, GraphQL, AsyncAPI) w pięciu klasach: ścieżka pozytywna, walidacja, autoryzacja, kody błędów, przypadki brzegowe; każda asercja odnosi się do pola specyfikacji.
Metoda, w której narzędzie wyszukuje fragmenty dokumentów dobrane do pytania i dołącza je do kontekstu modelu przed generowaniem; jakość zależy od aktualności dokumentów.
Źródło generowania o wysokiej wiarygodności dla struktury i niskiej dla reguł biznesowych; patrz generowanie testów ze specyfikacji.
Źródło generowania dające wierną sekwencję działań bez intencji i bez asercji; wymaga oczyszczenia, podniesienia na warstwę akcji i asercji z przypadku albo od człowieka.
Domyślne źródło generowania: przypadek z jednoznacznym wynikiem oczekiwanym, który przeszedł rubrykę wejścia; model tłumaczy, nie wymyśla.
Źródło generowania wymagające dwóch kroków (wyprowadzenie przypadków, potem kod) z zatrzymaniem po pierwszym; wysokie ryzyko zmyślenia zachowań, których wymaganie nie opisuje.
Format zapisu scenariuszy testowych w strukturze Zakładając, Gdy, Wtedy (Given, When, Then).
Zapis w dokumentacji procesu, która rola odpowiada za wynik AI, w jakim zakresie, w jakim momencie i jak potwierdza przyjęcie wyniku; nigdy przypisana do narzędzia.
Wynik AI, który brzmi wiarygodnie, ale nie ma oparcia w źródle ani w faktach. Przykłady: zmyślona metoda biblioteki, nieistniejący cytat, liczba niewystępująca w danych.
Uporządkowana lista sposobów wskazania elementu od najstabilniejszego: atrybut testowy, rola i nazwa dostępności, tekst etykiety, stabilny identyfikator, selektor strukturalny (zabroniony w nowych testach).
Przypuszczenie o przyczynie defektu sformułowane na podstawie logu albo objawów, do potwierdzenia albo odrzucenia przez reprodukcję; AI proponuje hipotezy, tester je sprawdza.
Wymaganie zapisane z perspektywy użytkownika, zwykle w formie „jako, chcę, aby”, z kryteriami akceptacji.
Zdarzenie naruszające zasady pracy z AI albo bezpieczeństwo danych (np. wklejenie danych produkcyjnych do narzędzia konsumenckiego), zgłaszane według polityki AI organizacji.
Advanced: Zdarzenie naruszające politykę AI albo bezpieczeństwo danych (dane w niedozwolonym narzędziu, wynik AI u klienta bez weryfikacji, niechciane działanie agenta); obsługiwane w kolejności: ograniczenie skutków, zgłoszenie, poprawka procesu.
Rozkazujące, jednoznaczne zdania w pliku kontekstu, które asystent czyta przy każdym zadaniu: co robić, czego nie robić, kiedy się zatrzymać.
Połączenie narzędzia AI z systemami zespołu (zarządzanie testami, zgłoszenia, repozytorium, potok CI) bez ręcznego kopiowania; wymaga konta technicznego z najmniejszymi uprawnieniami i dziennika zapisów.
Powtórzenie cyklu polecenie, wynik, ocena, korekta aż do spełnienia kryteriów akceptacji; podstawowy sposób pracy z AI zamiast jednego długiego polecenia.
Oznaczanie wyników powstałych z udziałem AI w repozytorium, dokumentacji i komunikacji z klientem, wraz ze sposobem weryfikacji.
Procedura, w której kilka osób ocenia ten sam zestaw wyników rubryką, a rozbieżności większe niż jeden poziom skali służą do poprawy rubryki.
Rodzaj błędu w wyniku AI (halucynacja, błąd logiczny, brak pokrycia, naruszenie formatu, naruszenie danych) zapisywany przy odrzuceniu; podstawa diagnozy przyczyn wzrostu odrzuceń.
Technika projektowania testów dzieląca dziedzinę wejścia na klasy, w których system zachowuje się tak samo; jeden test na klasę.
Podział danych organizacji na kategorie (np. publiczne, wewnętrzne, poufne, dane osobowe) określający, które z nich wolno przekazać do narzędzia AI i do jakiego.
Advanced: Podział danych organizacji na kategorie (publiczne, wewnętrzne, poufne, ściśle poufne) przełożony na artefakty testowe; określa, który artefakt może trafić do którego narzędzia.
Liczbowy kod stanu w odpowiedzi HTTP (np. 200, 404, 500); w testach API podstawowe oczekiwanie w asercji obok treści odpowiedzi.
Umiejętności, wiedza i zrozumienie pozwalające świadomie wdrażać systemy AI oraz rozumieć ich szanse i ryzyka (art. 3 pkt 56 AI Act).
Przekaz odpowiadający na pięć pytań decydenta: cel, koszt, efekt, ryzyko, termin; osobny od komunikacji do zespołu.
Przekaz odpowiadający na trzy pytania pracownika: co się zmienia w mojej pracy, czego się ode mnie oczekuje, gdzie dostanę pomoc.
Materiał dostarczony modelowi: wymaganie, kod, konwencja, ograniczenia; bez kontekstu model zgaduje.
Informacje o projekcie przekazane asystentowi w IDE: struktura katalogów, konwencje nazewnictwa, używany framework, przykładowy test; bez nich wygenerowany kod nie pasuje do projektu.
Advanced: Informacje o projekcie dostarczane modelowi powtarzalnie: polecenie systemowe zespołu, plik kontekstu w repozytorium, baza wiedzy z wyszukiwaniem.
Technika weryfikacji, w której tester sprawdza dokładnie wybraną część wyniku AI i na tej podstawie decyduje o sprawdzeniu reszty; najniższy próg weryfikacji.
Zasady nazw testów, metod i plików, oznaczania wymagań, języka komentarzy; zapisane w pliku kontekstu i pokazane we wzorcach.
Skutek niewykrytego błędu w wyniku AI (czas, pieniądze, reputacja, zgodność); podstawa doboru progu weryfikacji.
Suma kosztów użycia AI w okresie: licencje, wywołania (w tym agentów), czas nauki, czas weryfikacji wyników, utrzymanie biblioteki poleceń i zestawu wzorcowego, ocena dostawców.
Koszt naprawy, przestoju, obsługi klienta i skutków umownych defektu wykrytego po wdrożeniu; składnik kosztu jakości i miara efektu na poziomie biznesu.
Suma kosztów zapobiegania, oceny i skutków błędów (wewnętrznych i zewnętrznych) w organizacji; rama do przedstawienia efektu AI zarządowi.
Koszt użycia modelu liczony jako liczba uruchomień razy tokeny wejścia i wyjścia na uruchomienie razy cena; liczony przed wdrożeniem i co miesiąc z rzeczywistymi liczbami.
Uporządkowana lista czynności, która pozwala innej osobie wywołać ten sam defekt; obowiązkowy element zgłoszenia.
Warunki, które musi spełnić wynik (produktu albo pracy AI), żeby został przyjęty.
Zapisane z góry warunki, przy których wynik AI jest odrzucany w całości (np. zmyślona funkcja, brak odniesienia do wymagania, naruszenie formatu), niezależnie od jakości reszty.
Niezmienny zestaw kryteriów oceny narzędzia AI (dane, koszt, jakość wyniku, integracja), stosowany tak samo do każdego porównywanego narzędzia.
Warunek, przy którym agent kończy pracę niezależnie od budżetu: cel osiągnięty, cel nieosiągalny, działanie wymagające zatwierdzenia, wykryte wstrzyknięcie polecenia.
Specialist: Test Automation: Warunek, po którym agent oddaje zadanie człowiekowi: zadanie wykonane zgodnie z regułami, budżet wyczerpany, wymagane działanie zabronione, zmiana przekracza zakres, podejrzenie defektu.
Wydzielony zbiór testów niestabilnych, które nie blokują potoku, z limitem czasu, właścicielem i kryterium powrotu; uruchamiane w każdym przebiegu bez blokowania.
Warunki, na jakich wolno używać, zmieniać i rozpowszechniać kod; kod wygenerowany przez AI może odtwarzać fragmenty objęte licencją, co tester sprawdza przed włączeniem do repozytorium.
Warunki użycia pakietów dodawanych do projektu testów; kontrola licencji jest jednym z pięciu pytań kontroli zależności.
Metryka jakości: ile zmian wprowadzono w materiale po przeglądzie; porównanie dla materiałów z AI i bez niej pokazuje, czy AI nie obniża jakości.
Egzekwowany mechanizmem próg kosztu na trzech poziomach: uruchomienie agenta (przerwanie), dzień potoku (wyłączenie kroku), miesiąc (twardy limit u dostawcy albo w bramce).
Wartość metryki zmierzona przed użyciem AI; punkt odniesienia dla pomiaru efektu.
Advanced: Wartość miary zmierzona przed zmianą, punkt odniesienia dla oceny efektu; bez niej raport o efekcie jest nieweryfikowalny.
Utrzymywana w repozytorium lista pakietów i wersji dopuszczonych w projekcie testów; zależność spoza listy blokuje scalenie niezależnie od autora; dodanie do listy wymaga osobnej propozycji przez człowieka.
Osiem pytań przeglądu testu wygenerowanego przez AI (intencja, asercja, logika, lokatory, dane, oczekiwania, sekrety, niezależność) plus celowe zepsucie asercji.
Zapis zdarzeń systemu albo aplikacji w kolejności czasowej, z komunikatami i poziomami ważności; materiał wejściowy do analizy defektu po usunięciu danych wrażliwych.
Sposób wskazania elementu interfejsu w teście automatycznym: selektor CSS, XPath, atrybut testowy, rola i nazwa dostępności.
Specialist: Test Automation: Sposób wskazania elementu interfejsu w teście; w PAQT zapisany wyłącznie w mapie elementów albo obiekcie strony, zgodny z hierarchią, wskazujący dokładnie jeden element.
Lokator zaproponowany przez mechanizm samonaprawy; dopuszczalny wyłącznie jako propozycja zmiany w mapie elementów do przeglądu, nie jako cicha zmiana w czasie wykonania.
Sekwencja poleceń, w której wyjście jednego jest wejściem następnego; w przepływie pracy każde ogniwo ma kryterium akceptacji i obsługę odrzucenia.
Zestawienie wymagań z przypadkami testowymi, które pokazuje wymagania bez testów i testy bez wymagań. Na poziomie Specialist: Test Automation jest generowana skryptem z adnotacji w kodzie testów przy każdym przebiegu, a nie utrzymywana ręcznie.
Zestawienie etapów procesu testowego z punktami zastosowania AI, klasą narzędzia, poziomem autonomii i rolą odpowiedzialną za wynik; dokument wersjonowany.
Zastąpienie części wartości znakami zastępczymi (np. ostatnich cyfr numeru) tak, aby zachować format, a ukryć treść; stosowane przed wklejeniem logu albo zrzutu do narzędzia AI.
Osoba w zespole wyznaczona do wsparcia innych w pracy z AI: odpowiada na pytania, przegląda polecenia, prowadzi społeczność praktyków; rola z wyznaczonym czasem.
Mierzalna wielkość opisująca zadanie albo wynik (czas, liczba poprawek, odsetek odrzuceń), porównywana z linią bazową.
Kraj albo region, w którym dostawca narzędzia AI przetwarza i przechowuje dane; element oceny dostawcy ze względu na wymogi RODO i umów z klientami.
Pomiar, ile osób i w ilu zadaniach używa AI oraz czy korzysta z biblioteki poleceń; pokazywany zawsze obok odsetka odrzuceń, bo sama adopcja nie mówi o jakości.
Przepisanie zestawu testów z jednego frameworku na inny; w PAQT partiami według modułu, z podwójnym uruchomieniem i podniesieniem jakości.
Przepisanie zestawu testów na inny język programowania; te same zasady co migracja frameworku.
Model AI uruchomiony na serwerach dostawcy; dane są przesyłane do dostawcy na warunkach umowy albo regulaminu.
Model AI uruchomiony na sprzęcie organizacji; dane nie opuszczają infrastruktury firmy.
Model uruchamiany na infrastrukturze organizacji do zadań o dużej liczbie wywołań (przegląd setek testów, grupowanie historii, odzyskiwanie intencji); koszt stały zamiast zmiennego, dane nie opuszczają organizacji.
Sposób rozmieszczenia obowiązków związanych z AI w QA w organizacji: każdy zespół samodzielnie, centrum kompetencji, model mieszany.
Jedno z trzech kryteriów decyzji o użyciu AI: czy tester potrafi sprawdzić wynik w rozsądnym czasie; zadanie, którego wyniku nie da się zweryfikować, nie nadaje się do AI.
Wersja kodu z jedną sztuczną zmianą (operator, warunek, stała, wywołanie) wprowadzoną przez narzędzie testów mutacyjnych. Mutant zabity: co najmniej jeden test nie przeszedł. Mutant przeżyty: wszystkie testy przeszły. Mutant równoważny: zmiana nie zmienia zachowania.
Zasada, według której narzędzie AI, zwłaszcza agent, dostaje dostęp tylko do tych plików, systemów i działań, które są niezbędne do zadania.
Zmiana testu, która sprawia, że przechodzi, bez naprawienia przyczyny: usunięcie albo osłabienie asercji, zmiana wartości oczekiwanej, usunięcie kroku, dodanie ponowienia, obsługa wyjątku, pominięcie testu.
Funkcje, które agent może wywołać (odczyt i zapis plików, uruchomienie testów, zapytanie do systemu zgłoszeń); lista narzędzi jest elementem projektu agenta i ogranicza zakres działań.
Narzędzie AI udostępnione przez organizację na warunkach umowy z dostawcą, z ustaleniami o retencji, braku trenowania na danych i miejscu przetwarzania.
Narzędzie AI dostępne na regulaminie dla osób prywatnych, często z prawem dostawcy do użycia rozmów do trenowania; nie służy do pracy z danymi klienta ani pracodawcy.
Narzędzie testowe albo projektowe (system zgłoszeń, narzędzie do testów, IDE), do którego producent dodał funkcje oparte na AI; jedna z czterech klas narzędzi.
Nazwy testów, które mówią, jakie zachowanie jest sprawdzane i w jakich warunkach; dla modelu nazwa jest częścią polecenia.
Właściwość, przez którą to samo polecenie może dać różne wyniki w kolejnych wywołaniach.
Źródło oporu wobec AI wynikające z niepewności o przyszłość roli; odpowiedzią jest jasna komunikacja o rolach i plan kompetencji, nie prezentacja korzyści.
Zestaw miar i dziennik pozwalające odpowiedzieć, co agent zrobił i dlaczego, ile kosztował, jak często się myli, czy przyspiesza pracę i czy coś poszło źle; przeglądane w stałym rytmie.
Sprawdzenie dostawcy narzędzia AI według listy kontrolnej (miejsce przetwarzania, retencja, trenowanie na danych, podwykonawcy, umowa powierzenia, certyfikaty, usunięcie danych, dziennik użycia) z datą i wersją warunków.
Użycie modelu AI do oceny wyników innego wywołania AI według rubryki; skaluje ocenę na całość, ale wymaga próbki ocenionej przez człowieka jako punktu odniesienia, bo oba modele mogą dzielić błędy.
Porównanie narzędzia AI według kryteriów stałych na potrzeby własnej pracy; wybór narzędzi dla organizacji należy do poziomu Advanced.
Analiza ryzyk związanych z użyciem konkretnego narzędzia albo przepływu AI (dane, błędne wyniki, zależność od dostawcy, koszt) przed dopuszczeniem; element polityki i rejestru.
Oczekiwanie w teście na określony warunek (element widoczny, odpowiedź odebrana) zamiast na upływ czasu; usuwa główną przyczynę testów kruchych.
Osoba albo rola, dla której powstaje raport z testów; decyduje o poziomie szczegółu, języku i doborze liczb w raporcie.
Zasada, że za wynik użyty w pracy odpowiada osoba, która go użyła, a nie narzędzie AI; udział AI nie przenosi odpowiedzialności.
Metryka: udział wyników AI odrzuconych po weryfikacji w liczbie wszystkich uzyskanych; wysoki odsetek wskazuje złe polecenia albo zadanie nienadające się do AI.
Advanced: Udział wyników AI odrzuconych po weryfikacji rubryką w liczbie ocenionych, mierzony w rozbiciu na artefakt, narzędzie i polecenie; podstawowa miara jakości na poziomie zespołu.
Składnik kosztu błędu: czy skutek niewykrytego błędu da się cofnąć (poprawka w repozytorium), czy nie (wysłany raport, decyzja o wydaniu).
Ustalenie, co test ze starszego zestawu sprawdza, jakiego wymagania dotyczy i jakich danych używa, z pomocą modelu i z weryfikacją na próbce przez uruchomienie i odczyt kodu.
Maksymalna ilość treści (w tokenach), którą model bierze pod uwagę w jednym wywołaniu, łącznie z poleceniem, historią rozmowy i odpowiedzią.
Format opisu interfejsu API (dawniej Swagger) z listą punktów końcowych, parametrów i odpowiedzi; źródło kontekstu do generowania testów API.
Niechęć zespołu wobec zmiany sposobu pracy; ma zwykle jedno z pięciu źródeł (obawa o stanowisko, brak zaufania do wyników, brak czasu, złe doświadczenie, brak zasad) i każde wymaga innego działania.
Skrócenie regresji przez dobór testów do zmiany, równoległe wykonanie albo usunięcie testów bez wartości; z AI najczęściej przez dobór testów, zawsze z zabezpieczeniem.
Zapisanie przy wyniku (commit, dokument, zgłoszenie), że powstał z udziałem AI, wraz ze sposobem jego weryfikacji.
Wzorzec w automatyzacji testów, w którym elementy i akcje strony są zamknięte w osobnej klasie, a testy używają jej metod.
Zależność o nazwie wygenerowanej przez model, która nie istnieje albo została zarejestrowana przez osobę trzecią pod tą nazwą z kodem złośliwym.
Zapis wyników wywołań modelu dla powtarzalnych wejść, z kluczem obejmującym treść, wersję modelu i instrukcję; obniża koszt bez zmiany jakości.
Element ścieżki kompetencji: wszyscy testerzy w zespole na poziomie Foundation jako warunek wspólnego języka i zasad przed podnoszeniem poziomów autonomii.
Jeden test z tabelą danych, w której każdy wiersz reprezentuje klasę równoważności albo wartość brzegową; człowiek wskazuje klasy, model generuje wartości i kod.
Cecha wyników AI: ten sam pewny ton niezależnie od poprawności; główna przyczyna potrzeby weryfikacji.
Odizolowane środowisko dla agenta (osobna gałąź, kopia środowiska testowego, brak dostępu do sekretów produkcyjnych), w którym skutki działań są odwracalne.
Zasada analizy logu: w serii komunikatów o błędach przyczyną jest zwykle pierwszy, a kolejne są jego skutkami; AI proszona o streszczenie logu ma go wskazać.
Wdrożenie AI na jednym zespole i jednym procesie z kryteriami sukcesu ustalonymi przed startem, linią bazową i określonym czasem; podstawa decyzji o skalowaniu.
Zapis, co zostanie zmierzone, jak, w jakim okresie i względem jakiej linii bazowej, ustalony przed rozpoczęciem użycia AI w zadaniu.
Dokument z celami, pilotażem, kryteriami sukcesu, skalowaniem, harmonogramem i ryzykami wdrożenia AI w zespole testowym.
Opisany z góry sposób cofnięcia skutków działania agenta albo wdrożenia i osoba uprawniona do decyzji; element projektu agenta i planu wdrożenia.
Specialist: Test Automation: Część projektu agenta: wyzwalacze, wyłączenie jednym przełącznikiem, cofnięcie propozycji, powrót do trybu obserwacji, osoby uprawnione, komunikacja; testowany przez wykonanie.
Określenie celów, zakresu, podejścia, zasobów i harmonogramu testów; AI wspiera przygotowanie danych wejściowych, decyzje należą do kierownika testów.
Plik w repozytorium czytany przez asystentów i agentów przed każdym zadaniem: architektura, konwencje, polecenia uruchomienia, zasady lokatorów i danych, co wolno zmieniać, wzorce, kryteria gotowego testu; krótki, rozkazujący, utrzymywany jak kod.
Atak polegający na publikacji pakietu o nazwie podobnej do znanego (literówka, zamiana znaków, przedrostek) z kodem złośliwym; wykrywany kontrolą zależności i listą dopuszczonych.
Osoba albo organizacja korzystająca z systemu AI pod własną kontrolą w ramach działalności zawodowej (art. 3 pkt 4 AI Act); pracodawca testera używającego narzędzi AI.
Krótki raport z wykonania testów regresyjnych z liczbą testów, wynikami i defektami według wagi; każda liczba musi odpowiadać źródłu.
Dowód równoważności w migracji: stary i nowy test uruchomione na tej samej wersji systemu, także z celowym defektem, z tym samym wynikiem i w tym samym miejscu niepowodzenia.
Stopień, w jakim określone elementy (wymagania, warunki testowe, kod) zostały sprawdzone przez testy, wyrażony zwykle w procentach.
Odsetek elementów kodu (linie, gałęzie) wykonanych podczas testów; nie mówi, czy cokolwiek zostało sprawdzone.
Pokrycie kodu osiągnięte testami bez asercji na wynik; wygląda na wysokie, a nie wykrywa żadnego defektu; typowy wynik generowania bez rubryki wejścia.
Odsetek wymagań, które mają co najmniej jeden test; w PAQT liczony z macierzy generowanej z kodu.
Polecenia, w których model wykonuje zadanie etapami z zatrzymaniem i przeglądem po etapie (np. najpierw lista przypadków z wymagania, potem kod); obowiązkowe przy źródłach o wysokim ryzyku zmyślenia.
Treść przekazana modelowi: instrukcja, kontekst, przykłady, format oczekiwanego wyniku.
Polecenie po otrzymaniu wyniku, które nazywa konkretny brak i oczekiwaną zmianę.
Stałe instrukcje ustawione w narzędziu, obowiązujące w każdej rozmowie; w zespole służą do przekazania konwencji.
Advanced: Stałe instrukcje ustawione w narzędziu, obowiązujące w każdej rozmowie; w zespole nośnik konwencji formatu, słownika domeny i zasad weryfikacji.
Osobne polecenie, w którym model dostaje wynik i źródło i ma wskazać niezgodności; technika weryfikacji, która nie zastępuje sprawdzenia przez człowieka.
Dokument zespołu uszczegóławiający politykę organizacji: dozwolone narzędzia i wersje, klasy danych na artefakty testowe, progi weryfikacji, oznaczanie udziału AI, odpowiedzialność, postępowanie przy incydencie.
Dokument określający dopuszczone narzędzia, dane, obowiązek weryfikacji, oznaczanie udziału AI i odpowiedzialność.
Oznaczenie relacji między zgłoszeniami (duplikat, ta sama przyczyna, zależność), które porządkuje pracę nad defektami; AI może zaproponować powiązania do potwierdzenia.
Stopień, w jakim AI wykonuje zadanie bez udziału człowieka: asystent (proponuje), wykonawca z kontrolą przed użyciem, wykonawca z kontrolą po fakcie, agent z punktami kontroli; zmieniany na podstawie pomiaru.
Prawa twórcy do utworu, w tym do kodu źródłowego; status prawny kodu wygenerowanego przez AI nie jest rozstrzygnięty, a kod może odtwarzać cudze utwory.
Wskazanie przez AI modułów o podwyższonym ryzyku defektów na podstawie historii defektów, zmian w kodzie i złożoności; wynik jest hipotezą do warsztatu ryzyka, nie decyzją.
Stopień ważności biznesowej przypisany elementowi (wymaganiu, testowi, defektowi), określający kolejność pracy.
Jedyna dopuszczalna forma wyniku agenta zmieniającego kod: propozycja z gałęzi agenta z sekcjami diagnoza, zmiana, dowód, czego nie zrobiłem; scalana wyłącznie po zatwierdzeniu przez człowieka.
Ocena części wyników AI wybranej losowo, proporcjonalnie do wolumenu artefaktu; sposób pomiaru odsetka odrzuceń i kosztu weryfikacji bez oceny całości.
Wartość odsetka odrzuceń albo oceny rubryką, poniżej (albo powyżej) której zespół zmienia poziom autonomii, polecenie albo narzędzie; uzgodniony z góry, z okresem obserwacji.
Zakres sprawdzenia wyniku AI dobrany do kosztu błędu: od kontroli próbki po pełne śledzenie z udziałem eksperta.
Zakres, w którym z rozsądną pewnością mieści się efekt (np. skrócenie regresji o 20 do 35%); sposób komunikowania efektu zarządowi zamiast jednej liczby.
Sprawdzenie kodu przez inną osobę przed włączeniem do repozytorium; kod wygenerowany przez AI przechodzi go na tych samych zasadach co kod pisany ręcznie.
Przegląd testu listą kontrolną z ośmiu punktów; dla testów z AI obowiązkowy przed scaleniem, bo autor nie zna intencji tego, co napisał.
Weryfikacja wyniku AI przez niezależne polecenie, inny model albo inną osobę.
Spotkanie w stałym rytmie (np. co miesiąc), na którym zespół przegląda odsetek odrzuceń, kategorie błędów, metryki agentów, incydenty i politykę; element nadzoru.
Sprawdzenie planu testów przygotowanego z udziałem AI pod kątem wniosków wymagających wiedzy, której model nie miał (klient, historia produkcji, zobowiązania umowne).
Podział listy kontrolnej na punkty sprawdzane skryptem, punkty sprawdzane przez model jako pierwszy filtr i punkty wymagające człowieka (intencja, wynik biznesowy); wiarygodność modelu per punkt mierzona na zestawie z celowymi błędami.
Zasada zespołu: wyniki AI przechodzą przegląd według ustalonej rubryki przed użyciem; element wspólnych zasad zespołu.
Kontrola każdej nowej albo zmienionej zależności pięcioma pytaniami: istnienie, tożsamość, licencja, utrzymanie, podatności; w potoku jako blokada dla pakietów spoza listy.
Technika projektowania testów oparta na stanach systemu, zdarzeniach i dozwolonych przejściach między stanami.
Migracja zestawu testów w partiach według modułu, z których każda jest jednostką przeglądu, dowodu równoważności i wycofania.
Zapisany układ kroków z poleceniami, punktami kontroli człowieka, kryteriami akceptacji każdego kroku i obsługą odrzucenia, wykonywany tak samo przez każdego w zespole.
Powód, dla którego test pada przy zmianach niezwiązanych z jego intencją: selektor strukturalny, oczekiwanie stałe, dane na stałe, zależność od kolejności.
Technika podawania w poleceniu jednego do kilku przykładów wejścia i oczekiwanego wyjścia, po których model naśladuje wzorzec.
Testy w repozytorium wskazane w pliku kontekstu jako wzór do naśladowania przez model; patrz wzorce testów.
Zestaw warunków wstępnych, danych wejściowych, kroków i oczekiwanych rezultatów opracowany dla warunku testowego.
Testy z wejściem niepoprawnym (walidacja, autoryzacja, kody błędów) generowane ze specyfikacji API; każdy odpowiada zadeklarowanemu ograniczeniu albo kodowi.
Odwracalne zastąpienie danych kluczem przechowywanym osobno (art. 4 pkt 5 RODO); dane pseudonimizowane pozostają danymi osobowymi.
Miejsce w przepływie pracy albo działaniu agenta, w którym człowiek w określonej roli zatwierdza wynik przed kolejnym krokiem; stawiany tam, gdzie błąd się mnoży albo staje się nieodwracalny.
Etap albo zadanie w procesie testowym, w którym zespół używa AI; ma klasę narzędzia, poziom autonomii i rolę odpowiedzialną.
Dokument na jednej stronie: cel, koszt całkowity, efekt z przedziałem, ryzyka i nadzór, rekomendacja z wariantami i warunkami zmiany decyzji.
Dokument podsumowujący działania testowe i ich wyniki dla określonego odbiorcy.
Zmiana struktury kodu bez zmiany jego zachowania; przy kodzie testów oznacza, że testy po zmianie sprawdzają to samo i dają ten sam wynik.
Ewidencja narzędzi AI używanych w zespole z wersją, celem, klasą danych, osobą odpowiedzialną i datą oceny dostawcy; dowód nadzoru dla audytu i klienta.
Okres, przez który dostawca narzędzia AI przechowuje przekazane mu dane i rozmowy; element oceny narzędzia pod kątem danych.
Advanced: Okres, przez który dostawca narzędzia AI przechowuje przekazane dane i rozmowy; element oceny dostawcy, różny w wersji konsumenckiej, biznesowej i enterprise.
Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2016/679 o ochronie danych osobowych; podstawa zasad przekazywania danych do narzędzi AI.
Element polecenia wskazujący, z jakiej perspektywy model ma odpowiadać (np. tester, analityk); ukierunkowuje słownictwo i priorytety wyniku.
Zmiana ról pod wpływem AI: mniej pisania, więcej projektowania i weryfikacji; nowe role: opiekun biblioteki poleceń, właściciel agentów, oceniający jakość wyników.
Podział złożonego zadania na sekwencję mniejszych poleceń, z których każde ma sprawdzalny wynik; zmniejsza liczbę błędów i ułatwia weryfikację.
Właściwość nowego testu po migracji: przechodzi i pada w tych samych warunkach co stary, w tym na celowym defekcie; dowodzona podwójnym uruchomieniem.
Lista kryteriów z opisem, co znaczy spełnienie każdego z nich, używana do powtarzalnej oceny wyniku.
Advanced: Lista kryteriów oceny artefaktu ze skalą i opisem każdego poziomu skali; bez opisu poziomów oceny różnych osób są nieporównywalne.
Pięć pytań, które przypadek testowy musi przejść przed generowaniem: jednoznaczny wynik, wykonalne kroki, określone dane, jedno zachowanie, brak istniejącego pokrycia.
Funkcja narzędzi z AI, która po niepowodzeniu lokatora dopasowuje test do elementu najbardziej podobnego; dopuszczalna wyłącznie w trybie propozycji do przeglądu, nie w czasie wykonania.
Hasła, tokeny, klucze, łańcuchy połączenia w plikach repozytorium albo jego historii; w PAQT niedopuszczalne, bo każdy plik w repozytorium może trafić do kontekstu modelu.
Wyrażenie wskazujące element interfejsu (CSS, XPath); jeden z rodzajów lokatora.
Zdolność testu do wykrycia zmiany zachowania; mierzona wynikiem mutacyjnym i celowym zepsuciem asercji, nie pokryciem kodu.
Kontrola w potoku wykrywająca wzorce sekretów w propozycji zmiany i w dzienniku, blokująca scalenie; sekret wykryty jest uznany za ujawniony i rotowany.
Dokument opisujący operacje, pola, typy, ograniczenia i kody odpowiedzi API w formacie maszynowym (OpenAPI, GraphQL, AsyncAPI); najlepsze źródło generowania i jednocześnie pułapka, gdy jest przestarzała.
Grupa osób z różnych zespołów wymieniająca polecenia, rubryki i doświadczenia z AI w stałym rytmie; element ścieżki kompetencji i modelu mieszanego.
Odsetek uruchomień, w których test daje ten sam wynik bez zmiany kodu; jedna z sześciu miar zestawu.
Oczekiwanie w teście na ustalony czas (np. trzy sekundy) zamiast na warunek; typowa przyczyna testów kruchych i wolnych.
Hierarchia lokatorów plus zasady: lokator w jednym miejscu, dokładnie jeden element, zapis w pliku kontekstu, kontrola w potoku.
Dokument opisujący ogólne podejście do testowania w organizacji albo programie; strategia użycia AI jest jego rozdziałem.
Część strategii testów określająca, które cele testowania AI ma wspierać, w których punktach procesu, na jakim poziomie autonomii i z jakim pomiarem.
Polecenie o pełnej strukturze z polami do uzupełnienia, przeznaczone do wielokrotnego użycia.
Określenie pracochłonności testów; z AI tylko na danych historycznych zespołu i tylko jako przedział.
Przypisanie poziomów PAQT do ról w zespole (Foundation dla testerów, Advanced dla liderów i właścicieli procesu, Specialist dla specjalizacji) z kolejnością, terminami i mentorem.
Zapis kolejnych wywołań prowadzących do błędu, obecny w logach; zawiera nazwy klas i metod, a czasem dane, które trzeba usunąć przed wklejeniem do narzędzia AI.
Wskazanie dla każdego warunku albo przypadku testowego wymagania, z którego wynika; wyniku AI bez tego powiązania nie da się sprawdzić pod kątem pokrycia.
Technika projektowania testów zestawiająca kombinacje warunków z akcjami; każda kolumna to przypadek testowy.
Informacje techniczne, organizacyjne albo handlowe o wartości gospodarczej, wobec których podjęto działania w celu zachowania poufności (art. 11 ustawy o zwalczaniu nieuczciwej konkurencji); obejmuje kod źródłowy i dokumentację produktu.
Parametr generowania sterujący losowością wyboru tokenów; niższa daje wyniki bardziej powtarzalne.
Test wykonywany przez program według zapisanych kroków i asercji, bez udziału człowieka w trakcie wykonania.
Test w starszym zestawie, którego intencji nie opisuje ani nazwa, ani komentarz, ani dokument; przedmiot odzyskiwania intencji.
Test automatyczny, który bez zmiany kodu aplikacji raz przechodzi, a raz nie (niestabilny), albo pada przy zmianach niezwiązanych z jego intencją, takich jak układ strony, kolejność wykonania czy czas odpowiedzi. Oba zjawiska mają wspólne przyczyny: oczekiwanie na upływ czasu zamiast na stan, lokatory zależne od układu, dane współdzielone między testami.
Test nieuruchamiany (wyłączony, zakomentowany, poza konfiguracją) albo uruchamiany, ale zawsze zielony bez asercji na wynik.
Test bez asercji sprawdzającej wynik biznesowy (asercja na widoczność, na brak wyjątku albo żadna); przechodzi zawsze; przeżywa wszystkie mutanty.
Zestaw zadań wzorcowych z oczekiwanym kształtem wyniku i rubryką, uruchamiany po zmianie polecenia, po zmianie modelu i okresowo, żeby wykryć pogorszenie wyników.
Test sprawdzający wartość, którą sam ustawił, zamiast zachowania systemu; także asercja zabijająca mutanta przez negację wartości mutanta zamiast sprawdzenia wartości z wymagania.
Zbiorcze określenie testów pustych, tautologicznych, powielonych i nadmiarowych: przechodzą i nie zwiększają zdolności zestawu do wykrywania defektów.
Metoda oceny siły testów przez wprowadzanie sztucznych błędów (mutantów) do kodu i liczenie, ile z nich testy wykryły; uruchamiane na module w rytmie nocnym albo tygodniowym.
Podejście, w którym zakres, kolejność i głębokość testów wynikają z oceny ryzyka produktu; AI może porządkować dane do oceny, decyzja o priorytecie należy do zespołu.
Testy sprawdzające, że konsument i dostawca API zgadzają się co do kształtu wymiany (pola, typy, kody); kontrakt zawiera tylko pola faktycznie używane przez konsumenta.
Jednostka tekstu przetwarzana przez model, zwykle fragment słowa; podstawa limitów kontekstu i kosztu.
Specialist: Test Automation: Jednostka tekstu, w której model liczy wejście i wyjście i w której dostawca liczy koszt; składnik rachunku kosztu.
Osobne konto, pod którym działa agent, z prawem odczytu repozytorium, zapisu na gałęziach o ustalonym przedrostku i tworzenia propozycji; bez prawa scalenia i zatwierdzania.
Prawo dostawcy do użycia treści rozmów i plików użytkownika do uczenia modeli; sprawdzane w warunkach konkretnej wersji narzędzia przy ocenie dostawcy.
Prawo dostawcy narzędzia do użycia treści rozmów i plików użytkownika do uczenia modeli; sprawdzane w warunkach narzędzia przed przekazaniem jakichkolwiek danych.
Umowa między administratorem a podmiotem przetwarzającym wymagana przez art. 28 RODO; bez niej dostawca narzędzia AI nie może przetwarzać danych osobowych w imieniu organizacji.
Zakres działań dozwolonych agentowi albo integracji (odczyt, zapis, miejsce zapisu, systemy), nadawany według zasady najmniejszych uprawnień.
Zbiór narzędzi i praw dostępu agenta: najmniejszy, który pozwala wykonać zadanie; główna obrona przed skutkami błędu i wstrzyknięcia polecenia.
Technika weryfikacji kodu wygenerowanego przez AI: uruchomienie testu i sprawdzenie, czy przechodzi oraz czy przestaje przechodzić po celowym zepsuciu asercji.
Usunięcie z zestawu testów nieuruchamianych i zawsze zielonych przed migracją, z listą i uzasadnieniem każdej pozycji w historii repozytorium.
Praca nad istniejącymi testami automatycznymi po zmianach w aplikacji: naprawa lokatorów, aktualizacja danych, usuwanie testów kruchych.
Sprawdzenie, czy wynik AI odpowiada potrzebie i celowi zadania, a nie tylko czy jest poprawny formalnie; uzupełnia weryfikację.
Podział zestawu testów na test (intencja), akcje (kroki użytkownika), obiekty stron i klient API (dostęp do systemu), dane (generator); kierunek zależności w jedną stronę.
Technika projektowania testów sprawdzająca wartości na granicach klas równoważności i tuż obok nich.
Element systemu albo zachowanie, które można sprawdzić testem; pośredni krok między wymaganiem a przypadkiem.
Określony artefakt wchodzący do kroku przepływu z wymaganiami co do kompletności oraz określony format i miejsce zapisu wyniku kroku.
Zapisywanie zmian szablonu polecenia z numerem wersji i datą, tak aby zespół wiedział, która wersja dała dany wynik.
Advanced: Przechowywanie poleceń zespołu w repozytorium z wersją, właścicielem, przeglądem przed zmianą i testem regresji; przepływy odwołują się do wersji.
Sprawdzenie, czy wynik AI jest poprawny, kompletny i zgodny ze źródłem oraz formatem, zanim zostanie użyty.
Ustalenie w warunkach narzędzia i w polityce, do kogo należą wyniki wygenerowane z udziałem AI i czy dostawca ma do nich prawa; element oceny dostawcy.
Treść umieszczona w danych przetwarzanych przez AI (strona, plik, zgłoszenie), która zmienia jej zachowanie wbrew intencji użytkownika.
Advanced: Treść w danych przetwarzanych przez agenta (strona, plik, zgłoszenie, log), która zmienia jego zachowanie wbrew intencji; obrona jest elementem projektu agenta i jedną z przyczyn analizowanych w dzienniku.
Umieszczenie w komentarzu kodu, opisie zgłoszenia albo pliku repozytorium instrukcji, którą agent wykona jako polecenie; obrona: treść jako dane, ograniczenie uprawnień, kontrola działań poza zakresem.
Wstrzyknięcie polecenia ukryte w danych, które narzędzie AI przetwarza samo (strona, dokument, zgłoszenie), a nie w poleceniu użytkownika; główne ryzyko przy agentach.
Przekazanie sekretu do dostawcy modelu przez plik, który asystent w IDE włączył do kontekstu; zapobiega wykluczenie plików z kontekstu i brak sekretów w repozytorium.
Warunek albo zdolność, którą system musi spełnić, zapisane w sposób umożliwiający sprawdzenie.
Odsetek mutantów zabitych przez testy, bez mutantów równoważnych; miara siły zestawu na module.
Biblioteka krótkich, wzorowych testów dla typowych rodzajów (logowanie, formularz, lista, API z autoryzacją, dane z pliku) z opisem zastosowania, uruchamianych w potoku i wskazanych w pliku kontekstu.
Pakiety dodane do projektu przez asystenta albo agenta; każdy przechodzi kontrolę zależności i musi być na liście dopuszczonych.
Reguła strategii użycia AI: wynik AI jest wejściem do decyzji człowieka w roli odpowiedzialnej, a nie decyzją; wyższe poziomy autonomii przesuwają moment decyzji, nie usuwają go.
Uzgodniony w zespole zbiór reguł pracy z AI: dozwolone narzędzia i dane, obowiązek weryfikacji, oznaczanie udziału AI, biblioteka poleceń.
Czynność człowieka w punkcie kontroli agenta: zgoda na działanie nieodwracalne (scalenie, zamknięcie zgłoszenia, uruchomienie na środowisku z danymi) po sprawdzeniu treści, nie opisu.
Decyzja człowieka z listy przeglądających o scaleniu propozycji; wymagane dla każdej propozycji od agenta; zatwierdzenie przez tożsamość techniczną nie liczy się.
Zespół wybrany do pilotażu: reprezentatywny dla organizacji, z liderem gotowym do pomiaru, bez wyjątkowych ograniczeń danych; nie najbardziej entuzjastyczny.
Zestaw testów bez dokumentacji, z długiem technicznym, często w frameworku albo języku, z którego zespół chce odejść; przedmiot obszaru 8.
Stały zbiór zadań reprezentatywnych dla zespołu (przypadki testowe, wymagania, niepowodzenia testów) z wynikami uznanymi za dobre, będący własnością zespołu. Służy do porównywalnego pomiaru jakości narzędzi, poleceń, plików kontekstu i zmian modelu; rośnie o zadania z realnej pracy. W module Specialist: Test Automation liczy od ośmiu do piętnastu przypadków i jest uruchamiany przy każdej zmianie generatora.
Dokumentacja wystąpienia, charakteru i stanu defektu, z krokami reprodukcji, wynikiem oczekiwanym i rzeczywistym.
Wymóg, aby każda liczba w raporcie albo podsumowaniu wygenerowanym przez AI odpowiadała wartości w danych wejściowych; sprawdzana przed wysłaniem.
Właściwość API: konsument napisany pod starszą wersję działa z nowszą bez zmian; sprawdzana testami generowanymi z różnicy dwóch wersji specyfikacji.
Stosunek efektu wyrażonego w pieniądzu do kosztu całkowitego w okresie; podawany z przedziałem niepewności i z listą założeń, bez których liczba jest nieweryfikowalna.
Materiał, względem którego sprawdza się wynik AI: wymaganie, log, dane, dokumentacja; wyniku bez wskazanego źródła nie da się zweryfikować.
Przy rozbieżności między specyfikacją, testem i systemem: ten z trzech, który ma rację; rozstrzygany dowodami w kolejności: test zmyślony, specyfikacja przestarzała, defekt systemu.
Grupa marek jakości oprogramowania
największa konferencja QA w Polsce
portal ekspercki o jakości oprogramowania
pierwsza w Polsce platforma profili kompetencyjnych QA