AI obciaza backend inaczej niz klasyczny CRUD. Request moze streamowac, czekac na model, wywolywac narzedzia i dawac wynik czesciowy.
Solidny backend AI ma kolejki dla dlugich zadan, idempotency keys dla narzedzi, strukturalne trace i jasne zasady przechowywania promptow oraz odpowiedzi.
Sama latencja nie opowiada calej historii. Warto mierzyc akceptacje wynikow, poprawki uzytkownika, awarie narzedzi i realnie oszczedzony czas.