Tworzenie oprogramowania AI: prywatne LLM i AI w Twoim produkcie

Projekt przechodzi pięć kroków: discovery, proof of concept, MVP, uruchomienie i wsparcie. Każdy krok odpowiada na jedno pytanie.

Każdy projekt zaczynamy od bezpłatnego, podstawowego discovery: jedno spotkanie, po którym przygotowujemy podstawowy proof of concept albo makietę, dzięki czemu możemy oszacować koszt. Warsztat jest też oceną gotowości do AI. Sprawdzamy Twój produkt i dane, w tym to, czy dane mogą opuścić Twoją infrastrukturę, a także zasady prawne, bezpieczeństwa i firmowe oraz zadanie razem z testem, który pokaże, że działa. Podczas sesji pomaga nam własny toolkit AI, a po niej masz zakres, wycenę i zdefiniowany test sukcesu. W discovery dobieramy też rozmiar modelu i serwerów GPU do spodziewanego ruchu. Rozbudowane discovery to osobny, szerszy zakres, a czasem wynikiem jest rada, żeby w ogóle zrezygnować z modelu językowego.

PSONI, Polskie Stowarzyszenie na rzecz Osób z Niepełnosprawnością Intelektualną, zleciło nam Generator ETR. To aplikacja web i mobilna, która zamienia trudny tekst, na przykład pismo urzędowe, w język łatwy do czytania (ETR to skrót używany w Polsce dla tekstu łatwego do czytania). Umowę podpisano 26 lutego 2026 roku na 24 miesiące, do lutego 2028, i podzielono ją na osiem etapów.

Teksty wklejane przez użytkowników mogą być osobiste, więc publiczne API AI odpadło. Praca zaczęła się od proof of concept, w którym porównaliśmy dwa modele językowe na jednym zadaniu upraszczania tekstu: PLLuM 12B, polski model językowy, oraz wersję 26B typu mixture-of-experts modelu Gemma 4. Gemma 4 dała lepsze wyniki na danych projektu i została. Hostujemy ją sami na wynajętych serwerach GPU i udostępniamy przez vLLM, więc żaden tekst nie trafia do API dostawcy AI.

Generator ETR wyrósł z proof of concept na GPU do aplikacji web i mobilnej, a każda wersja modelu jest oceniana i recenzowana. Jego model, Gemma 4 26B A4B, ma 26 miliardów parametrów i aktywuje około 4 miliardów na token, ale wszystkie 26 miliardów muszą mieścić się w pamięci GPU. Dokumentacja Google podaje około 57,7 GB w 16 bitach, a 14,4 GB w 4-bitowej kwantyzacji (kwantyzacja zapisuje wagi modelu z mniejszą precyzją liczbową), przed doliczeniem pamięci podręcznej aktywnych rozmów. Serwery GPU dobieramy do takich wartości.

Skrypty wdrożeniowe uruchamiają instancję GPU, instalują vLLM z wagami Gemma 4 i udostępniają API zgodne ze specyfikacją OpenAI. Model działa na stałych instancjach GPU wynajmowanych od dostawcy, a od września 2026 roku, przed testami akceptacyjnymi PSONI, środowisko stagingowe działa na stałej mocy GPU, co utrzymuje model w gotowości.

Backend używa Django i Celery, a aplikacje React i React Native. Użytkownicy logują się na konto potwierdzone SMS-em. Telefon czyta tekst ze zdjęcia pisma za pomocą Google ML Kit i Apple Vision, a pliki PDF przechodzą osobnym potokiem na serwerze. Słownik wyjaśnia trudne słowa w kontekście zdania, synteza mowy podświetla czytany fragment, a wyniki można wyeksportować do DOCX. Historia przechowuje wcześniejsze uproszczenia, a opcja „uprość bardziej” daje jeszcze jeden poziom uproszczenia. Etap normalizacji rozwija skróty, daty i liczby oraz dopasowuje polskie liczebniki do rzeczowników, które liczą.

PSONI zdecydowało 1 października 2026 roku o udostępnieniu publicznego API, które jest w budowie. Ma cztery punkty końcowe: logowanie tokenem, generowanie tekstu ETR, listę tekstów użytkownika i podgląd wcześniejszego tekstu.

Pierwszy potok oceny dostarczyliśmy w czerwcu 2026 roku: pierwszy prompt systemowy, który każe Gemma 4 trzymać się zasad tekstu łatwego do czytania, skrypt w Pythonie oceniający każdy wynik oraz zbiorczy raport w Markdown z przebiegów na próbkach syntetycznych. Redaktorzy sprawdzają zbiór tekstów stojący za próbkami w osobnej usłudze online. Recenzent przeszkolony w standardzie ocenia potem prawdziwe wyniki na tle tekstów źródłowych, a rezultaty zasilają kolejną iterację promptu i modelu. Iteracje mają określone cele: rozwijanie skrótów zgodnie z tekstem źródłowym, formatowanie z nagłówkami, punktami i akapitami po cztery do sześciu wersów oraz zamianę zbyt trudnych słów. Normalizację czytania na głos sprawdzamy na stałym tekście próbnym, który obejmuje liczebniki, liczebniki porządkowe, dekady, liczby rzymskie, zakresy i liczby ujemne.

QA próbuje odciągnąć model od jego zadania, na przykład prosząc o przepis na szarlotkę zamiast uproszczonego pisma, i powtarza te testy jailbreak przy każdej nowej iteracji. Przy tekstach prawnych i medycznych aplikacja pokazuje informację, że uproszczona wersja nie jest dokumentem prawnym, a szczegóły wyjaśni prawnik lub lekarz. Klasyfikator treści wrażliwych (mowa nienawiści, samookaleczenia, depresja, oszustwa) jest w fazie testów.

Dane wrażliwe są szyfrowane algorytmem Fernet, pliki trafiają do prywatnego bucketu z szyfrowaniem w spoczynku, a treści mają domyślną retencję 30 dni. Microsoft Presidio tworzy zanonimizowaną kopię tekstu tylko wtedy, gdy użytkownik nie sprzeciwił się wykorzystaniu jego tekstów do trenowania AI, a zanonimizowane teksty można wyeksportować jako jeden plik JSON do zbudowania korpusu treningowego.

Polski Związek Głuchych prowadzi Centrum Komunikacji, platformę tłumaczeń na polski język migowy (PJM) finansowaną z Funduszy Europejskich na rzecz Rozwoju Społecznego 2021-2027. Aplikacja web i mobilna obsługuje osoby niesłyszące, głuchoniewidome i niewidome: połączenia audio i wideo, czat, historię i kolejkowanie. Warsztaty z klientem odbyły się w lipcu 2025 roku, a platforma weszła na produkcję 20 kwietnia 2026 roku, dziewięć miesięcy później.

Transkrypcja mowy na tekst na żywo dla osób słabosłyszących i późno ogłuchłych to jedna z funkcji, które dodaliśmy. Związek wykluczył surowe rozpoznawanie mowy, bo automatyczne napisy mylą nazwiska, adresy i nazwy leków. Zamiast tego tekst jest poprawiany w trakcie rozmowy, zanim zobaczy go użytkownik. Rozpoznawanie mowy pisze wstępny tekst, specjalista ds. transkrypcji go poprawia i dopiero poprawiony tekst trafia do użytkownika jako wiadomość na czacie. Sesja trwa do 30 minut i jest dostępna od razu, w granicach dostępności specjalisty.

Silnikiem rozpoznawania jest otwartoźródłowy Vosk z polskim modelem, a pozostałe kluczowe komponenty (LiveKit, PostgreSQL i Redis) też są open source. Hosting i dane zostają w UE. Vosk działa w przeglądarce specjalisty przez WebAssembly, więc dźwięk nie trafia do zewnętrznego API. W interfejsie tekst roboczy i zatwierdzony mają różne kolory, a każdy rozmówca (klient, specjalista i osoba po drugiej stronie telefonu) ma osobny strumień. Linia telefoniczna też obsługuje transkrypcję na żywo: dzwoni osoba słabosłysząca, a specjalista transkrybuje drugą stronę. Pełna historia jest w case study Centrum Komunikacji.

Budujemy i rozwijamy Enerace.Online, platformę doradztwa w zakupach energii i gazu dla odbiorców przemysłowych, od 2020 roku. Newsy rynkowe są przypięte do wykresów cen, a każdy z nich dostaje podsumowanie napisane przez AI w chwili dodania, a nie przy każdym odczycie. Funkcja działa od 2025 roku.

Platforma ma ponad 20 obszarów funkcjonalnych w jednym kodzie, a funkcja AI doszła bez jej przepisywania. Więcej o platformie jest w case study Enerace i na naszej stronie o oprogramowaniu do zakupów energii.

Jednym z naszych długoletnich klientów jest platforma produktowa z rynku remontów i wyposażenia wnętrz (klient pozostaje anonimowy). Platforma to system do zarządzania remontami i wykończeniami nieruchomości: zamawianie produktów, wyszukiwarka wspierana przez AI, zarządzanie pracą i komunikacja z pracownikami. Zbudowano ją w Pythonie, Django i Django REST Framework.

Czat AI w aplikacji i agent wyszukiwania produktów działają dziś na produkcji. Z tym klientem współpracujemy od maja 2022 roku i współpraca trwa.

Budujemy system prognoz sprzedaży dla firmy z rynku wydarzeń na żywo, kolejnego anonimowego klienta. Modele prognoz są statystyczne i trenowane na danych sprzedaży biletów. Projekt ruszył we wrześniu 2026 roku i jest w toku. Dane sprzedaży biletów pochodzą z kilku źródeł: serwisu wydarzeń klienta, platformy biletowej, międzynarodowego agregatora wydarzeń i arkusza klienta. Zasilają hurtownię danych zbudowaną w dlt i dbt na ClickHouse, a całość orkiestruje Dagster.

Modele prognozują końcową sprzedaż wydarzenia na podstawie porównywalnych, zakończonych krzywych sprzedaży, z przedziałem empirycznym, i milczą, gdy porównywalnych krzywych jest mniej niż pięć. Liczą też tempo sprzedaży względem mediany porównywalnych wydarzeń, ryzyko wyprzedania i anomalie w koszyku. Analiza obejmuje wpływ pogody na frekwencję i sprzedaż. Rekomendacje sprawdzamy backtestem. Trenowanie i walidację algorytmu zamknięto 20 października 2026 roku.

Wyniki trafiają do portalu z listą wydarzeń, planem sprzedaży i oceną „jak idzie”, z kontami i rolami użytkowników, zbudowanego w Django, DRF i Next.js. Infrastruktura to monorepo z Dockerem, ClickHouse, PostgreSQL, Traefikiem i CI.

Prywatny LLM to model językowy działający na serwerach, które kontrolujesz Ty albo Twój dostawca hostingu, więc czytane przez niego teksty nigdy nie przechodzą przez publiczne API AI. Taki wybór zrobiliśmy dla PSONI. Ten sam układ, czyli otwarty model, vLLM i aplikacja wokół nich, może działać lokalnie na Twoich serwerach, jeśli mają odpowiednie GPU, albo u dostawcy chmury w regionie wymaganym przez Twoje przepisy. Nasza strona o wdrożeniu LLM on-premise opisuje te opcje, a w słowniku wyjaśniamy, czym samodzielnie hostowane LLM różnią się od modeli z API.

Agent AI to model językowy, który potrafi wywoływać narzędzia, na przykład wyszukiwarkę po danych produktów, i prowadzić rozmowę do wyniku. Agent wyszukiwania produktów na platformie remontowej jest jednym z przykładów. Przeszukuje teksty i metadane wielu produktów naraz oraz oferty wielu dostawców. Część pracy przenieśliśmy z modelu do kodu w Pythonie dla powtarzalności: kod buduje zapytanie wyszukiwania, więc na to samo pytanie zawsze pada ta sama odpowiedź, a model prowadzi rozmowę.

Gdy wyszukiwanie nic nie znajdzie, agent ponawia je ze zmienionymi parametrami. Na pytanie o cenę pobiera cenę, a odpowiedź zawiera adres źródłowy produktu. Każda wiadomość do AI niesie kontekst klienta (imię i numer telefonu), żeby rozmowa mogła przejść do obsługi klienta. Nasza strona o tworzeniu agentów AI opisuje, jak projektujemy agentów, a hasło słownika o MCP definiuje protokół, którym agenci łączą się z systemem.

Integracja AI to dodanie do działającego już produktu funkcji opartej na modelu bez przebudowy tego produktu. W naszych usługach integracji AI praca przechodzi przez discovery, osobną usługę AI, wybór modelu, kontrolę jakości i wsparcie po uruchomieniu. Domyślnie backend aplikacji ma warstwę usług, która woła osobną usługę AI, więc część AI można mierzyć, zmieniać albo wyłączać niezależnie. Wybór modelu zależy od tego, dokąd mogą trafić dane: do API dostawcy modelu czy do modelu, który hostujemy. Na platformie remontowej czat i agent działają w osobnej usłudze AI, a flaga na poziomie projektu, ai_enabled, włącza i wyłącza AI.

Proof of concept pokazuje, że model poradzi sobie z zadaniem na Twoich danych, a MVP stawia ten model przed prawdziwymi użytkownikami. Różnica polega na tym, co otacza model. Proof of concept potrzebuje promptu, próbek testowych i miary jakości. MVP dokłada backend, konta oraz aplikacje web i mobilne i utrzymuje miary z proof of concept.

Serwer MCP pozwala agentowi AI pracować z systemem przez zdefiniowany zestaw narzędzi. MCP wprowadziło Anthropic 25 listopada 2024 roku, a w grudniu 2025 przekazano je Agentic AI Foundation, części Linux Foundation, gdy aktywnych było ponad 10 000 publicznych serwerów MCP. Specyfikacja z 28 lipca 2026 roku opisuje MCP jako bezstanowe: każde żądanie niesie własną wersję protokołu i możliwości.

Mamy własny serwer: od 9 lipca 2026 roku produkcyjny serwer MCP obsługuje CMS tej strony. Na 20 października 2026 roku miał 164 narzędzia obejmujące strony, treści, SEO i GEO, schema.org, media, menu, przekierowania, analitykę Search Console i GA4 oraz leady. To cienka warstwa nad istniejącym REST API, więc walidacja i uprawnienia siedzą w API. Każda osoba lub integracja ma własny token, a administrator zarządza tokenami i przegląda dziennik wywołań w panelu Wagtail.

Reguły, których agent nie może złamać, siedzą w serwerze jako kody odpowiedzi. Strona bez briefu powiązanego z celem i rolą w lejku sprzedaży zwraca HTTP 400, a treść przed zatwierdzeniem briefu przez człowieka zwraca HTTP 409. Publikacja z błędami audytu, takimi jak fakty spoza zatwierdzonej listy albo brak werdyktu niezależnego agenta krytyka, też zwraca HTTP 409. Dla żywych stron tryb korekt publikuje szkic tylko wtedy, gdy jego audyt nie wykaże niczego gorszego niż wersja żywa. Brief zatwierdza człowiek, zanim agent napisze jakąkolwiek treść.

Publiczny endpoint pod adresem ordergroup.co/mcp jest otwarty bez tokenu od 8 października 2026 roku. Ma dwa narzędzia: jedno wylistowuje case studies, drugie wysyła zapytanie o projekt. Każde wywołanie to jeden POST z wiadomością JSON-RPC, odpowiedź przychodzi w JSON bez sesji, a zapytanie przechodzi przez tę samą funkcję i limit co formularz kontaktowy REST. Endpoint jest wpisany do oficjalnego rejestru MCP jako co.ordergroup/public. Szczegóły są na naszej stronie o tworzeniu serwerów MCP, a artykuł MCP vs API porównuje MCP ze zwykłym API.

AI automatyzuje powtarzalne czytanie i pisanie wokół produktu, a decyzje zostają przy ludziach. W Enerace model pisze krótkie podsumowanie każdego newsa po angielsku i po polsku. Przypisuje mu jeden z 9 rodzajów surowców i jeden z 38 krajów lub regionów oraz podaje ocenę kierunku rynku (wzrost, spadek, bez zmian) z krótkim uzasadnieniem. Ocena kierunku to ocena modelu, a potwierdza ją człowiek. Tekst artykułu pobiera automatycznie crawler z przeglądarką jako zapasem. Gdy to się nie uda, redaktor wkleja treść. Generowanie działa jako zadanie w tle w Celery, a redaktor może wygenerować podsumowanie ponownie.

Nasz artykuł o AI w oprogramowaniu na zamówienie dla energetyki odnawialnej wymienia dalsze zastosowania w tej branży.

Centrum Komunikacji i Enerace sprawdzają każdy wynik, zanim zobaczą go użytkownicy, a pozostałe projekty sprawdzają próbki, rozmowy lub dane z przeszłości.

Miara należy do projektu. W PSONI jest to indeks Gunninga-Foxa, który szacuje, ile lat nauki wymaga tekst. Zaprojektowano go dla angielskiego, więc na polskim tekście działa jako trend między wersjami i pozwala porównać jedną wersję promptu lub modelu z następną. Hasło słownika o ocenie LLM wyjaśnia tę metodę.

AI dla dostępności to użycie modeli językowych i technologii mowy, żeby treści były używalne dla osób, które nie mogą z nich korzystać w obecnej postaci. Nasze projekty obejmują dwie grupy: czytelników z niepełnosprawnością intelektualną oraz osoby niesłyszące i słabosłyszące. Pierwsza grupa potrzebuje prostszego tekstu i mowy, druga potrzebuje mowy zamienionej na tekst.

W obu przypadkach pętlę zamyka człowiek: recenzent przeszkolony w standardzie tekstu łatwego do czytania sprawdza uproszczone teksty, a specjalista poprawia rozpoznaną mowę, zanim ktokolwiek ją przeczyta. Specyfikacja PSONI wymaga WCAG 2.2 na poziomie AAA, a późniejsze etapy obejmują kontrole dostępności z czytnikami ekranu i w plikach DOCX generowanych przez aplikację. Nasza strona o tekście łatwym do czytania wyjaśnia ten standard.

Dostępność ma też stronę prawną. Europejski akt o dostępności (dyrektywa (UE) 2019/882) stosuje się od 28 czerwca 2025 roku między innymi do usług bankowości konsumenckiej. W Polsce obowiązuje ustawa z 26 kwietnia 2024 roku o zapewnianiu spełniania wymagań dostępności.

W naszych projektach AI warstwa modelu współpracuje ze zwykłym oprogramowaniem aplikacyjnym.

Hasło słownika o samodzielnie hostowanych LLM wylicza, czego potrzebuje taki model: mocy GPU dobranej do liczby równoległych zapytań i testu obciążenia na realistycznych dokumentach, przypiętej wersji modelu, kontroli stanu z automatycznym restartem, limitów czasu, maksymalnego rozmiaru wejścia i limitu kolejki oraz zapisanej licencji wag.

Nasz artykuł o tworzeniu AI proof of concept opisuje przepływ pracy, w którym najpierw powstaje frontend z interaktywnym podglądem, w v0.dev (React, Shadcn UI i Tailwind CSS). Cursor IDE generuje potem endpointy backendu, które go obsługują, na przykład widoki i serializery Django albo FastAPI.

Gdy teksty są wrażliwe, pierwszą decyzją jest to, gdzie działa model. Miejsce wybieramy razem z Tobą w discovery, na podstawie zasad, według których działa Twoja organizacja.

RODO dotyczy tego, co system przechowuje, jak długo i kto ma do tego dostęp, a nie tylko tego, gdzie działa model. W naszych projektach te wymagania stały się funkcjami. W Centrum Komunikacji pola z danymi osobowymi są szyfrowane kluczem symetrycznym, a dane użytkownika można nieodwracalnie usunąć na żądanie, z dziennikiem, kto to zrobił, kiedy i na jakiej podstawie. Technikę opisuje nasza strona o anonimizacji danych.

AI Act (rozporządzenie (UE) 2024/1689) dzieli systemy AI według ryzyka. Do grupy wysokiego ryzyka należą systemy oceniające zdolność kredytową osób fizycznych, z wyjątkiem wykrywania oszustw finansowych (załącznik III, pkt 5 lit. b). Obowiązki dla nich stosuje się od 2 grudnia 2027 roku na podstawie rozporządzenia (UE) 2026/1744, czyli pakietu Digital Omnibus on AI. Struktura rozporządzenia jest opisana w naszym haśle słownika o AI Act.

Projekt zaczyna się od bezpłatnego, podstawowego discovery i kick-offu z klientem. Ustalamy metodykę, konfigurujemy YouTrack i kanały komunikacji oraz przydzielamy role: Project Tech Leader, Product Owner i opcjonalnie Scrum Master. Pierwsza wycena obejmuje cały zakres i wychodzi od najprostszej drogi realizacji, z gotowymi rozwiązaniami tam, gdzie pasują.

Prawa autorskie do kodu przechodzą na klienta z każdą płatnością, w zakresie pól eksploatacji z umowy. Po uruchomieniu zostajemy przy wsparciu i utrzymaniu, bo modele, prompty i dane stale się zmieniają.

Funkcje AI działają na produkcji w Enerace, w Centrum Komunikacji i na platformie remontowej, a model może działać na serwerach, które hostujemy, jak w PSONI.

Dobra firma tworząca AI potrafi odpowiedzieć na kilka pytań nazwanymi projektami i faktami. To pytania, które sami zadalibyśmy dostawcy, razem z naszymi odpowiedziami.

• Czy może pokazać nazwany projekt z modelem i prawdziwymi danymi? Nasze to PSONI, Enerace i Centrum Komunikacji.
• Jak wybiera model? Testując kandydatów na Twoim zadaniu.
• Jak mierzy jakość? Miarą, recenzentem, testami jailbreak albo backtestem, zależnie od projektu.
• Kto sprawdza wynik, zanim użytkownik na nim polega? Specjalista ds. transkrypcji w Centrum Komunikacji i redaktor w Enerace sprawdzają wyniki, zanim zobaczą je użytkownicy. Przeszkolony recenzent i QA oceniają każdą iterację modelu w PSONI.
• Gdzie działa model i co dzieje się z danymi? Może działać na wynajętych serwerach GPU, w regionie chmury wymaganym przez Twoje przepisy albo na Twoich własnych serwerach.
• Jak zaczyna się praca? Od bezpłatnego, podstawowego discovery.
• Co dzieje się po uruchomieniu? Wsparcie i utrzymanie.