Wdrożenie LLM on-premise dla wrażliwych danych

Wdrożenie LLM on-premise to otwarty model językowy uruchomiony na Twoich własnych serwerach, więc prompty i dokumenty zostają u Ciebie. Wdrożenie prywatnego LLM to pojęcie szersze: serwery mogą być też wynajęte albo stać u dostawcy chmury. Definicję znajdziesz w haśle self-hosted LLM w słowniku. To rozwiązanie dla zespołów enterprise, instytucji publicznych, organizacji pozarządowych, firm finansowych i energetycznych, których teksty zawierają dane osobowe lub tajemnice firmy.

Generator ETR dla PSONI, Polskiego Stowarzyszenia na rzecz Osób z Niepełnosprawnością Intelektualną, to aplikacja webowa i mobilna, która zamienia trudny tekst, na przykład pismo urzędowe, w tekst łatwy do czytania (ETR). Umowę podpisano 26 lutego 2026 r. na 24 miesiące, a prace idą w ośmiu etapach i dwutygodniowych sprintach. Wklejane teksty mogą być osobiste, dlatego publiczne API AI odpadło. Otwarty model hostujemy na wynajętych serwerach GPU i serwujemy przez vLLM, otwartoźródłowy serwer do uruchamiania modeli językowych.

Projekt prywatnego LLM zaczyna się od wyboru otwartego modelu, a wybieramy go testem. Dla PSONI uruchomiliśmy PLLuM 12B, polski model językowy, na tym samym zadaniu upraszczania tekstu co Gemma 4. Gemma 4 dała lepszą jakość wyników na danych projektu, więc zostaliśmy przy niej, w wersji 26B mixture-of-experts (architektura, która przy każdym zapytaniu używa tylko części parametrów modelu).

Proof of concept trwał od 21 maja do 19 czerwca 2026 r., około czterech tygodni. Powstały w nim skrypty Bash i Docker, które za każdym razem tak samo uruchamiają instancje GPU, vLLM serwujący Gemma 4 przez API zgodne ze specyfikacją OpenAI, pierwszy prompt i skrypt oceniający czytelność wskaźnikiem Gunning Fog.

Model działa w zwykłej aplikacji, którą utrzyma Twój zespół: Django i Celery w backendzie, React i React Native w aplikacjach. Naszą pracą jest dobór otwartego modelu, prompty, ewaluacja wyników i serwowanie modelu. Przy czacie AI albo agencie w Twoim produkcie zajrzyj na stronę tego rozwiązania.

W Generatorze ETR dane osobowe w tekstach anonimizuje Microsoft Presidio i dalej rozwijamy to rozwiązanie. Analizujemy też, czy wytrenować HerBERT, polski model językowy, do anonimizacji polskich tekstów. Wrażliwe pola w bazie są szyfrowane algorytmem Fernet, a zapisane teksty usuwane po upływie okresu retencji. Zanonimizowane teksty do korpusu uczenia można pobrać jako jeden plik JSON.

API Generatora ETR jest w budowie. Dostęp odbywa się przez klucz API wygenerowany w panelu administracyjnym, a endpointy mają dać się później wyłączyć. Zgodnie z decyzją PSONI z 1 października 2026 r. będzie miało cztery endpointy: logowanie, generowanie tekstu ETR, listę tekstów użytkownika i podgląd dawnego tekstu.

Skrypt ocenia każdy uproszczony tekst wskaźnikiem czytelności Gunning Fog i zapisuje raport dla zestawu próbek testowych. Przy każdej iteracji prowadzimy ewaluację LLM, a recenzent przeszkolony w standardzie ETR porównuje wynik z tekstem źródłowym. Wyniki wracają do kolejnej iteracji promptu i modelu, a piąta iteracja jest w toku. Zbiór tekstów, na których opierają się próbki testowe, sprawdzają redaktorzy w osobnym serwisie online.

Każda iteracja ma swój cel i raport QA, który zestawia tekst źródłowy, tekst końcowy i jego oceny. Pierwsza iteracja (od 19 czerwca do 6 sierpnia 2026 r.) objęła rozwijanie skrótów, formatowanie i zamianę zbyt trudnych wyrazów; iteracje druga, trzecia i czwarta są zamknięte. Specyfikacja wymaga, by aplikacja spełniała WCAG 2.2 na poziomie AAA, a dostępność testujemy czytnikami ekranu, zaczynając od aplikacji webowej.

Zabezpieczenia też testujemy. Zespół QA próbuje odciągnąć model od zadania, na przykład prosząc o przepis na szarlotkę zamiast uproszczenia pisma, i powtarza te testy jailbreak przy każdej nowej iteracji. Przy tekstach prawnych i medycznych aplikacja pokazuje komunikat: wersja uproszczona nie jest dokumentem prawnym, a szczegóły wyjaśni prawnik lub lekarz. Testujemy też klasyfikator treści wrażliwych: mowy nienawiści, samookaleczenia, depresji, oszustw i manipulacji. Zakres to analiza i test, a zachowanie aplikacji ustala klient.

Nie. AI Act klasyfikuje system według jego zastosowania, a miejsce hostowania modelu tego nie zmienia. Rozporządzenie (UE) 2024/1689 zalicza do systemów wysokiego ryzyka te, które oceniają zdolność kredytową osób fizycznych, z wyjątkiem wykrywania oszustw finansowych (załącznik III, pkt 5 lit. b). Budujemy oprogramowanie dla firm regulowanych w fintechu i energetyce, a nasze hasło AI Act w słowniku wyjaśnia klasy ryzyka.

Każdy projekt zaczyna się od bezpłatnego, podstawowego discovery, czyli jednego spotkania. Na jego podstawie przygotowujemy podstawowy PoC lub mockup, który pozwala oszacować koszt; rozszerzone discovery to osobny, szerszy zakres. W discovery wybieramy też model i serwery pod spodziewany ruch oraz przechodzimy pytania o retencję i dostęp do zapisanych tekstów. Prawa autorskie do kodu przechodzą na Ciebie z każdą płatnością, w zakresie pól eksploatacji z umowy.