Wdrożenie LLM on-premise dla wrażliwych danych

Wdrożenie LLM on-premise to uruchomienie otwartego modelu językowego na Twoich własnych serwerach. Prompty i dokumenty nigdy nie trafiają wtedy do API dostawcy AI. Wdrożenie prywatnego LLM to pojęcie szersze: serwery mogą też być wynajęte albo stać u dostawcy chmury, którego wybierzesz. Definicję znajdziesz w słowniku, w haśle self-hosted LLM. Jeśli Twoje teksty zawierają dane osobowe lub tajemnice firmy, a pracujesz w instytucji publicznej, organizacji pozarządowej, firmie finansowej albo energetycznej, ta oferta jest dla Ciebie.

Dla PSONI, Polskiego Stowarzyszenia na rzecz Osób z Niepełnosprawnością Intelektualną, budujemy Generator ETR na prywatnym LLM. To aplikacja webowa i mobilna, która zamienia trudny tekst, na przykład pismo urzędowe, w tekst łatwy do czytania (ETR). Program trwa dwa lata i ruszył w 2026 roku. Teksty, które użytkownicy wklejają, mogą być osobiste, dlatego publiczne API AI odpadło. Otwarty model hostujemy sami na wynajętych serwerach GPU i serwujemy go przez vLLM, otwartoźródłowy serwer do uruchamiania modeli językowych. Żaden tekst nie trafia do API dostawcy AI.

Wdrożenie prywatnego LLM zaczyna się od wyboru otwartego modelu, a wybieramy go testem. Dla PSONI przetestowaliśmy PLLuM 12B, polski model językowy, i porównaliśmy go z modelem Gemma 4 na tym samym zadaniu upraszczania tekstu. Wybraliśmy Gemma 4 w wersji 26B mixture-of-experts. To architektura, która przy każdym zapytaniu używa tylko części parametrów modelu.

Ustawienia połączenia nie są wpisane na sztywno. Administrator zmienia adres, klucz, nazwę modelu, temperature i max_tokens w panelu Django Admin, bez restartu kontenerów backendu. Dlatego model albo serwer GPU można wymienić bez ponownego wdrażania aplikacji. Model działa w zwykłej aplikacji, którą utrzyma Twój zespół: Django i Celery w backendzie, React i React Native w aplikacjach. Naszą pracą jest dobór otwartego modelu, prompty, ewaluacja wyników i serwowanie modelu. To, czy Twoje zadanie wymaga dostrajania modelu, oceniamy na warsztacie discovery.

Model może działać na wynajętych GPU, u dostawcy chmury w potrzebnym Ci regionie albo na Twoich serwerach z odpowiednimi GPU. Przeniesienie Generatora ETR na docelową infrastrukturę zależy od decyzji PSONI o lokalizacji serwerów, więc do tego czasu zostaje na wynajętych instancjach. Lokalizację serwerów wybiera klient.

Wybór lokalizacji wpływa na rachunek, bo płaci się za serwery GPU. Koszt zależy od wielkości modelu i od liczby zapytań, które model obsługuje jednocześnie. Oba parametry dobieramy w discovery do spodziewanego ruchu, zanim zdecydujesz się na budowę.

Własny hosting modelu chroni teksty przed publicznym dostawcą AI. Sam z siebie nie czyni jednak systemu zgodnym z RODO, bo liczy się też, co przechowujesz, jak długo i kto ma dostęp, a te pytania przechodzimy w discovery. W Generatorze ETR anonimizujemy dane osobowe w tekstach narzędziem Microsoft Presidio i dalej rozwijamy to rozwiązanie. Analizujemy też, czy wytrenować HerBERT, polski model językowy, do anonimizacji polskich tekstów. Zapisane teksty są szyfrowane i usuwane zgodnie z zasadami retencji RODO.

Publiczne API Generatora ETR jest w budowie i opiera się na tej samej ochronie zapisanych tekstów. Pokaże historię tekstów użytkownika z retencją 30 dni. Zgodnie z decyzją PSONI z 1 października 2026 r. będzie miało cztery endpointy: logowanie (token), generowanie tekstu ETR, listę tekstów użytkownika i podgląd dawnego tekstu. Endpointy mają dać się później wyłączyć, a dostęp będzie przez klucz API wygenerowany w panelu administracyjnym. Aplikacja liczy zapytania użytkownika i pokazuje licznik w interfejsie. Limity zapytań (throttling) ustalamy z klientem przed odbiorem końcowym.

Prywatny model jest użyteczny tylko wtedy, gdy da się pokazać, że jego wyniki są wystarczająco dobre, dlatego przy każdej iteracji prowadzimy ewaluację LLM. Skrypt ocenia każdy uproszczony tekst wskaźnikiem czytelności Gunning Fog i zapisuje raport z wynikami dla zestawu próbek. Recenzent przeszkolony w standardzie ETR porównuje wynik z tekstem źródłowym. Wyniki wracają do kolejnej iteracji promptu i modelu, a piąta iteracja jest w toku. Zbiór tekstów, na których opierają się próbki testowe, sprawdzają redaktorzy w osobnym serwisie online.

Zabezpieczenia też testujemy. Zespół QA próbuje odciągnąć model od zadania, na przykład prosząc o przepis na szarlotkę zamiast uproszczenia pisma, i powtarza te testy jailbreak przy każdej nowej iteracji. Przy tekstach prawnych i medycznych aplikacja pokazuje komunikat: wersja uproszczona nie jest dokumentem prawnym, a szczegóły wyjaśni prawnik lub lekarz. Testujemy też klasyfikator treści wrażliwych, takich jak mowa nienawiści i samookaleczenia.

AI Act dzieli systemy AI według ryzyka, a miejsce hostowania modelu tego nie zmienia. Rozporządzenie (UE) 2024/1689 zalicza do systemów wysokiego ryzyka te, które oceniają zdolność kredytową osób fizycznych, z wyjątkiem systemów do wykrywania oszustw finansowych (załącznik III, pkt 5 lit. b). Obowiązki dla systemów wysokiego ryzyka mają być stosowane od 2 grudnia 2027 r., po pakiecie Digital Omnibus, czyli unijnej zmianie harmonogramu AI Act (Rada UE, 7 maja 2026 r.). Szersze omówienie znajdziesz w haśle AI Act w słowniku.

W fintechu i energetyce budujemy oprogramowanie dla firm regulowanych, a naszą pracą z prywatnym LLM jest Generator ETR dla PSONI.

Każdy projekt zaczyna się od bezpłatnej konsultacji albo warsztatu discovery. Patrzymy na Twoje teksty, przepisy, które Cię obowiązują, i zadanie, a potem ustalamy, jak będziemy testować wyniki. Discovery obejmuje to, co model czyta, gdzie może działać i kto ma dostęp do zapisanych tekstów, czyli te same pytania, które opisaliśmy wyżej. Wychodzisz z zakresem prac i sposobem testowania wyników. Prawa autorskie do kodu przechodzą na Ciebie z każdą płatnością, w zakresie pól eksploatacji z umowy. Na wiadomość z formularza odpowiadamy w ciągu 48 godzin w dni robocze.