Usługi integracji AI: dodaj AI do produktu, który już masz

Od 2020 roku budujemy i rozwijamy Enerace.Online, platformę doradztwa w zakupach energii i gazu dla odbiorców przemysłowych. W analizie rynku newsy są przypięte do wykresów cen, a każdy news dostaje podsumowanie wygenerowane przez AI w chwili dodania. Funkcja działa na żywo od 2025 roku w produkcie z ponad 20 obszarami funkcjonalnymi w jednym kodzie i powstała bez przepisywania platformy. Technologia to Python i Django z API GraphQL, React z TypeScriptem, React Native, Celery i AWS.

Centrum Komunikacji prowadzi platformę tłumaczenia na polski język migowy (PJM), którą budujemy w rządowym programie dostępności (zobacz case study). Dodaliśmy do niej transkrypcję mowy na żywo dla osób słabosłyszących i późno ogłuchłych. Automatyczne rozpoznawanie mowy pisze w czasie rzeczywistym pierwszą wersję tekstu, specjalista ds. transkrypcji ją poprawia i dopiero poprawiony tekst trafia do użytkownika jako wiadomość na czacie. Funkcja działa na produkcji. Dane osobowe chronią szyfrowane pola, możliwość usunięcia danych użytkownika i dziennik zdarzeń.

Na platformie produktowej z rynku remontów i wyposażenia wnętrz czat AI i agent wyszukiwania produktów działają w osobnej usłudze AI.

W Generatorze ETR dla PSONI telefon odczytuje tekst ze zdjęcia pisma na samym urządzeniu. Dokumenty PDF idą osobną ścieżką po stronie serwera, zanim trafią do modelu. Sam odczyt wykonują gotowe biblioteki systemowe, Google ML Kit i Apple Vision. Połączenie z modelem, odczyt tekstu i miara czytelności już działają, a API dla innych systemów jest jeszcze w budowie.

Osobna usługa AI to nasza domyślna architektura przy integracji LLM. Backend aplikacji ma warstwę serwisową, która ją wywołuje, więc część AI możemy mierzyć, zmieniać albo wyłączać bez ruszania reszty produktu.

Na platformie z rynku remontów AI włącza flaga na poziomie projektu (ai_enabled), więc funkcję można wyłączyć bez zmian w reszcie produktu.

W Generatorze ETR dla PSONI połączenie z modelem to ustawienie. W panelu Django Admin administrator zmienia adres, klucz, nazwę modelu i parametry generowania, takie jak temperature i max_tokens, a kontenery backendu cały czas działają. Zmiana modelu nie wymaga więc nowego wydania aplikacji.

Wybór modelu za usługą to osobna decyzja. Z API dostawcy modelu zaczniesz szybciej. Gdy dane nie mogą opuścić Twojej infrastruktury, hostujemy model sami. Więcej na naszej stronie o prywatnym LLM. W obu przypadkach część AI zostaje osobną usługą.

Zgodnie z decyzją PSONI API dla innych systemów będzie miało cztery endpointy: logowanie z tokenem, generowanie tekstu łatwego do czytania, listę tekstów użytkownika i podgląd tekstu historycznego, który przechowujemy 30 dni. Dostęp wymaga klucza API z panelu Django Admin, a endpointy można później wyłączyć.

Żeby podłączyć agentów AI do istniejącego produktu, budujemy serwer MCP (Model Context Protocol, standard, dzięki któremu agenci AI wywołują funkcje produktu) jako cienką warstwę nad jego REST API. W naszym CMS każde narzędzie MCP wywołuje endpoint API, więc walidacja, uprawnienia i log zostają w API. Agentów i asystentów czatu opisujemy na stronie Tworzenie agentów AI, a sam serwer na stronie Tworzenie serwerów MCP.

Tam, gdzie błędna odpowiedź ma skutki dla użytkowników, wynik sprawdza człowiek albo test. W Centrum Komunikacji do użytkownika trafia tylko tekst poprawiony przez specjalistę ds. transkrypcji. W Generatorze ETR skrypt ocenia każdy tekst indeksem Gunning Fog, czyli miarą czytelności, a recenzent tekstów łatwych do czytania ocenia rzeczywiste odpowiedzi. Przy każdej nowej wersji modelu uruchamiamy też testy jailbreak, które próbują skłonić model do złamania zasad.

Gotowość na AI: co sprawdzamy przed wdrożeniem

Bezpłatna konsultacja prowadzi do bezpłatnych warsztatów discovery, które są naszą oceną gotowości na AI. Sprawdzamy cztery rzeczy.

• Produkt: co robi dziś i gdzie w nim znajdzie się funkcja AI.
• Dane: co będzie czytał model i czy te dane mogą opuścić Twoją infrastrukturę.
• Zasady: ograniczenia prawne, bezpieczeństwa i firmowe, w których działa Twój produkt.
• Zadanie i test: co ma robić AI i jaki test pokaże, że działa.

Czasem wynikiem jest rada, żeby w ogóle zrezygnować z modelu językowego. Z warsztatów wychodzisz z wiedzą, co ma robić AI i według czego ocenimy jego wynik.

Wdrożenie AI: etapy

1. Discovery. Bezpłatne warsztaty z naszym własnym zestawem narzędzi AI, na których ustalamy zakres i test sukcesu.
2. Osobna usługa AI. Budujemy część AI jako usługę, którą wywołuje Twój backend, więc reszta produktu zostaje nietknięta.
3. Wybór modelu. API dostawcy modelu albo model uruchamiany przez nas, zależnie od tego, dokąd mogą trafić Twoje dane.
4. Kontrola jakości. Test z discovery sprawdza wyniki, a tam, gdzie błąd kosztuje, ocenia je też człowiek.
5. Wsparcie. Po wdrożeniu zostajemy przy wsparciu i utrzymaniu, bo modele, prompty i dane, które czytają, ciągle się zmieniają.

Zakres prac AI ustalamy na warsztatach discovery. Obejmuje on usługę AI, wybór modelu i kontrolę jej wyników. Prawa autorskie do kodu przechodzą na Ciebie z każdą płatnością, w zakresie pól eksploatacji z umowy.