Lokalne modele AI, czyli sztuczna inteligencja, która nie wysyła danych poza firmę

To zależy od wielkości modelu i liczby jednoczesnych użytkowników. Dla jednego działu i modelu średniej wielkości wystarcza stacja robocza z kartą graficzną z 16–24 GB pamięci. Dla całej firmy i większych modeli potrzebny jest serwer z jedną lub kilkoma kartami GPU klasy profesjonalnej. Sprzęt dobieramy po prototypie, gdy znamy realne obciążenie.

W ogólnej wiedzy i najtrudniejszych zadaniach największe modele chmurowe nadal prowadzą. W zadaniach firmowych, takich jak odpowiedzi na podstawie dokumentów, streszczenia czy wyciąganie danych, dobrze dobrany model lokalny daje porównywalne wyniki, bo odpowiada na podstawie Twoich danych, a nie ogólnej wiedzy. Jakość sprawdzamy na Twoich przykładach przed wdrożeniem.

Przetwarzanie na własnym serwerze znacznie upraszcza zgodność, bo dane nie są przekazywane zewnętrznemu dostawcy ani poza Europejski Obszar Gospodarczy. Nadal trzeba określić cel przetwarzania, uprawnienia i okres przechowywania historii rozmów. Przygotowujemy tę dokumentację razem z wdrożeniem.

RAG (Retrieval-Augmented Generation) to technika, w której model przed udzieleniem odpowiedzi wyszukuje fragmenty Twoich dokumentów i odpowiada na ich podstawie, podając źródło. Dzięki temu AI zna Twoje procedury i ceny bez kosztownego trenowania modelu, a odpowiedź można łatwo zweryfikować.

Bielik to otwarty model rozwijany w Polsce przez SpeakLeash i ACK Cyfronet AGH, dobrze radzący sobie z językiem polskim. Sprawdza się w streszczeniach, odpowiedziach i pracy z polskimi dokumentami. Często porównujemy go z innymi modelami na konkretnym zadaniu klienta i wybieramy najlepszy wynik.

Koszt składa się ze sprzętu, pracy wdrożeniowej i opieki. Najmniejsze wdrożenie dla jednego działu to głównie koszt stacji roboczej z kartą GPU i kilku dni pracy. Dokładną wycenę przygotowujemy po warsztacie, razem z wyliczeniem oszczędności czasu.

Najczęściej nie trzeba go trenować. Wystarczy podłączyć dokumenty przez RAG, a model korzysta z nich przy każdej odpowiedzi. Dotrenowanie (fine-tuning) stosujemy tylko w szczególnych przypadkach, na przykład gdy model ma pisać w bardzo specyficznym stylu lub formacie.