Ośrodek Przetwarzania Informacji, państwowy instytut badawczy, udostępnił rodzinę modeli językowych PolDense przeznaczonych do wyszukiwania informacji po polsku. Jak podaje Bankier.pl, powstało sześć wariantów, od 17 milionów do miliarda parametrów.

Wynik, który robi wrażenie

Największy model, PolDense 1B, uzyskał 64,11 punktu w benchmarku PIRB, mierzącym jakość wyszukiwania informacji po polsku. Wyprzedził modele Llama-Embed-Nemotron-8B z wynikiem 63,73 oraz BGE-Multilingual-Gemma2-9B z wynikiem 63,26.

Kluczowa jest tu nie sama przewaga punktowa, która jest niewielka, tylko proporcje. Polski model ma miliard parametrów, pokonani rywale odpowiednio osiem i dziewięć miliardów. Osiągnięcie lepszego wyniku modelem kilkukrotnie mniejszym oznacza w praktyce niższe koszty i możliwość uruchomienia go na skromniejszym sprzęcie.

Do czego to właściwie służy

To nie jest chatbot i nie zastąpi ChatuGPT. PolDense to modele do wyszukiwania: zamieniają teksty na reprezentacje liczbowe tak, by dało się odnaleźć dokumenty pasujące znaczeniowo do zapytania, a nie tylko zawierające te same słowa.

Brzmi technicznie, a stoi za tym rzecz, z którą każdy miał do czynienia: wyszukiwarka, która rozumie, że "przerwa w dostawie prądu" i "brak zasilania" to to samo. Takie modele są fundamentem systemów RAG, w których asystent AI najpierw wyszukuje właściwe dokumenty w bazie firmy, a dopiero potem na ich podstawie formułuje odpowiedź. Bez dobrego wyszukiwania nawet najlepszy model językowy odpowiada na podstawie przypadkowych materiałów.

Dlaczego polszczyzna wymaga własnych modeli

Modele wielojęzyczne trenowane są na dziesiątkach języków naraz, a polski jest w tej stawce trudny: odmiana przez przypadki sprawia, że to samo słowo występuje w kilkunastu formach, a szyk zdania jest swobodny. Model, który nie nauczył się tego dobrze, gubi związek między "ustawą o dokumentach publicznych" a "dokumentów publicznych ustawa".

Stąd bierze się przewaga modelu trenowanego pod konkretny język nad większym, ale bardziej ogólnym.

Darmowe i do pobrania

Modele są otwartoźródłowe i dostępne bezpłatnie na platformie Hugging Face. Zbudowano je w oparciu o architekturę ModernBERT i technologię ettin-encoders, a potrafią analizować teksty o długości do 8192 tokenów, czyli obsłużyć bez dzielenia dłuższe dokumenty.

Projekt powstał w ramach LLMs4EU, współfinansowanego ze środków unijnego programu Digital Europe oraz Ministerstwa Cyfryzacji.

Co to zmienia w praktyce

Dla polskiej firmy albo urzędu, które chcą zbudować wyszukiwarkę po własnych dokumentach, zmienia się rachunek. Zamiast wysyłać treści do zewnętrznej usługi i płacić za każde zapytanie, można pobrać model i uruchomić go na własnym serwerze. Przy dokumentacji wrażliwej, na przykład medycznej albo kadrowej, to argument nie tylko finansowy, ale i prawny, bo dane nie opuszczają organizacji.

Najmniejsze warianty, liczące kilkadziesiąt milionów parametrów, są na tyle lekkie, że można je uruchomić na zwykłym komputerze. To zaś oznacza, że z tego rozwiązania skorzysta nie tylko duża instytucja z serwerownią, ale i mała firma czy pojedynczy programista.