Instytut Innowacji Technologicznych ze ZEA rewolucjonizuje modele językowe AI za pomocą nowej architektury

Instytut Innowacji Technologicznych (TII), wiodący na świecie ośrodek badań naukowych i filar badań stosowanych Rady ds. Badań nad Zaawansowanymi Technologiami (ATRC) z Abu Zabi, udostępnił nowy duży model jezykowy z serii Falcon o nazwie Falcon Mamba 7B. Nowy model plasuje się na 1. pozycji na świecie pod względem wydajności otwartych modeli językowych w przestrzeni stanów (SSLM) zgodnie z niezależną weryfikacją Hugging Face.

Jako pierwszy SSLM w serii Falcon, model ten odchodzi od poprzednich rozwiązań z tej serii, których architektura opiera się na wykorzystaniu szeregu transformatorów. Nowy model Falcon Mamba 7B stanowi kolejny przykład pionierskich badań prowadzonych przez Instytut oraz przełomowych narzędzi i produktów, jakie udostępnia on ogółowi społeczeństwa w otwartym formacie.

– Falcon Mamba 7B to czwarty z rzędu model AI zajmujący czołową pozycję na rynku, umacniając tym samym rolę Abu Zabi jako globalnego ośrodka badań i rozwoju sztucznej inteligencji. Jest to osiągnięcie, które podkreśla niezachwiane zaangażowanie ZEA na rzecz innowacji – powiedział Jego Ekscelencja Faisal Al Bannai, sekretarz generalny ATRC oraz doradca prezydenta Zjednoczonych Emiratów Arabskich ds. badań strategicznych i zaawansowanych technologii.

W porównaniu z modelami o architekturze transformatorowej Falcon Mamba 7B sprawdza się lepiej od modeli Llama 3.1 8B i Llama 3 8B firmy Meta oraz modelu 7B firmy Mistral pod względem nowo zaprezentowanych wskaźników referencyjnych HuggingFace. Co więcej, w porównaniu z innymi SSLM, Falcon Mamba 7B pokonał wszystkie pozostałe otwarte modele rozpatrywane przy zastosowaniu dotychczasowych wskaźników i będzie to pierwszy model w rankingu wiodących modeli opracowanym przez HuggingFace na podstawie bardziej rygorystycznych kryteriów.

– Instytut Innowacji Technologicznych pokonuje coraz to dalsze granice technologii za pomocą serii modeli AI pod szyldem Falcon. Model Falcon Mamba 7B stanowi wyraz prawdziwie pionierskich prac i toruje drogę do kolejnych innowacji w dziedzinie sztucznej inteligencji, które przyczynią się do zwiększenia możliwości człowieka i poprawy jakości życia – powiedziała dr Najwa Aaraj, dyrektor generalna TII.

Modele oparte na przestrzeni stanów doskonale sprawdzają się w interpretacji skomplikowanych sytuacji ewoluujących w miarę upływu czasu, na przykład całych książek. Dzieje się tak dlatego, że SSLM nie wymagają dodatkowych zasobów pamięciowych do przetworzenia dużych fragmentów informacji.

Z kolei modele oparte na szeregu transformatorów bardzo dobrze radzą sobie z zapamiętywaniem i wykorzystywaniem informacji uprzednio przetworzonych w ramach danej sekwencji. Dzięki temu doskonale sprawdzają się w zadaniach takich jak generowanie treści, jednak ze względu na konieczność porównywania wszystkich słów wymagają znacznej mocy obliczeniowej.

SSLM mogą być przydatne w wielu różnych dziedzinach, takich jak szacunki, prognozy i zadania kontrolne. Podobnie jak w przypadku modeli wykorzystujących architekturę transformatorową, doskonale sprawdzają się również w zadaniach polegających na przetwarzaniu języka naturalnego i mogą być wykorzystywane w tłumaczeniu maszynowym, streszczaniu tekstów, rozpoznawaniu obrazów i przetwarzaniu dźwięku.

– Wprowadzenie modelu Falcon Mamba 7B napawa mnie dumą, ponieważ jego stworzenie było możliwe dzięki wykorzystaniu ekosystemu TII opartego na współpracy. Nowy model stanowi istotny krok naprzód, który inspiruje do poszukiwania nowych perspektyw i dalszego opracowywania systemów inteligentnych. W TII pokonujemy coraz dalsze granice zarówno w zakresie SSLM, jak i modeli transformatorowych, pragnąc dokonywać kolejnych innowacji w dziedzinie generatywnej sztucznej inteligencji – powiedział dr Hakim Hacid, p.o. głównego badacza AI Cross-Center Unit w TII.

Modele językowe Falcon zostały pobrane ponad 45 mln razy, co świadczy o niesamowitym sukcesie tych rozwiązań. Falcon Mamba 7B zostanie udostępniony na mocy licencji TII Falcon 2.0, liberalnej licencji oprogramowania na bazie Apache 2.0 zakładającej akceptowalne zasady użytkowania, które propagują odpowiedzialne korzystanie ze sztucznej inteligencji. Więcej informacji na temat nowego modelu można znaleźć na stronie FalconLLM.TII.ae.

Oficjalną, obowiązującą wersję niniejszego zawiadomienia stanowi tekst oryginalny sporządzony w języku źródłowym. Tekst tłumaczenia służy wyłącznie celom orientacyjnym, został sporządzony wyłącznie dla celów ułatwienia zrozumienia zawiadomienia i należy interpretować go w odniesieniu do tekstu źródłowego, który jest jedyną wersją mającą skutki prawne.