UAE의 테크놀로지 이노베이션 인스티튜트, 새로운 아키텍처로 AI 언어 모델 혁명 주도

선도적인 글로벌 과학 연구 센터이자 아부다비의 첨단기술연구위원회(Advanced Technology Research Council)(ATRC)의 응용 연구 중추인 테크놀로지 이노베이션 인스트튜트(Technology Innovation Institute)(TII)가 팔콘 시리즈에 새로운 대형 언어 모델인 팔콘 맘바 7B(Falcon Mamba 7B)를 출시했다. 새로운 모델은 허깅페이스(Hugging Face)가 독립적으로 검증한 세계 1위의 오픈소스 상태공간언어모델(State Space Language Model, SSLM)이다.

팔콘(Falcon)의 첫 번째 SSLM으로서 이 모델은 모두 트랜스포머 기반 아키텍처를 사용하는 이전 이전 모델에서 출발한다. 이 새로운 팔콘 맘바 7B 모델은 이 연구소가 수행하고 있는 선구적인 연구와 오픈 소스 형식으로 커뮤니티에 제공하는 획기적인 도구 및 제품의 또 다른 예이다.

A TRC의 사무총장이자 전략 연구 및 첨단기술문제(Strategic Research and Advanced Technology Affairs)에 대한 UAE 대통령 담당 고문인 파이살 알 반나이(Faisal Al Bannai) 각하가 말했다. "팰컨 맘바 7B는 TII의 4년 연속 최고 AI 모델을 나타내며, 이는 아부다비를 AI 연구 개발의 글로벌 허브로 강화합니다. 이 성과는 혁신에 대한 UAE의 확고한 의지를 강조합니다."

트랜스포머 아키텍처 모델의 경우 팔콘 맘바 7B는 허깅페이스(HuggingFace)에서 새로 도입된 벤치마크에서 메타(Meta)의 라마 3.1 8B(Llama 3.1 8B), 라마 3 8B(Llama 3 8B) 및 미스트랄(Mistral)의 7B를 능가한다. 한편 다른 SSLM의 경우 팔콘 맘마 7B는 예전 벤치마크에서 다른 모든 오픈 소스 모델을 능가하며 허깅페이스의 새롭고 더 엄격한 벤치마크 리더보드의 첫 번째 모델이 될 것이다.

TII의 최고경영자(CEO)인 나즈와 아라즈(Najwa Aaraj) 박사는 이렇게 말했다. "테크놀로지 이노베이션 인스트튜트는 팔콘 시리즈 AI 모델을 통해 기술의 경계를 계속 넓히고 있습니다. 팰컨 맘바 7B는 진정한 선구적인 작업을 대표하며 인간의 능력을 향상시키고 삶을 개선할 미래의 AI 혁신을 위한 길을 닦고 있습니다."

상태 공간(State Space) 모델은 책 전체와 같이 시간이 지남에 따라 진화하는 복잡한 상황을 이해하는 데 매우 효과적이다. 이는 SSLM이 이러한 많은 정보를 소화하기 위해 추가 메모리를 필요로 하지 않기 때문이다.

반면에 트랜스포머 기반 모델은 시퀀스에서 이전에 처리한 정보를 기억하고 사용하는 데 매우 효율적이다. 이 점은 트랜스포머 기반 모델이 콘텐츠 생성과 같은 작업에 능하게 하지만 트랜스포머 기반 모델은 모든 단어를 다른 모든 단어와 비교하기 때문에 이는 상당한 계산 능력이 필요하다.

SSLM은 추정, 예측 및 제어 작업과 같은 다양한 분야에서 응용분야를 찾을 수 있다. 트랜스포머 아키텍처 모델과 마찬가지로 SSLM은 자연어 처리 작업에서도 탁월하며 기계 번역, 텍스트 요약, 컴퓨터 시각(Computer Vision) 및 오디오 처리에 적용될 수 있다.

TII의 AI 크로스 센터 유닛( AI Cross-Center Unit)의 수석 연구원 대행인 하킴 하시드(Hakim Hacid) 박사는 이렇게 말했다. "우리가 팔콘 맘바 7B를 소개하면서 저는 개발을 촉진한 TII의 협업적 생태계가 자랑스럽습니다. 이번 출시물은 새로운 관점을 고취하고 지능형 시스템에 대한 추구를 더욱 촉진하는 중요한 진전을 나타냅니다. TII에서 우리는 생성형 AI의 추가 혁신을 촉발하기 위해 SSLM과 트랜스포머 모델 둘 다의 경계를 넓히고 있습니다."

팔콘 LLM은 4,500만 백만 회 이상 다운로드되어 모델의 탁월한 성공을 입증했습니다. 팔콘 맘바 7B는 AI의 책임 있는 사용을 촉진하는 제한적 사용 정책이 포함되어 있는 관대한 아파치 2.0(Apache 2.0) 기반 소프트웨어 라이선스인 TII 팔콘 라이선스 2.0(TII Falcon License 2.0)에 따라 출시될 예정이다. 새 모델에 대한 자세한 내용은 FalconLLM.TII.ae 에서 확인할 수 있다.

이 보도자료는 해당 기업에서 원하는 언어로 작성한 원문을 한국어로 번역한 것이다. 그러므로 번역문의 정확한 사실 확인을 위해서는 원문 대조 절차를 거쳐야 한다. 처음 작성된 원문만이 공식적인 효력을 갖는 발표로 인정되며 모든 법적 책임은 원문에 한해 유효하다.

UAE의 테크놀로지 이노베이션 인스티튜트, 새로운 아키텍처로 AI 언어 모델 혁명 주도