AI 시장의 새로운 방향 SLM

 

2023년부터 기업들이 AI를 만드면서 세상에는 많은 AI들이 등장하게 되었다. 그 중 대형 언어 모델 'LLM'을 기반으로 오픈AI의 '챗(Chat) GPT', 메타의 '라마(LLaMA)', 구글의 '팜(PaLM)', 엔쓰로픽의 '클로드(Claude)' 등 다양한 AI가 만들어졌다. 

 

한편 마이크로소프는 2024년 12월 기존 LLM 모델의 AI가 아닌 '소형 언어 모델(SLM)'을 발표하며 기존 LLM 모델 뿐에 없는 시장에 출사표를 던졌다.

 

 마이크로 소프트에서 만든 파이-4(Phi-4)는 SLM은 기술적 효율성과 보안 측면에서 현대 AI 기술의 한계를 극복하려고 한다.

SLM이란?

소형 언어 모델(SLM)은 대규모 언어 모델(LLM)에 비해 상대적으로 적은 매개변수를 가지면서도 특정 작업에서 뛰어난 성능을 발휘하도록 설계된 AI 모델이다.

 

SLM은 더 적은 자원으로 동작할 수 있으며 특정 도메인에 최적화된 성능을 제공한다. 이로 인해, LLM보다 접근성과 효율성 측면에서 유리한 점이 많다.

SLM과 LLM의 차이점

먼저 LLM은 수백억에서 수천억 개의 매개변수를 가진다. 그리고 대규모 데이터와 계산 능력을 필요로 한다. 예를 들어, 챗GPT는 방대한 데이터셋과 고성능 서버를 활용해 다양한 작업에서 뛰어난 결과를 제공한다.

 

반면 SLM은 수십억 개의 매개변수를 가지며 더 적은 자원으로 특정 작업에서 LLM에 비견되는 성능을 발휘할 수 있다. 마이크로소프트의 파이-4 이러한 소형 모델의 대표 사례로, STEM(과학, 기술, 공학, 수학) 분야에 특화된 성능을 제공한다.

 

또한 LLM이 클라우드 기반으로 운영되어 인터넷 연결이 필수적이지만 SLM은 로컬에서 실행가능해 데이터 보안 유지를 할 수 있다.

마이크로소프트의 SLM 파이-4

앞서 LLM은 수십억에서 수천억 개의 매개변수를 활용해 고성능을 제공하며 그만큼 막대한 계산 자원과 에너지가 필요하고 이에 반해 SLM은 상대적으로 적은 자원으로 높은 효율성을 유지한다고 말했다.

 

마이크로소프트는 파이-4를 개발함으로서 140억 개의 매개변수를 활용해 대규모 인프라 없이도 1. 특정 도메인에 최적화된 성능, 2. 보안과 개인정보 보호, 3. 에너지 효율성과 지속 가능성 등 실용적인 AI 솔루션을 제공한다.

파이-4, SLM의 새로운 기준이 될까?

파이-4는 SLM이 가진 모든 강점을 보여줄 것으로 기대되는 모델이다. 아직 공식 출시되지 않았으나, 마이크로소프트는 곧 공개할 예정이라고 밝혔다.

 

파이-4는 인터넷 연결 없이 실행 가능하며, STEM 특화 성능으로 연구와 교육 분야에서 높은 활용 가능성을 기대하고 있다. 또한 효율성과 보안을 겸비해, 소규모 조직부터 대규모 기업까지 폭넓게 적용될 가능성이 있다.

SLM의 기타 주요 모델

파이-4가 공개되면서 SLM의 관심이 높아졌다. 그렇다면 마이크로소프트의 파이-4외 다른 SLM 모델은 무엇이 있을까?

 

• GPT-J: 오픈소스 SLM으로, 다양한 개발자와 연구자들에게 널리 사용되고 있습니다.
• Alpaca: 스탠포드 대학에서 개발한 경량화된 SLM으로, 실험적 환경에서 유용합니다.
• MiniLM: 마이크로소프트의 또 다른 SLM으로, 빠른 추론 속도와 낮은 메모리 사용량을 자랑합니다.

등이 있으며 앞으로 다양한 SLM이 개발될 예정이다.

 

 

마이크로소프트가 SLM 개발에 집중하는 이유는 효율성, 접근성, 보안, 지속 가능성 등 현대 AI 기술이 직면한 여러 과제를 해결하려는 데 있다.

 

파이-4는 이러한 전략을 기반으로, SLM이 AI 시장에서 어떻게 새로운 길을 열어갈 수 있는지 보여주는 대표 사례가 될 수 있다.

 

LLM이 주도하던 시장에서 SLM의 중요성이 점차 강조되는 지금, 파이-4는 AI의 새로운 가능성을 제시할 수 있을까?