메타가 개발한 대규모 언어 모델, ‘라마 2’란 무엇인가?

ChatGPT가 촉발한 LLM의 전성시대에,

가장 주목받고 있는 라마 2에 대해 알아보자.

인공신경망 알고리즘은 크게, 합성곱 신경망(CNN), 순환 신경망(RNN), 트랜스포머(Transformer - 2017, 구글 논문 "Attention is all you need" 모델) 로 구분

- Transformer : Self-Attention 방식을 사용하는 모델로 문장 전체를 병렬구조로 번역할 뿐만 아니라,

                         멀리 있는 단어까지도 연관성을 만들어 유사성을 높였으며, RNN 한계를 극복

 

‘라마 2(Llama 2)’는 페이스북 모회사 메타의 AI 그룹이 개발한 대규모 언어 모델(LLM)이다. 매개변수 규모에 따라 70억 개, 130억 개, 700억 개의 매개변수로 사전 학습 및 미세 조정된 3가지 모델이 제공된다. 메타 AI에 따르면 라마 2 챗 LLM은 대화 사용 사례에 최적화됐으며, 자체적으로 테스트한 벤치마크에서 오픈소스 채팅 모델보다 뛰어난 결과를 보였다. 메타는 유용성과 안전성 평가를 바탕으로 라마 2가 “폐쇄형 소스 모델의 적절한 대체재”라고 말한다.

“AI가 아무리 안전하다고 간주되더라도 결국 ‘확률적 앵무새(설득력 있는 언어를 생성하긴 하지만, 정작 언어의 의미를 이해하지 못하는 언어 모델을 일컫는 용어)’일 뿐이기 때문에 항상 답을 확인해야 한다.”

 

https://ai.meta.com/llama/

Llama 2 - Meta AI

 

https://www.itworld.co.kr/topnews/308005

메타가 개발한 대규모 언어 모델, ‘라마 2’란 무엇인가?