메타가 개발한 대규모 언어 모델, ‘라마 2’란 무엇인가?
ChatGPT가 촉발한 LLM의 전성시대에, 가장 주목받고 있는 라마 2에 대해 알아보자. 인공신경망 알고리즘은 크게, 합성곱 신경망(CNN), 순환 신경망(RNN), 트랜스포머(Transformer - 2017, 구글 논문 "Attention is all you need" 모델) 로 구분 - Transformer : Self-Attention 방식을 사용하는 모델로 문장 전체를 병렬구조로 번역할 뿐만 아니라, 멀리 있는 단어까지도 연관성을 만들어 유사성을 높였으며, RNN 한계를 극복 ‘라마 2(Llama 2)’는 페이스북 모회사 메타의 AI 그룹이 개발한 대규모 언어 모델(LLM)이다. 매개변수 규모에 따라 70억 개, 130억 개, 700억 개의 매개변수로 사전 학습 및 미세 조정된 3가지 모델이 ..
2023. 9. 20.
