일반적으로 언어 모델의 성능은 독해, 요약, 질의응답, 번역, 분류, 감정 분석, 문장 유사성 분석, 논리적 추 론, 문법 적합성 판단 등의 과제수행 능력을 근거로 판정된다. 절대로 지식에 대한 정확한 답변이 주요 관심사가 아니다. 챗GPT의 본질은 언어 모델이다. 언어 모델은 인간의 말을 정말 잘 알아듣고, 작문을 그럴싸하게 잘하는 기계다. 단지 챗GPT를 제작하는 과정에서 무료로 접근 가능한 대규모의 텍스트 데이터를 학습했고, 그 과정에서 참고한 무수히 많은 논문들과 백과사전의 지식 따위가 언어 모델 내부에 희석된 채 남아있었다. 따라서 챗GPT와의 단순한 질의응답 이후 챗GPT의 성능을 평가하는 것은, 단물 빠진 껌을 주워서 입에 넣으며 “껌이라는 건 되게 밍밍한 맛밖에 안 나는 음식이다.”라고 평가절하하는 것과 크게 다르지 않다. 그럼에 도 그 단맛이 워낙 환상적이었기에 사람들이 단맛에만 집중하며 오해가 점점 커진 것 같다. 언어 모델을 제대로 활용하려면 핵심 성능 지표 중 하나를 택해야 한다. 이번 글에서는 요약과 논리적 추 론이라는 두 개의 지표에만 주로 집중해 보겠다. 지금부터 설명할 기법은 모두 어텐션 때문에 가능한 것이다. 어텐션에 대해 먼저 살펴보자. 04 주입식교육이가능한, 챗GPT의핵심기능 ‘어텐션’ 챗GPT를 비롯해 현대의 첨단 언어 인공지능에는 대부분 ‘어텐션5’ 기술이 적용되어 있다. 어텐션 때문에 냉 철한 인공지능 역시 주입식 교육을 통해 실력향상을 겪을 수 있다. 어텐션의 개념부터 짧게 살펴보자. 영어로 된 긴 글을 독해하는 상황을 생각해보시기 바란다. 영어 원어민들은 처음부터 끝까지 순서대로 글을 읽지만, 한국인들은 그렇지 않다. 한국어 어순에 맞춰서 눈동자를 이리저리 왔다 갔다 하며 글을 부분부분 읽고 조립해 해독한다. 이게 바로 어텐션이다. ▶어텐션에있어영어원어민과한국인의차이 한국인이 긴 영어 문장을 각 부분으로 나누어 읽듯이, 어텐션이 적용된 인공지능 역시 일단 입력받은 데이터 를 한 번 죽 훑어보고, 지금 어느 부분을 중점적으로 봐야 좋겠는지를 판단한다. 어텐션 덕분에 인공지능은 방대 한 텍스트를 입력받은 상황에서도 헤매지 않고 최선의 답변을 생성할 수 있는 것이다. 실질적으로 챗GPT의 능력을 극한까지 끌어내는 데에는 프롬프트 인젝션이나 적대적 프롬프팅 등 더욱 다 양한 기법들까지 모두 숙지할 필요가 있으나, 지면 관계로 생략하고 어텐션이 효용성을 불러오는 이유만 짧게 요 약해 보겠다. 4) 국내에서도생성 AI 기반의글쓰기툴 ‘뤼튼’의운영사인뤼튼테크놀로지스에서국내최초로연봉 1억원의프롬프트엔지니어채용에나섰다. <편집자주> 5) Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. 『Neural machine translation by jointly learning to align and translate.』 arXiv preprint arXiv:1409.0473 (2014). 원어민 : 순차독해 한국인 : 왔다갔다바쁘다! ┃ 법무사시시각각 이슈와 쟁점 41 2023. 04 vol.670
RkJQdWJsaXNoZXIy ODExNjY=