쉽게 이해하는 챗봇/인공지능 용어 모음(프롬프트, top-p, 토큰 등)

인공지능 챗봇을 사용해본 적이 있나요?

요즘 유행하는 ChatGPT도 인공지능 챗봇입니다. 카카오톡에서 '카톡 봇'도 많이 보았을 것입니다. 이렇게 인공지능 기술을 이용한 챗봇은 우리의 일상생활에서 점점 더 많은 역할을 하고 있습니다. 그렇다면, 이런 챗봇을 만들기 위해 필요한 용어들을 알고 계신가요?

우선, 챗봇은 인공지능 기술을 이용하여 자연어로 이루어진 대화를 처리하는 프로그램입니다. 이를 위해 필요한 것이 자연어 처리 기술입니다. NLP(Natural Language Processing)이라고도 불리는 이 기술은 인간의 언어를 이해하고 해석하는 데 사용됩니다. 예를 들어, '오늘 날씨는 어때?'라는 질문에 대해 챗봇이 '맑아요'라는 답변을 할 수 있는 것은 NLP 기술을 이용하기 때문입니다.

인텐트와 엔티티

또한, 챗봇에서는 대화의 흐름을 구성하기 위한 '대화 흐름'과, 사용자의 의도나 목적을 파악하는 '인텐트' 기술이 사용됩니다. 이를 위해 '엔티티'라는 단어나 구를 이용하여 특정한 개체나 데이터를 나타냅니다. 예를 들어, '김철수의 전화번호는 뭐야?'라는 질문에 대해 챗봇이 '김철수'를 엔티티로 인식하고, 그에 해당하는 전화번호를 찾아 답변할 수 있습니다.

프롬프트, 생성 모델, 토큰, 말뭉치

그리고 챗봇에서는 대화의 흐름을 제어하기 위한 '프롬프트'와, 자연스러운 대화를 위해 일부분만 주어진 상황에서 자연스러운 완성된 문장이나 단어를 생성하는 '완성(Completion)' 기술도 사용됩니다. 이를 위해 '생성 모델'과 '조건부 생성 모델'이 사용됩니다. '토크나이저'와 '토큰'은 문장을 단어나 토큰으로 분리하는 기술이며, '말뭉치'는 자연어 처리를 위해 수집된 대량의 텍스트 데이터를 말합니다.

이처럼, 챗봇을 구현하기 위해서는 다양한 인공지능 기술과 프로그래밍 기술이 필요합니다. 이를 모든 기술 용어들을 이해하고 활용할 수 있어야 합니다. 인공지능 챗봇은 우리의 일상생활에서 더욱 더 중요한 역할을 하게 될 것이므로, 이를 이해하고 활용할 수 있는 능력은 매우 중요합니다."

용어 리스트

아래는 용어 리스트입니다. 알아두시고 도움 되시길 바랍니다!

• 챗봇 관련 용어 : 챗봇, 어시스턴트, 프롬프트, 대화 흐름
• 자연어 처리 관련 용어 : 자연어 처리(NLP), 완성, 인텐트, 엔티티, 토크나이저, 토큰, 말뭉치, 유니코드
• 인공지능 모델 관련 용어 : 생성 모델, 조건부 생성 모델, 머신러닝, 딥러닝
• 기술 용어 : 코딩, 스크립트, API, top-p

 

용어	영문 표기	용어설명
챗봇	Chatbot	인공지능 기술을 이용하여 자연어로 이루어진 대화를 처리하는 프로그램
어시스턴트	Assistant	음성이나 텍스트 등으로 사용자의 요구를 처리하고 응답하는 인공지능 기반의 개인 비서
자연어 처리 (NLP)	Natural Language Processing	인간의 언어를 이해하고 해석하는 인공지능 기술
완성	Completion	주어진 일부분을 바탕으로 자연스러운 완성된 문장이나 단어를 생성하는 인공지능 기술
프롬프트	Prompt	사용자의 입력을 유도하기 위해 챗봇이 출력하는 메시지
top-p	top-p	생성 모델에서 다음 단어를 예측할 때, 가능한 후보 단어 중 확률 분포의 상위 p%를 선택하는 기술
인텐트	Intent	사용자의 의도나 목적을 파악하기 위한 NLP의 기술적 개념
엔티티	Entity	특정한 개체나 데이터를 나타내는 단어나 구
대화 흐름	Dialogue Flow	챗봇과 사용자 간의 대화를 흐름을 구성하는 구성 요소
생성 모델	Generation Model	자연어 생성을 위한 인공지능 모델
조건부 생성 모델	Conditional Generation Model	입력된 조건을 기반으로 자연어 생성을 수행하는 인공지능 모델
토크나이저	Tokenizer	문장을 단어나 토큰으로 분리하는 기술
토큰	Token	텍스트 데이터를 분리한 최소 단위
말뭉치	Corpus	자연어 처리를 위해 수집된 대량의 텍스트 데이터
유니코드	Unicode	전 세계의 모든 문자를 일관되게 표현하기 위한 국제 표준 문자셋
코딩	Coding	프로그래밍 언어를 사용하여 컴퓨터가 이해할 수 있는 형태로 소프트웨어를 만드는 작업
스크립트	Script	챗봇에서 사용되는 프로그래밍 언어로 작성된 명령어 집합
API	Application Programming Interface	소프트웨어 간의 상호작용을 위한 인터페이스
머신러닝	Machine Learning	인공지능의 한 분야로 데이터를 학습하여 패턴을 파악하고 문제를 해결하는 기술
딥러닝	Deep Learning	머신러닝의 한 종류로, 다층 신경망을 이용하여 데이터를 학습하는 기술

 

ai-generated-image