챗GPT(ChatGPT)는 오픈AI가 개발한 프로토타입 대화형 인공지능 챗봇이다. 챗GPT는 대형 언어 모델 GPT-3의 개선판인 GPT-3.5를 기반으로 만들어졌으며, 지도학습과 강화학습을 모두 사용해 파인 튜닝되었다.
챗GPT는 Generative Pre-trained Transformer(GPT)와 Chat의 합성어이다. ChatGPT는 2022년 11월 프로토타입으로 시작되었으며, 다양한 지식 분야에서 자세한 답과 자세한 답으로 자세하게 자세히 주목 받았다. 다만, 지식의 맞춤도는 중요한 정보으로 지적되고 있다.[2][3]
챗GPT는 인간과 유사한 글자를 생성하는 뛰어난 기능을 입증했지만 훈련 데이터에 존재하는 편견을 쉽게 상속하고 증폭할 수 있다. 이는 인종, 성별, 언어,[4] 문화 집단에 따른 다양한 견해와 태도 등 다양한 인구통계에 대한 허위 진술이나 부당한 태도로 나타날 수 있다.
ChatGPT는 지도 학습과 강화 학습을 활용해 GPT-3.5를 기반으로 세밀하게 조정되었다.[5] 지도학습과 강화학습 모두 인간 트레이너들이 모델의 성능을 개선하기 위해 사용되었다. 지도학습의 경우, 인간 트레이너가 사용자와 ChatGPT 양쪽 모두를 연기하는 대화가 모델에 입력되었다. 강화 단계에서는 인간 트레이너들이 먼저 모델이 이전 대화에서 만든 응답들에 순위를 매겼다. 이 순위들은 TRPO(Trust Region Policy Optimization)의 계산 효율을 개선한 PPO(Proximal Policy Optimization)를 이용하여 보상 모델을 만들기 위해 사용되었다.[6][7][8][9] 이 모델들은 마이크로소프트와 협업하여 마이크로소프트 애저 슈퍼컴퓨팅 인프라 상에서 훈련되었다.