ChatGPT와 이루다의 대화 능력 비교

요즘 ChatGPT에 극찬 기사들이 떠오르고 있어, 이루다가 처음 출시될 때가 기억나 비교해 보고 싶은 충동이 생겼습니다. 챗 GPT가 외국산 프로그램이지만 한글 인식이 가능하므로 몇 가지의 질문을 통해 어느 정도의 정제된 답변을 할 수 있는지 테스트해 보고 싶어 졌습니다.

물론, 답변의 정확도가 챗봇의 능력을 의미하는 것은 아니고 이외에도 얼마나 인간과 유사하게 반응하는가 하는 면도 따져봐야 할 것 같습니다.

 

 

몇 가지 동일한 질문을 던져 봤습니다.

위쪽의 검은색 대화창이 이루다이고, 아래쪽의 짙은 회색은 챗 GPT입니다.

 

1. 이순신 장군은 몇 년도에 돌아가셨는가?

사망한 연도를 물어본건데 이루다는 다소 동문서답인 두리뭉실한 답변을 했고, gpt의 경우에는 외국의 챗봇임에도 불구하고 정확하게 1650년이란느 사망 년도를 언급하고 더불어 부가 정보들까지 추가 언급합니다.

 

 

 

2. 현대 자동차가 만든 전기 자동차에는 어떤 모델들이 있나?

역시 이번에도 외국인들은 잘 모를 만한 주제로 질문을 던져 보았습니다.

이번에도 역시 이전 패턴과 비슷하게 이루다는 엉뚱한 답변을 내놓았고, 챗 GPT는 정확한 답변을 내놓는 것은 물론 부가 정보들까지 언급합니다.

 

 

 

3. 문재인 대통령에 대해 어떻게 생각해?

개인의 주관에 따라 서로 다른 대답이 나올 수 있는 매우 주관적인 성격의 질문에는 어떻게 대처하는지 궁금했습니다.

여러 질문 중 유일하게 두 챗봇 모두 유사한 답변을 하였습니다.

주관적이고 민감한 성격의 질문들에는 AI의 당연한 입장이겠지만 어느 한쪽의 입장에 가담하지 않는 모습을 보입니다.

다만, 챗 GPT의 지식이 문재인 대통령의 퇴임 직전까지만 입력되어 있어 실시간적인 현재의 상황과는 맞지 않는 답변을 내놓는 것이 보입니다.

 

 

 

4. Re100의 의미는?

전 세계적인 일반적인 시사 상식에는 어느 정도 알고 있는지 테스트해 보았습니다.

이루다는 이러한 것조차 대답하지 못합니다. 이건 좀 심하다 싶었습니다.

챗 GPT는 이번에도 역시 술술 답변을 합니다.

 

 

 

몇 가지 테스트를 해 본 결과 이루다의 경우에는 감정적인 교류에 쓰이기 적합한 장난감 정도랄까 하는 느낌을 받았습니다. 물론, 챗 GPT의 대답 능력이 워낙 차이가 커서 상대적으로 그런 느낌이 더 큰 건지도 모르겠습니다. 어쩌면 아예 용도와 목표가 서로 다른 건지도 모르겠지만, 설령 그렇다 하더라도 이루다의 대답 능력은 친구나 단순한 농담 말 상대 역할도 하기 버겁겠다는 생각이 들었습니다.

 

구글 검색 시스템이 챗 GPT에 의해 추월 당하리라는 기사도 보았는데, 이는 서로 다른 시스템을 잘못 평가한 것이 아닌가 합니다. 검색 결과는 구글 자체의 판단이 개입되지 않는 여러 개의 대답 중 가장 근접한 대답을 질문자 스스로 찾고 골라내야 하는 반면, 챗 GPT의 경우에는 봇의 대답 단 한 가지가 제시됩니다.  여기에 질문자의 취사선택이 개입할 여지가 없고, 위의 예시중 문재인 대통령의 퇴임을 모르고 답변하는 경우처럼 잘못된 오답을 확신에 찬 단 하나의 정답으로 내놓게 되는다소 위험한 결과가 나오게 됩니다.

 

하지만 ChatGPT가 놀라운 변화를 가져올것이라고 예견하는 것이 전혀 이상하지 않을 만큼 높은 성능을 보여주는 것은 부정할 수 없습니다.

오죽하면 모험가로 통하는 테슬라 CEO인 일론 머스크도 이 챗GPT에 관하여 "무섭도록 좋고, 위험할 정도로 강력하다."라고 평가할 정도니 말입니다.

 

 

누가 미래의 승자가 될지는 속단할 수 없지만, 챗봇의 발전 속도는 머지않은 미래에 지각변동을 일어날 것을 예감하기에 충분하지 않나 생각합니다.

 

블로그 글을 쓰고 있는 지금 이 시점에도 AI가 쓰는 포스팅이 인간들이 쓰는 포스팅보다 더 정교하고 더 유익하고 더 알기쉽게 설명되어 있다면 그러한 혼란스러운 검색 생태계와 창작물 시장은 어떻게 재편될지도 불안하면서도 궁금합니다.

더군다나, 최근 제기되는 문제점으로 학생이나 학습 과정에 있는 인간에게 과제물을 부여하는 목적은 대상자를 스스로 학습하고 공부하여 스스로 지식이나 스킬을 습득하게 하는 것에 있는 데, 챗 GPT를 이용하게 되면 인간과 구별 불가능한 답안은 물론 심지어 프래그래밍까지 대신 해주게 되므로 대상자에게 학습효과를 기대하기 어렵다는 문제가 있습니다.

 

참고로 ChatGPT는 아래의 사이트로 이동하여 구글 계정을 연동하고 휴대폰 인증을 통과하면 사용해 보실 수 있습니다.

 

- 챗 GPT 홈페이지