세 개의 AI, 같은 질문에 얼마나 다르게 답할까요.
※ 이 글은 특정 자산의 매수·매도를 권하는 글이 아닙니다. AI를 투자 리서치에 활용하는 방법을 직접 실험하고 기록합니다.
프롤로그
요즘은 GPT, Claude, Gemini를 다 열어놓고 씁니다.
워드프레스 작업은 Claude와, 네이버 쪽 작업은 GPT와, 영상 만들때는 Gemini와 하다 보니 자연스럽게 그렇게 됐습니다. 그러다 문득 궁금해졌습니다.
같은 질문을 똑같이 던지면, 셋이 정말 다르게 답할까?
그래서 어느 날 저녁, 세 개 창을 나란히 띄워놓고 똑같은 질문을 복사해서 붙여넣어 봤습니다.
결과는 예상보다 더 재미있었습니다.
어떤 AI가 더 정확할까?
AI가 여러 개다 보니 이런 질문을 자주 듣습니다.
“어떤 AI가 제일 정확해요?”
AI에게 투자 정보를 어디까지 물어봐도 되는지는 앞선 글에서 먼저 살펴봤습니다.
저도 처음엔 그런 게 있을 줄 알았습니다. 하나를 정해서 그것만 믿고 쓰면 편할 것 같았거든요.
그런데 막상 비교해보니 세 AI가 다르게 답하는 건 맞지만, 그렇다고 꼭 “뭐는 맞고 뭐는 틀렸다”고 단정할 일은 아니었습니다.
같은 질문 던져보기
제가 실제로 물어본 질문은 이것이었습니다.
“지금 [투자종목]에 투자해도 될까요?”
세 AI의 반응은 결이 확실히 달랐습니다.
- 하나는 투자 여부를 직접 말하는 대신 투자 목적, 기간, 감당 가능한 손실 범위처럼 판단에 필요한 질문을 먼저 되물었습니다.
- 다른 하나는 일반적인 장단점과 위험요인을 정리해서 보여주고, 최종 판단은 본인의 몫이라고 선을 그었습니다.
- 나머지 하나는 시장 상황에 대한 일반론과 함께, 투자 조언이 아니라는 점을 여러 번 강조했습니다.
셋 다 “사세요/팔세요”라고 단정하지는 않았지만 답에 접근하는 방식은 조금씩 달랐습니다.
그렇다고 이것을 GPT는 항상 이렇고, Claude와 Gemini는 저렇다고 일반화할 수는 없습니다.
세 AI의 답 비교하기
지금 궁금한 투자 질문 하나를 정해서 세 AI에게 똑같이 물어보세요.
그대로 써보기
“[궁금한 질문]”
세 창에 토씨 하나 바꾸지 않고 똑같이 넣어봅니다.
답을 받으면 이것만 비교해보세요.
- 어떤 AI가 판단에 필요한 조건을 먼저 물어봤나?
- 어떤 AI가 위험이나 한계를 더 분명하게 설명했나?
- 표·목록·문장 등 어떤 방식으로 정리했나?
- 최신 정보가 필요한 부분에서는 어떤 근거를 제시했나?
정답을 찾기보다 각 AI가 답을 만들어가는 방식의 차이를 살펴봅니다.
같은 답도 다시 확인하기
여기서 한 가지는 꼭 짚고 넘어가야겠습니다.
세 AI가 같은 답을 했다고 그 내용이 사실이라는 보장은 없습니다. 서로 비슷한 자료를 참고했거나 같은 잘못된 정보를 반복했을 수도 있습니다.
그래서 투자에서 중요한 숫자나 뉴스, 공시 같은 정보는 AI 답변에서 끝내지 않고 원출처에서 다시 확인해야 합니다.
뉴스와 공시를 AI로 먼저 살펴보는 방법은 앞선 글에서 직접 해봤습니다.
제대로 교차검증하는 방법은 Season 2에서 본격적으로 다뤄보겠습니다.
파이의 커피 한잔
세 창을 나란히 앞에 띄워놓고 있으니 꼭 면접관이 된것 같았습니다.
꼼꼼한 면접관이 되겠습니다.😂
다음 글
다음 Season 1-4에서는 조금 더 중요한 문제를 살펴보겠습니다.
AI가 그럴듯한 숫자 하나를 보여줬을 때, 우리는 무엇부터 확인해야 할까요?
답글 남기기