AI가 만든 숫자, 그대로 믿으면 안 되는 이유

작성자

카테고리:

숫자는 그럴듯할수록 더 의심해야 합니다.

프롤로그

한번은 어떤 코인의 시가총액 순위를 물었는데, 꽤 구체적인 숫자와 함께 답이 나왔습니다. 표까지 곁들여서 그럴듯하게 정리돼 있길래 그대로 믿을 뻔했는데, 원문을 찾아보니 실제 수치와 차이가 있었습니다. 틀린 답이 아니라 “그럴듯하게 틀린 답”이었던 겁니다.

그날 이후로, AI가 숫자를 말하면 일단 한 번 확인하는 습관이 생겼습니다.

AI가 “잘 모르겠습니다”라고 답하면 오히려 안심이 됩니다. 문제는 모를 때도 마치 아는 것처럼, 숫자까지 구체적으로 붙여서 답할 때입니다.

말로 설명하는 답은 틀려도 어딘가 어색하게 느껴지는 경우가 많은데, 숫자는 다릅니다. “62.4%”처럼 딱 떨어지는 숫자는 그 자체로 신뢰감을 줍니다. 그런데 숫자가 구체적으로 보인다는 것과 실제로 정확하다는 것은 다른 문제입니다.

AI가 숫자를 틀리는 데는 두 가지 이유가 있습니다.

첫째, 최신 데이터를 직접 확인한 답이 아닐 수 있습니다. AI가 항상 실시간으로 검색해서 답하는 건 아닙니다. 검색이나 외부 자료를 쓰지 않았다면, 예전에 학습한 정보나 대화 중 제공된 자료를 바탕으로 답했을 가능성이 있습니다.

둘째, 충분한 근거가 없어도 자연스러운 숫자를 만들어낼 수 있습니다. AI가 모든 숫자를 정확한 데이터베이스에서 조회해서 답하는 건 아닙니다. 문맥상 그럴듯한 숫자를 채워 넣는 경우도 있습니다.

그래서 원칙은 하나입니다. 구체적인 숫자라고 해서 정확한 숫자는 아닙니다. 가격·시가총액·거래량·수익률처럼 투자 판단에 영향을 주는 숫자라면 더 확인할 필요가 있습니다.

AI에게 숫자를 물을 때, 이렇게 조건을 붙여보세요.

그대로 써보기
“[궁금한 수치]를 알려줘. 이 숫자의 기준 시점과 출처를 함께 알려줘. 최신 정보를 직접 확인하지 못했다면 추정해서 답하지 말고, 확인이 필요하다고 말해줘.”

답을 받으면, 원문 출처를 한 번 더 요청하세요.

“이 숫자를 확인할 수 있는 원문 출처를 알려줘.”

이 두 질문을 습관으로 만들면, 숫자를 그냥 받아 적는 일이 크게 줄어듭니다.

AI가 알려준 출처만 보고 끝내지 않습니다. 가능하면 그 숫자를 원래 발표하는 곳에서 직접 확인합니다.

거래 시세는 해당 거래소, 기업 실적은 공식 공시, 경제지표는 발표한 공식 기관 — 이렇게 원출처를 한 번 더 거칩니다. AI가 준 링크도 그냥 믿지 않고 직접 열어서, 숫자와 기준 시점이 실제로 맞는지 확인합니다.

AI 숫자 검증의 마지막 단계는 원출처 확인입니다. AI는 숫자를 찾고 정리하는 데 활용하고, 중요한 숫자는 원출처에서 다시 확인합니다.

예전엔 숫자가 구체적이면 더 믿었습니다. 그렇지만 AI가 주는 답은 반반입니다.

그러면 이제 무얼 믿냐고요?😅

AI 투자연구 전체 보기 →