AI 하나에게만 질문하면 자신감 있게 들리는 답변을 받게 됩니다. 구조가 잘 잡혀 있고, 근거와 수치도 있습니다. 문제는 비교할 대상이 없다는 점이며, 바로 이것이 잘못된 확신을 만들어 냅니다.
그래서 간단한 실험을 해 보았습니다. 네 개의 모델, 즉 GPT-5.6 Sol, Claude Sonnet 5, Gemini 3.6 Flash, Grok 4.6에게 동시에 같은 질문을 하고 답변을 나란히 놓고 읽었습니다. 결과는 다음과 같습니다.
첫 번째 질문: 암호화폐에 얼마나 투자해야 할까
숫자 하나만 잘못되어도 실제로 돈을 잃을 수 있는, 위험이 따르는 질문을 일부러 골랐습니다. 네 모델 모두 큰 틀에서는 의견이 같았습니다. 결정은 개인 상황에 달려 있고, 시장은 변동성이 크며, 전부 잃을 수도 있으니 빌린 돈은 쓰지 말고 전문가와 상담하라는 것입니다.
여기까지는 완벽한 합의였습니다. 차이는 숫자에서 나타났습니다.
자금 중 얼마를 배분할 것인가:
- Claude Sonnet 5는 위험 감수 성향이 높은 경우의 기준으로 5~10%를 제시했습니다
- Grok, Gemini, GPT는 1~5%를 제시했고, GPT는 위험 감수 성향이 매우 높은 경우 최대 10%까지 가능하다고 보았습니다
시장이 얼마나 하락할 수 있는가:
- GPT-5.6 Sol은 50~80%의 조정 가능성을 언급했습니다
- Claude와 Gemini는 짧은 기간에 20~50%의 변동이 흔하다고 했습니다
- Grok은 큰 주기를 설명했지만, 정확한 비율 범위는 제시하지 않았습니다
이 숫자들을 잠시 살펴보세요. 한 모델에게만 물었다면 숫자 하나만 가지고 돌아가 그것을 사실로 여겼을 것입니다. '1%를 투자하라'와 '10%를 투자하라'의 차이는 열 배입니다. '20% 하락할 수 있다'와 '80% 하락할 수 있다'의 차이는 대비하는 방식을 완전히 바꿉니다.
어느 모델도 거짓말을 하는 것은 아닙니다. 각자 다르게 학습되었고 강조하는 부분이 다를 뿐입니다. 하지만 함께 놓고 보면, 이 숫자들은 어떤 단일 답변도 알려 주지 않는 사실을 말해 줍니다. 정답인 숫자는 없으며, 전문가들 사이에서도 의견이 갈리는 범위가 있을 뿐입니다.
네 답변을 모두 읽은 최종 종합도 바로 이 점을 강조했습니다. 수치는 참고용일 뿐 보장된 것이 아니며, 세금 관련 사항은 세무사에게 확인해야 한다는 것입니다. 판결이 아니라 불확실성의 지도입니다.
두 번째 질문: 광고 예산 없이 새 사이트를 Google에서 성장시키는 방법
이번에는 돈이 아니라 시간이 걸린 질문입니다. 많은 사람이 답을 찾는 실용적인 질문이라 골랐습니다.
이번에도 기본 사항에서는 의견이 일치했습니다. 자연 검색 SEO, 빠른 사이트, 모바일 우선, HTTPS, 사이트맵, Search Console, 실제 검색 의도에 맞는 콘텐츠, 자연스럽게 얻은 백링크, 그리고 몇 달에 걸친 인내심입니다.
그리고 이번에도 흥미로운 것은 차이였습니다. 이번에는 그중 하나가 정면으로 상반된 의견이었습니다.
Claude, Gemini, Grok은 중요한 페이지의 색인 생성을 Search Console에서 수동으로 요청하라고 권했습니다. GPT-5.6 Sol은 모든 글의 색인 생성을 수동으로 요청할 필요는 없다고 분명히 말했습니다.
3 대 1입니다. 하지만 '3 대 1'이라고 해서 셋이 자동으로 옳다는 뜻은 아닙니다. 실무 관행이 갈리는 지점을 만났다는 뜻이며, 선택하기 전에 알아볼 가치가 있는 부분입니다.
그 밖의 작은 차이점:
- 글의 길이: Claude는 1,500단어 이상의 충실한 글을 제안했습니다. 나머지는 정해진 기준 없이 관련성을 강조했습니다.
- 세부 수준: GPT와 Grok은 90일 단계별 계획을 제시했습니다. Claude와 Gemini는 더 간결한 모범 사례 목록을 주었습니다.
- 페이지 속도: Gemini는 2~3초 이내라는 구체적인 목표를 제시했습니다. 나머지는 '속도를 개선하라'고만 권했습니다.
두 실험에서 배운 점
합의는 증거가 아닙니다. 네 모델이 모두 같은 말을 하면 그것을 확인으로 받아들이고 싶어집니다. 하지만 모델들은 같은 방식으로 틀릴 수 있으며, 특히 규제나 세법처럼 바뀌는 정보에서는 더욱 그렇습니다. 두 실험 모두에서 종합은 바로 이 점을 짚었습니다. 모두가 동의한다고 해서 정보가 검증된 것은 아닙니다.
차이는 어디를 더 파고들어야 할지 알려 줍니다. 비교에서 가장 가치 있는 부분은 모델들이 동의하는 곳이 아니라 동의하지 않는 곳입니다. 거의 항상 그곳에서 주제는 보기보다 복잡하거나, 상황에 따라 달라집니다.
한 답변에서 얻은 숫자 하나는 위험합니다. 모델이 거짓말을 해서가 아니라, 실제 범위가 얼마나 넓은지 볼 수 없기 때문입니다.
실험 방법
MultiAI Chat의 AI Council 모드를 사용했습니다. 같은 질문이 선택한 모델들에 동시에 전달되고, 답변이 나란히 표시되며, 마지막으로 종합 단계에서 이를 비교합니다. 모두가 동의하는 점, 서로 다른 점, 확인이 필요한 점, 그리고 합리적인 다음 단계를 정리합니다. 종합은 승자를 정하지 않으며 자체 정보를 추가하지도 않고, 모델들이 한 말만 비교합니다.
두 가지를 덧붙입니다. 이 실험은 특정 날짜에, 당시 사용할 수 있었던 모델 버전으로 진행했습니다. AI 답변은 실행할 때마다 달라지므로 같은 실험을 반복해도 정확히 같은 문장이 나오지는 않습니다. 또한 이 글은 투자 조언을 담고 있지 않습니다. 모델들이 어떻게 답했는지만 설명할 뿐이며, 모델들의 공통된 결론도 결국 전문가와 상담하라는 것이었습니다.
결론
AI 답변 하나는 방향을 알려 줍니다. 네 개의 답변을 함께 읽으면 그 방향이 얼마나 확실한지, 그리고 결정하기 전에 어디를 더 자세히 봐야 하는지 알 수 있습니다.
직접 비교해 보고 싶다면 ChatGPT vs Claude vs Gemini vs Grok: 무엇을 써야 할까?를 참고하세요.