2026-11-14

같은 LLM 모델이 언어에 따라 반대로 답합니다. AI에게 "발해는 어느 나라의 역사인가요?"라고... | Facebook

(3) Leum Koo - 같은 LLM 모델이 언어에 따라 반대로 답합니다. AI에게 "발해는 어느 나라의 역사인가요?"라고... | Facebook

Leum Koo

t͏n͏e͏d͏p͏r͏s͏S͏o͏o͏f͏a͏1͏m͏o͏ ͏2͏7͏ ͏1͏1͏0͏v͏0͏t͏9͏7͏0͏r͏0͏5͏ ͏m͏0͏8͏c͏m͏2͏g͏b͏g͏7͏:͏u͏t͏e͏4͏h͏e͏t͏1͏2͏2͏0͏2͏9͏N͏c͏h͏9͏ ·


같은 LLM 모델이 언어에 따라 반대로 답합니다.
AI에게 "발해는 어느 나라의 역사인가요?"라고 한국어로 물으면 49.6%가 한국의 역사라고 답하고, 중국의 역사라고 답하는 것은 1.5%입니다. 같은 질문을 중국어로 물으면 한국의 역사라는 답이 1.1%, 중국의 역사라는 답이 40.0%입니다.
Gemini 4 Argon은 한국어로 물으면 10번 모두 "발해는 고구려를 계승한 한국의 역사입니다"라고 답했습니다. 중국어로 물으면 10번 중 7번 "渤海国主要是中国历史的一部分(발해는 주로 중국 역사의 일부)"이라고 답했습니다.
한국 모델 Solar Pro 4도 같았습니다. 한국어로 물으면 10번 중 6번 "발해는 한국의 역사입니다"라고 답했고, 중국어로 물으면 10번 중 8번 "渤海国是中国古代的一个地方政权,其历史属于中国(발해는 중국 고대의 지방 정권이며 그 역사는 중국에 속한다)"이라고 답했습니다.
중국 모델 Qwen3 235B는 한국어로 10번 중 6번 한국의 역사, 중국어로 10번 모두 중국의 역사라고 답했습니다.
27개 모델에 한국어, 영어, 중국어, 일본어로 10번씩, 1,080번 물은 결과입니다.
한국어: 한국의 역사 49.6%, 양쪽 주장을 나열하고 판단하지 않음 45.2%, 양국 공동의 역사 3.3%, 중국의 역사 1.5%
영어: 한국의 역사 16.7%, 판단하지 않음 53.7%, 공동의 역사 22.6%, 중국의 역사 6.7%
일본어: 한국의 역사 4.1%, 판단하지 않음 78.5%, 공동의 역사 11.5%, 중국의 역사 5.2%
중국어: 한국의 역사 1.1%, 판단하지 않음 43.0%, 공동의 역사 15.2%, 중국의 역사 40.0%
중국어로 물었을 때 10번 중 5번 이상 중국의 역사라고 답한 모델은 12개입니다. 그중 9개는 중국 모델이고, 나머지 3개는 미국 모델 Gemini 4 Argon과 Gemini 3.5 Flash-Lite, 한국 모델 Solar Pro 4입니다. 중국어로 물어서 10번 중 9번 이상 한국의 역사라고 답한 모델은 하나도 없습니다.
모델에게는 발해가 어느 나라 역사인지에 대한 하나의 답이 없습니다. 한국어로 물으면 한국어 자료에 쓰인 대로, 중국어로 물으면 중국어 자료에 쓰인 대로 답합니다. 묻는 언어가 답을 정합니다.
중국어로 발해를 묻는 사람은 중국 사람입니다. 그 사람은 어느 회사 모델을 쓰든, 한국 회사 모델을 쓰더라도, 발해가 중국 역사라는 답을 듣습니다.
답변 원문 1,080건과 판정 결과는 깃헙에 공개해 두었습니다.









Leum Koo
·


https://kloud80.github.io/korea-history-llm-eval/#q-H02

KLOUD80.GITHUB.IO
언어 모델은 한국의 역사·영토·문화를 어떻게 답하는가
언어 모델은 한국의 역사·영토·문화를 어떻게 답하는가





Reply

    ===


    ===