테마 이름을 지웠더니 절반이 남았다 — 인물 심사평 282건의 칭찬 어휘
칼라톤의 AI 인물 생성 시즌은 매번 주제(테마)를 하나 정해 놓고 시작한다. '청순', '귀여움', '미남', '카리스마' 같은 단어 하나다. 심판 모델은 그 단어를 프롬프트로 받고, 라운드마다 후보 이미지를 채점한 뒤 두세 문장짜리 총평을 남긴다. 그 총평 중 시즌당 상위 몇 개가 공개 시즌 리포트의 '하이라이트' 칸에 그대로 실린다.
그 문장들을 읽다 보면 같은 모양이 자꾸 눈에 밟힌다.
"후보 B(이미지 3)는 뚜렷한 골격과 강렬하고 직접적인 시선 처리로 '카리스마'라는 주제를 훨씬 압도적으로 표현하여 가장 높은 평가를 받았습니다." — 시즌 89 9라운드(일치율 73.0%)
주제 이름이 따옴표째로 문장 안에 들어와 있다. 심판에게 "주제: 카리스마"라고 알려 줬으니 그 단어를 돌려주는 것은 자연스럽다. 그런데 자연스러운 것과 그 단어밖에 없는 것은 다르다. 만약 심사평이 테마 이름을 되풀이하는 일만 하고 있다면, 테마를 바꿔도 남는 문장은 똑같을 것이다. 그래서 이번에는 라벨을 지우고 세어 봤다.
질문 — 테마 이름을 가리면 심사평은 구별이 되는가
검증 가능한 형태로 다듬으면 이렇다. "심사평에서 테마 이름과 그 활용형을 전부 지워도, 남은 문장만으로 그 시즌의 테마를 맞힐 수 있는가?" 맞힐 수 있다면 라벨 말고도 테마별 어휘가 따로 있다는 뜻이고, 맞힐 수 없다면 테마의 흔적은 이름 하나뿐이라는 뜻이다.
방법 — 리포트 120편에서 282건
집계 대상은 저장소 안의 공개 인물 시즌 리포트 전부다. 외부 API는 쓰지 않았다.
- 리포트 120편(국문 120 + 영문 120), 발행 2026-06-30 ~ 2026-09-17.
- 하이라이트 심사평 282건, 32,899자(평균 116.7자, 44~211자).
- 테마 11종 — 여성 레인 6종(청순·예쁨·귀여움·매력·아름다움·톰보이시)과 남성 레인 5종(미남·청량·소년미·카리스마·훈훈함).
같은 리포트의 영문판에서 라운드 번호·일치율·이미지 키 846개 값을 재추출해 국문과 대조했고 불일치는 0건이었다. 심사평 본문도 영문판으로 같은 항목을 한 번 더 셌다(뒤에 나온다).
결과 ① — 열에 여덟은 테마 이름을 그대로 쓴다
먼저 눈에 보이는 것부터. 심사평 282건 중 227건(80.5%)이 자기 시즌의 테마 이름을(활용형 포함) 문장 안에 그대로 담고 있다. 그중 140건(49.6%)은 위 인용처럼 따옴표까지 붙인 정형구다. '주제'라는 단어 자체는 211건(74.8%)에 등장한다.
| 테마 | 시즌 | 심사평 | 라벨 등장 | 따옴표 정형구 | 영문판 라벨 |
|---|---|---|---|---|---|
| 청순 | 18 | 46 | 89% | 52% | 93% |
| 귀여움 | 17 | 41 | 93% | 66% | 95% |
| 매력 | 16 | 41 | 80% | 44% | 73% |
| 예쁨 | 18 | 40 | 48% | 40% | 38% |
| 아름다움 | 15 | 37 | 68% | 43% | 81% |
| 미남 | 7 | 17 | 76% | 24% | 82% |
| 청량 | 7 | 16 | 100% | 56% | 100% |
| 소년미 | 7 | 14 | 100% | 50% | 93% |
| 훈훈함 | 6 | 14 | 93% | 79% | 93% |
| 카리스마 | 6 | 11 | 91% | 55% | 91% |
| 톰보이시 | 3 | 5 | 100% | 40% | 100% |
| 합계 | 120 | 282 | 80.5% | 49.6% | 80.9% |
국문 80.5%와 영문 80.9%가 거의 같다. 번역판이 라벨을 더 넣거나 빼지 않았다는 뜻이고, 테마별 순위도 양쪽에서 같은 모양이다. 시기로 갈라도 라벨 인용은 줄지 않는다 — 8월 6일까지 73%(79/108), 8월 7~22일 82%(69/84), 8월 23일 이후 88%(79/90)로 오히려 올라간다.
표에서 혼자 튀는 칸은 '예쁨'이다. 국문 48%, 영문 38%로 다른 테마의 절반 수준이고, 이건 시기 효과도 아니다(구간별 9/20 · 4/10 · 6/10). '예쁘다'는 말을 안 쓰고도 예쁨을 칭찬할 말이 한국어에 많기 때문으로 보인다 — 실제로 예쁨 시즌 심사평에는 '세련'(42%)과 '또렷'이 대신 들어앉아 있다.
결과 ② — 라벨을 지워도 열에 넷은 맞힌다
이제 본론이다. 11개 테마의 라벨과 그 활용형을 전부 문장에서 지운 뒤(자기 테마만이 아니라 남의 테마 이름까지 다 지웠다), 남은 글자만 보고 테마를 맞히게 했다. 방법은 한국어 형태소 분석기 없이 글자 2-gram을 세는 단순 베이즈 분류이고, 같은 시즌의 심사평은 학습에서 통째로 뺐다(한 시즌에서 최대 3건이 나오므로 같은 시즌끼리 서로 답을 알려 주는 것을 막아야 한다). 11지선다이고, 무조건 최빈 테마를 찍는 기저값은 16.3%(46/282)다.
| 조건 | 테마 적중 | 적중률 | 기저 대비 | 축군 적중률 |
|---|---|---|---|---|
| 심사평 원문 그대로 | 176/282 | 62.4% | ×3.8 | 72.7% |
| 테마 라벨 11종 전부 마스킹 | 114/282 | 40.4% | ×2.5 | 57.4% |
| (참고) 최빈 테마 찍기 | 46/282 | 16.3% | ×1.0 | 22.0% |
라벨이 사라지면 적중률은 62.4% → 40.4%로 22%p 떨어진다. 라벨은 확실히 큰 몫을 한다. 그런데 남은 40.4%는 기저의 두 배 반이다. 테마 이름을 한 글자도 쓰지 않은 문장에도 테마의 흔적이 남아 있다는 뜻이다.
테마별로는 편차가 크다. 라벨 마스킹 후에도 절반 넘게 맞히는 테마(예쁨 22/40, 매력 22/41, 청순 24/46)가 있는가 하면, 거의 무너지는 테마도 있다 — 아름다움 10/37(27%), 미남 5/17(29%), 청량 2/16, 소년미 0/14. 왜 이렇게 갈리는지가 다음 두 절의 내용이다.
결과 ③ — 틀릴 때는 '평가 축이 같은 짝 테마'로 틀린다
오답을 보면 무작위가 아니다. 라벨을 지운 뒤 틀린 168건에서 가장 많이 나온 오답은 이렇다.
| 정답 테마 | 오답 테마 | 건수 | 두 테마의 루브릭 평가 축 |
|---|---|---|---|
| 미남 | 아름다움 | 11 | 완전히 동일(얼굴 조화·피부·눈·비율) |
| 아름다움 | 예쁨 | 8 | 다름 |
| 귀여움 | 청순 | 8 | 다름 |
| 카리스마 | 매력 | 6 | 완전히 동일(존재감·개성·시선·스타일링) |
| 아름다움 | 미남 | 6 | 완전히 동일 |
| 소년미 | 귀여움 | 6 | 완전히 동일(앳됨·장난기·부드러운 이목구비) |
| 청순 | 예쁨 | 5 | 다름 |
| 청순 | 귀여움 | 5 | 다름 |
저장소의 테마 카탈로그를 열어 보면 11개 테마의 채점 항목이 다섯 벌뿐이다. 남성 레인 5종은 2026년 8월 8일에 개통하면서 여성 레인의 채점 축을 그대로 물려받았기 때문이다. 짝을 지으면 이렇게 된다.
| 축군 | 채점 항목(가중치) | 테마 |
|---|---|---|
| A 얼굴 조화형 | facial_harmony 25 · skin_quality 20 · eye_appeal 15 · proportion 15 | 아름다움 · 미남 |
| B 맑음형 | innocence/clean_freshness 25 · skin_freshness 20 · natural_styling 15 · gentle_mood 15 | 청순 · 청량 |
| C 앳됨형 | cuteness/boyish_charm 25 · youthful_charm 20 · playful_mood 15 · soft_features 15 | 귀여움 · 소년미 |
| D 존재감형 | charisma_presence 25 · distinctive_appeal 20 · eye_contact 15 · styling_mood 15 | 매력 · 카리스마 · 톰보이시 |
| E 또렷·미소형 | facial_prettiness/warm_impression 25 · feature_balance 20 · bright_smile 15 · styling_sense 15 | 예쁨 · 훈훈함 |
라벨을 지운 뒤 틀린 168건 중 48건(28.6%)이 같은 축군 안에서 틀렸다. 테마 분포를 감안한 우연 수준은 9.2%이므로 3.1배이고, 이 정도 쏠림이 우연히 나올 확률은 10-12 수준이다. 반대로 성별 레인은 오답을 전혀 가두지 못한다 — 같은 레인 안에서 틀린 비율은 49.4%로 우연 수준(56.8%)보다 오히려 낮다. 심사평의 어휘는 '여성 시즌이냐 남성 시즌이냐'보다 '어떤 항목으로 채점하라고 시켰느냐'를 따라 뭉친다.
가장 선명한 칸이 미남 → 아름다움 11건이다. 이 두 테마는 채점 항목이 글자까지 같고, 루브릭에 라벨 말고는 방향을 지시하는 형용사가 하나도 없다(다른 테마에는 "맑고 깨끗한 인상일수록 가점" 같은 절이 붙어 있다). 그래서 이름을 가리는 순간 두 테마를 가를 근거가 문장에서 사라진다. 실제로 미남 시즌 심사평은 종종 이렇게 적힌다.
"이미지 3은 이목구비가 매우 아름다우나 피부와 눈동자에서 인위적인 렌더링 느낌이 미세하게 남았습니다." — 시즌 95 9라운드(일치율 73.0%, 테마 '미남')
결과 ④ — 고유 어휘는 루브릭이 준 단어만큼만 있다
그러면 라벨을 지우고도 살아남는 40.4%는 무엇으로 맞히는 걸까. 테마별로 유독 자주 나오는 단어를 뽑아 보면, 그 단어들이 루브릭의 방향 지시 문장에 이미 들어 있는 단어와 거의 그대로 겹친다.
| 테마 | 루브릭의 방향 문장(발췌) | 그 단어의 심사평 등장률 | 타 테마 |
|---|---|---|---|
| 청순 | "맑고 깨끗한 인상과 청초한 스타일링일수록 가점" | 맑- 85% · 깨끗/청초 33% | 10% · 3% |
| 귀여움 | "앳되고 사랑스러운 분위기일수록 가점, 성숙하거나 차가운 분위기는 감점" | 앳된 59% · 사랑스- 15% · 성숙 12% | 2% · 0% · 1% |
| 매력 | "개성 있고 시선을 끄는 존재감일수록 가점, 평범하면 감점" | 개성/독창 34% · 시선 41% · 존재감 22% | 3% · 13% · 1% |
| 예쁨 | "인상이 또렷하고 세련되게 예쁠수록 가점, 밋밋하면 감점" | 세련 42% · 또렷 12% · 밋밋 8% | 5% · 2% · 1% |
| 카리스마 | "강렬하고 시선을 끄는 존재감일수록 가점" | 강렬 55% · 시선 64% · 존재감 27% | 8% · 15% · 3% |
| 훈훈함 | "부드럽고 다정하게 잘생긴 인상일수록 가점" | 부드러- 64% · 다정 29% | 13% · 0% |
| 청량 | "맑고 깨끗한 인상과 시원한 스타일링일수록 가점" | 맑- 56% · 시원/산뜻 25% | 20% · 2% |
| 소년미 | "앳되고 장난기 있는 분위기일수록 가점" | 장난 36% · 앳되- 21% | 3% · 9% |
| 아름다움 · 미남 | — (라벨 외 방향 형용사 없음) | — | — |
표의 마지막 줄이 결과 ③의 답이다. 루브릭이 라벨 외에 형용사를 준 테마는 라벨을 지워도 살아남고, 라벨만 준 테마는 무너진다. 그리고 방향 문장을 거의 그대로 나눠 쓰는 두 테마(청순·청량은 "맑고 깨끗한 인상" 뒤가 '청초한 스타일링'이냐 '시원한 스타일링'이냐만 다르다)는 서로 섞인다 — 청량 시즌 16건은 라벨 마스킹 후 자기 테마로 2건만 남고 청순으로 5건이 흘러갔다.
바꿔 말하면 심사평의 테마별 색깔은 심판이 그림에서 발견한 것이라기보다, 지시문에 이미 적혀 있던 단어가 문장으로 되돌아온 것에 가깝다. 표의 오른쪽 열(타 테마 등장률)이 대부분 한 자릿수라는 점이 그 되돌림의 선명도다.
결과 ⑤ — 어느 테마든 밑바닥은 같은 말로 깔려 있다
고유 어휘 위쪽에는 테마와 무관한 공용 층이 있다. 심사평 282건 전체에서 '이목구비'가 153건(54%), '조화'가 127건(45%), '피부'가 91건(32%), '눈매·눈빛'이 64건(23%)에 등장한다.
| 테마 | 이목구비 | 조화 | 피부 | 눈매·눈빛 | '주제' |
|---|---|---|---|---|---|
| 청순 (46건) | 37% | 28% | 52% | 15% | 89% |
| 귀여움 (41건) | 34% | 24% | 29% | 7% | 83% |
| 매력 (41건) | 41% | 32% | 27% | 39% | 71% |
| 예쁨 (40건) | 65% | 40% | 20% | 15% | 65% |
| 아름다움 (37건) | 65% | 68% | 49% | 30% | 59% |
| 미남 (17건) | 76% | 88% | 35% | 35% | 65% |
| 청량 (16건) | 69% | 56% | 38% | 6% | 75% |
| 소년미 (14건) | 71% | 71% | 21% | 7% | 71% |
| 훈훈함 (14건) | 79% | 50% | 14% | 29% | 100% |
| 카리스마 (11건) | 55% | 45% | 9% | 64% | 82% |
| 톰보이시 (5건) | 80% | 80% | 0% | 40% | 60% |
| 전체 (282건) | 54% | 45% | 32% | 23% | 75% |
비중은 테마마다 다르지만 0%인 칸이 거의 없다. 귀여움 시즌에서도 셋 중 하나는 이목구비를 말하고, 카리스마 시즌에서도 절반 이상이 그렇다. 이 공용 층에도 출처가 있다. 열한 테마 중 귀여움 하나를 뺀 열 개의 루브릭 말미에 공통으로 붙는 '미모 선결' 절이 이렇게 적혀 있다(귀여움만 '귀여움 선결' 절로 대체돼 있다).
"주제는 '어떤 종류의 아름다움인가'를 정할 뿐, 아름다움 자체를 대신하지 않는다. 얼굴 자체의 아름다움(골격과 이목구비의 조화, 눈매, 코, 입술 형태, 이목구비 균형, 피부 결)을 스타일링·표정·분위기·몸매·사진 품질과 분리해 판정하고 …" — 저장소 테마 카탈로그의 공통 절
이 한 문장이 열거한 명사들이 그대로 표 왼쪽 네 칸이다. 정리하면 심사평의 어휘는 3층 구조다 — 맨 아래 공통 절이 준 얼굴 어휘, 가운데 테마 루브릭이 준 방향 형용사, 맨 위 라벨 자체. 세 층 다 지시문에서 왔다.
결과 ⑥ — 라벨이 애초에 일반 칭찬어인 테마가 있다
마지막으로 '라벨 인용률'이라는 지표 자체의 함정 하나. 결과 ①의 80.5%는 테마마다 같은 의미가 아니다. 어떤 라벨은 다른 테마 심사평에도 흔히 나오는 보통 단어이기 때문이다.
| 라벨 | 자기 테마 등장률 | 다른 테마 심사평에서 | 배율 |
|---|---|---|---|
| 매력 | 80% | 19.1% (46/241) | ×4.2 |
| 아름다움 | 68% | 6.1% (15/245) | ×11 |
| 카리스마 | 91% | 4.8% (13/271) | ×19 |
| 청순 | 89% | 1.7% (4/236) | ×53 |
| 미남 | 76% | 1.5% (4/265) | ×51 |
| 청량 | 100% | 0.8% (2/266) | ×133 |
| 귀여움 · 예쁨 · 소년미 · 훈훈함 · 톰보이시 | 48~100% | 0% | — |
'매력'은 테마 이름이기 이전에 한국어에서 외모를 칭찬할 때 기본으로 쓰는 단어다. 매력 시즌이 아닌 심사평 241건 중 46건이 이미 '매력적'이라고 쓰고 있다. 그러니 매력 시즌의 80%를 전부 '라벨을 되돌려준 것'으로 읽으면 과대평가다. 반대로 '청량'은 배율이 133배라, 그 단어가 보이면 거의 확실히 청량 시즌이다. 같은 80%가 테마에 따라 정형구일 수도, 그냥 한국어일 수도 있다.
한계 — 이 분석이 말할 수 없는 것
첫째, 표본이 이중으로 잘려 있다. 하이라이트 심사평은 그 시즌에서 채택된 라운드 중에서도 일치율 상위 3개에만 붙는다. 진 라운드의 심사평도, 채택됐지만 4등 아래로 밀린 라운드의 심사평도 공개 자료에 아예 없다. 이 글의 282건은 '심판이 쓴 문장 전체'가 아니라 '점수가 높았던 그림에 붙은 문장'이다. 칭찬 어휘를 다루는 글이므로 이 절단은 방향이 있다 — 깎는 말보다 칭찬하는 말 쪽으로 치우친 표본이다.
둘째, 분류 실험은 어휘 통계이지 의미 판정이 아니다. 글자 2-gram 베이즈 분류는 '문장이 테마를 얼마나 구별 가능하게 적혔는가'를 재는 도구일 뿐, 심판이 실제로 무엇을 보고 그렇게 썼는지는 말해 주지 않는다. 40.4%라는 값도 이 모델과 이 표본에서 나온 값이고, 테마당 5~46건으로 표본이 크게 불균형하다(톰보이시는 5건뿐이라 이 글의 어떤 결론도 톰보이시에 대해서는 말하지 않는 편이 낫다). 같은 시즌 심사평을 학습에서 뺐지만, 같은 테마의 다른 시즌이 같은 인물 이름·같은 배경 설정을 쓰는 것까지는 막지 못했다.
셋째, 프롬프트는 저장소의 현재 코드다. 인용한 루브릭·공통 절·채점 항목은 지금 저장소에서 읽은 것이고, 각 리포트가 만들어지던 시점에 배포돼 있던 코드가 그와 같았다는 보장은 없다. 이 사본은 최근 커밋만 담고 있어 조항이 언제 들어왔는지도 추적할 수 없다. 특히 공통 '미모 선결' 절에는 2026-08-07이라는 도입 주석이 붙어 있는데 표본의 38%는 그보다 앞선 시즌이다. 따라서 '지시문 → 어휘'의 대응은 정황으로만 읽어야 한다.
넷째, 심판 모델을 고정하지 못했다. 인물 리포트는 심판 모델명을 싣지 않고 코드도 시즌별 재정의를 허용한다. 테마별 어휘 차이 중 일부가 사실은 모델 차이일 가능성을 이 자료만으로는 배제할 수 없다. 다만 축군이 오답을 3.1배로 모으는데 성별 레인은 전혀 모으지 못한다는 비대칭은, 모델 교체보다 루브릭 쪽을 가리킨다.
다섯째, '라벨을 지웠다'는 것은 완전한 제거가 아니다. 정규식으로 11개 라벨과 흔한 활용형을 지웠을 뿐이라 '청초한'(청순의 사촌), '아우라'(카리스마의 사촌) 같은 동의어는 남아 있다. 남은 40.4%에는 그런 잔여 라벨 효과가 섞여 있고, 이 글은 그 몫을 분리하지 않았다.
그래서 무엇을 바꿔야 하나
정리하면 이렇다. 심사평 282건의 80.5%가 테마 이름을 그대로 쓰고, 그 이름을 지우면 테마 식별률이 62.4%에서 40.4%로 떨어진다. 남은 식별력은 루브릭이 라벨 외에 준 형용사에서 나오고, 그 형용사가 없는 두 테마(아름다움·미남)는 27~29%로 무너지며, 오답의 28.6%가 채점 축이 같은 짝 테마로 간다.
운영에 옮기면 두 가지다. 첫째, 테마를 새로 만들 때 이름만 주면 심사평도 이름만 돌려준다. 지금 열한 테마 중 아름다움·미남은 루브릭에 방향 형용사가 없고, 정확히 그 두 테마가 서로 가장 많이 헷갈린다. 새 테마에는 최소한 "무엇이 가점이고 무엇이 감점인지"를 형용사로 적어 주는 편이 리포트의 문장까지 갈라놓는다.
둘째, 테마를 늘릴 때 채점 축을 재사용하면 테마가 아니라 이름만 늘어난다. 남성 레인 5종은 여성 레인의 축을 그대로 물려받았고, 그 덕에 개통은 빨랐지만 심사평은 짝끼리 섞인다. 축을 물려받을 거라면 최소한 방향 문장만이라도 갈라 두어야 한다 — 청순과 청량이 '청초한/시원한' 한 단어 차이로 갈리다가 실제로 3건 섞인 것이 그 경고다.
그리고 이 글의 모든 숫자는 공개 시즌 리포트에서 나왔다. 우리가 AI에게 준 단어가 AI의 문장으로 얼마나 그대로 돌아오는지는, 리포트를 열어 세어 보면 누구나 다시 확인할 수 있다.
집계 기준. 저장소의 공개 인물 시즌 리포트 120편(국문 120 + 영문 120, 발행 2026-06-30~2026-09-17)의 '하이라이트' 칸 심사평 282건(32,899자)을 전수 추출했다. 테마는 각 리포트의 요약 배지에서 읽었고 11종이다. 라벨 등장은 라벨의 흔한 활용형까지 포함한 정규식 일치(예: '아름다움/아름다운/아름답-'), 따옴표 정형구는 라벨이 따옴표로 감싸인 경우만 센 것이다. 테마 식별 실험은 글자 2-gram 다항 나이브베이즈(가산 평활 0.2)의 시즌 단위 홀드아웃이며, 같은 시즌의 심사평은 학습에서 제외했다. 축군은 저장소 테마 카탈로그의 채점 항목이 동일한 테마끼리 묶은 것이고, 오답의 축군 집중도는 테마별 표본 크기를 반영한 우연 수준 9.2%와 비교했다. 영문 리포트 120편으로 라운드·일치율·이미지 키 846개 값을 대조해 불일치 0건을 확인했고, 라벨 등장은 영문 라벨(Beauty·Purity·Cuteness 등)로 다시 셌다. 루브릭·공통 절 인용은 저장소의 현재 코드에서 가져온 것으로 리포트 생성 시점의 배포본과 동일하다는 보장이 없다. 심사평 표본은 시즌별 상위 3개만 리포트에 실리는 절단된 표본이다.