이 글은 '2025 Fall: AIE6663 예술창작을위한딥러닝' 과제 1번 레포트 내용의 일부입니다.

LLM을 이용하여 나의 작품 만들기
- 내가 좋아하는 것, 나에 대한 것, 내가 관심 가지는 문제 등 나 스스로를 어느정도 드러내는 주제일 것
- 원하는 결과물을 얻기 위한 시행착오 / 프롬프트 설계 등이 잘 이루어져야함
- LLM을 활용하는 이유/장점이 무엇인지 드러나야함
 
제출: 결과물이 포함된 레포트 PDF (10페이지 이내)

서류는 나를 잘 아는가? AI는 나를 잘 아는가?

2024년 2월 학부 졸업 후 저는 '스타트업의 겨울'이라 불리는 취업 시장에 있었습니다. 수많은 회사의 문을 두드리며 깨달은 것은, 모든 과정이 단 몇 장의 '서류'에서 시작된다는 사실이었습니다. 서류 위에 저라는 존재가 빛나게 하기 위해 강점을 부각하고 약점을 감추는 전략을 택했고, 감사하게도 그 전략은 대부분의 서류 전형을 통과하는 결과로 이어졌습니다.

하지만 문득 의문이 들었습니다. 서류 전형을 통과한 서류 속 '페르소나'는 과연 진짜 나 자신을 얼마나 대변하고 있을까? 면접관들은 그 서류를 통해 나의 어떤 점을 보고, 또 어떤 점을 놓치고 있을까?

그리던 중 2025년 2월, SK C&C가 채용 과정에 AI를 도입해 일주일이 걸리던 서류 심사를 4시간으로 단축했다는 소식¹을 접했습니다. 찾아보니 AI가 지원자의 이력과 자기소개서를 분석해 문맥 흐름, 핵심 역량 키워드를 추출하고 직무 적합성을 평가하는 시스템이 해당 회사 외에도 실제 채용에 사용됨을 알게 되었습니다. 이제 서류 전형의 첫 관문을 통과해야 할 대상이 사람이 아닌 AI일 수도 있다는 현실 앞에서, 제 질문은 더 구체화했습니다.

AI는 과연 서류만으로 나를 얼마나 정확하게 평가할 수 있을까?

이 작품은 바로 그 질문을 탐구하기 위한 하나의 실험입니다. 저는 오직 텍스트에 근거해 일관된 판단을 내리는 LLM (Large Language Model), 특히 RAG (Retrieval-Augmented Generation) 기반인 NotebookLM을 심사위원으로 정했습니다. 그리고 최종 면접에서 고배를 마셨던 2024년 6월 당시의 이력서와 포트폴리오를 바탕으로 Gemini에게 저 자신을 평가하는 국가직무능력표준 (National Competency Standards, NCS) 유사 직무능력평가 'HNCS (Hannah NCS)'를 만들게 했습니다. 시나리오형 문항을 사용하면 서류에 명시되지 않은 상황에서의 판단 기준과 우선순위를 더 명확히 드러낼 수 있기 때문입니다.

실험 설계는 다음과 같습니다. NotebookLM에게는 "오직 서류 내용만으로 판단하라"는 제약을 주어 실제 서류 평가 상황을 재현했습니다. 저는 프로젝트 당사자로서 실제 경험을 바탕으로 답했습니다. 저를 오래 지켜본 친구 4명은 제 이력서와 포트폴리오 내용을 알고 있는 상태에서 각자의 직무 경험과 관점으로 답했습니다. 이 세 그룹의 답변 비교를 통해 서류 기반 평가가 포착하는 역량과 놓치는 역량을 확인하고자 했습니다.

1. 작품 설계

1.1. 작품 설계를 위한 LLM 모델 활용

본 실험은 전통적인 서류 평가 방식의 한계를 탐구하기 위해 LLM을 활용했습니다. 전통적 키워드 매칭 기반 시스템은 특정 용어의 출현 빈도만 집계할 뿐 수십 페이지에 걸친 이력서와 포트폴리오의 맥락적 연결을 이해하지 못하며, 수기 평가는 평가자의 주관과 피로도에 따라 일관성이 떨어질 수 있습니다. 반면 LLM은 장문 문서 전체를 맥락적으로 이해하고, RAG 기반 인용을 통해 판단 근거를 명시적으로 제시하며, 동일한 제약 조건 하에서 일관된 평가를 수행할 수 있습니다. 특히 본 실험에서는 "서류만으로 평가받는 상황"을 재현해야 했기에, 외부 정보 없이 오직 제공된 문서에만 의존하도록 제약할 수 있는 RAG 시스템이 필수적이었습니다. 따라서 작품 설계를 위해 다양한 LLM 모델을 활용하였고, 각각의 서비스가 갖는 장점에 맞는 태스크를 진행했습니다.

1.1.1. HNCS 문제 설계: Gemini 2.5 Pro

Gemini 2.5 Pro²는 현재 300만 개의 토큰 컨텍스트 윈도우를 제공하며 고급 추론을 요구하는 다양한 벤치마크에서 최첨단 성능을 갖고 있습니다. 긴 맥락 처리는 첨부한 이력서와 포트폴리오 전체를 이해하고 문항을 생성할 수 있으며, NCS 유사 시나리오형 문항 생성에 적합한 추론 능력을 갖고 있다고 생각하여 해당 모델을 선택했습니다.

1.1.2. HNCS 문제 풀이: NotebookLM

NotebookLM³은 Gemini 2.5 Flash 기반으로 작동하는 조사 및 아이디어에 도움이 되는 서비스 입니다. RAG 기반으로 작동하는 해당 서비스는, 소스의 정확한 인용문을 표시하여 작업에 대한 명확한 인용을 제공하기에 대답의 신뢰도를 얻을 수 있습니다. 생성된 HNCS을 서류 기반 평가의 재현해야 하기 때문에 실제 채용 과정처럼 오직 이력서와 포트폴리오에만 의존해 판단을 요구할 수 있습니다.

1.1.3. HNCS 풀이 결과 분석: GPT 5 Thinking

GPT 5 Thinking⁴은 OpenAI의 최신 AI 시스템으로, 환각을 줄이고 객관적 평가를 내리는 데 강점이 있습니다. Google 서비스와 다른 독립적 관점을 확보하기 위해 선택했으며, 특히 추론이 가능한 Thinking 모델은 복잡한 다변수 질문에 대한 구조화된 분석으로 AI와 인간의 답변 차이를 체계적 비교하는 것에 적합하다고 판단했습니다.

1.2. 프롬프트 설계 과정

1.2.1. HNCS 제작 프롬프트

너는 HR 전문 컨설턴트이자 NCS 문제 출제위원이다. 지금부터 한 지원자의 역량을 기술한 직무기술서인 [이력서]와 [포트폴리오]를 제공하겠다. 이 자료만을 바탕으로, 지원자의 직무 역량을 심층적으로 평가하기 위한 'NCS능력평가' 형식의 시험 문제인 'HNCS'를 만들어야 한다.
 
[문제 출제 가이드라인]
출제 영역: '문제해결능력', '자원관리능력', '대인관계능력', '기술이해능력', '직업 윤리' 영역에 초점을 맞춰 출제한다.
 
문제 형식: <상황>과 <조건>을 구체적으로 제시하고, 지원자가 어떤 선택을 할지 묻는 시나리오 기반 문제를 출제한다. (예: "당신은 OOO 프로젝트의 리드 개발자입니다. 다음과 같은 상황일 때 가장 먼저 조치할 행동으로 적절한 것은?")
 
선택지 구성: 5지선다형으로 구성하며, 각 선택지는 서로 다른 우선순위(e.g., 기술적 완성도, 팀워크, 일정 순수, 사용자 만족)를 대변하도록 설계하여 정답이 쉽게 보이지 않게 한다.
 
문제 수: 총 5문제
- 문제해결능력
- 자원관리 능력
- 대인관계능력
- 기술이해능력
- 직업 윤리

제 이력서와 포트폴리오를 주고 HR 전문가처럼 NCS 문항을 만들어 달라는 프롬프트를 작성하고 Gemini 2.5 Pro에게 다듬어달라고 했습니다. 문제해결·자원관리·대인관계·기술이해·직업윤리 5개 영역에서 상황과 조건을 주는 시나리오형 문제로, 각 선택지가 서로 다른 가치(기술 vs 팀워크 vs 일정 등)를 대변해서 명확한 정답이 없도록 요청했습니다. 가치는 Gemini 2.5 Pro을 활용하여 설정했습니다.

1.2.2. HNCS AI 풀이 프롬프트

1) DECONSTRUCT
- 목적: 이력서/포트폴리오로만 NCS형 문항에 답하고, 증거 2개 이상을 붙이기.
- 제약: 외부 지식 금지, 질문지는 “제약 조건”만 제공, 증거로 쓰면 안 됨.
- 산출: 선택지 번호 → 근거 인용(문서/섹션/직접 인용).
 
2) DIAGNOSE (위험)
- 문항 텍스트나 'NCS 상식'을 근거로 사용
- 같은 문장을 반복 인용, 또는 자유 요약(직접 인용 아님)
- 증거가 1개 이하인데도 정답 강제 선택
- 포트폴리오/이력서에 없는 주장 추가(합리화)
 
3) DEVELOP (개선 원칙)
- 근거 화이트리스트: [이력서], [포트폴리오]만. 질문지·NCS 일반지식·모델 기억은 블랙리스트.
- 무응답 규칙: 근거 2개 미만이면 UNANSWERABLE.
- 형식 강제: 문서명/섹션/직접 인용(20–40자), 질문 텍스트는 “제약”으로만 별도 표기.
 
[OUTPUT Format - use exactly]
<id>번 문항
Choice: <1|2|3|4|5|UNANSWERABLE>
Reasons:

단순히 "서류로 답하세요"식의 프롬프트에 대해 GPT 5 Thinking에게 피드백을 요청했을 때 NotebookLM이 일반적인 상식이나 추측을 섞어 답하는 문제가 생길 수 있다고 언급했습니다. 해당 모델에게 조언을 받아 이력서와 포트폴리오에 있는 내용만 쓰도록 제한하고, 근거가 부족하면 'UNANSWERABLE'로 답하게 했습니다. 덕분에 직업윤리 문항에서 서류에 없다는 이유로 답을 포기하는 결과를 얻었고, 이것이 오히려 서류 평가의 한계를 잘 보여줬습니다.

1.2.3. 결과 요약 AI 프롬프트

역할: 인지과학 기반 AI 평가 해설자.
목표: “서류 평가는 실제 무엇을 측정하는가?”에 답하라(결론 가이드: 서류는 성공 서사이고, 실제 과정은 다르다).
입력: HNCS 문제·참가자 답변·메타데이터(해당 문서 인용만 사용).
 
구성
Executive Summary(5–7문장)
- 핵심 발견 3–4개, 시사점 1–2개.
- “서류는 성공 서사이지 실제 과정이 아니다” 포함.
 
A. 표면적 분석(간단)
- AI 선택의 근거를 제약·키워드/정량 중심으로 요약.
- 대표 1–2문항에 대해 근거 1–2개 인용.
B. 심층적 분석(인간 판단)
- 인간 선택의 근거를 한 단락에 요약(역할 영향, 서류 밖 맥락, 같은 답·다른 이유 포함).
- 필요 시 사례 1개 인용.
C. 메타 분석
- 핵심 축 2–3개만: 정보 비대칭, 최적화 목표 차이(결과 일관성 vs 과정 적합성), 책임·리스크 감수.
- 최종 질문에 명시적으로 답하라: “서류 평가는 무엇을 평가하는가?”
 
제약
- 외부 지식 금지, 인용은 제공 자료만. 사고과정 노출 지양(요약만).
- 분량 1–2쪽, 한국어.
체크
- ‘성공 서사 vs 실제 과정’ 구분이 명확한가?
- 최종 질문에 한 문단으로 답했는가?

마지막으로 GPT 5 Thinking에게 인지과학 기반 해설자 역할을 부여하고, "서류 평가는 실제로 무엇을 측정하는가?"라는 질문에 상세한 답을 얻을 수 있는 프롬프트를 작성을 요청했습니다. AI가 어떻게 판단했는지, 인간들은 왜 다르게 생각했는지, 그리고 이 차이가 의미하는 바를 분석하되, 제공한 자료 외에는 참고 금지를 요청했습니다.

1.3.실험 참여자

AI와 본인, 그리고 본인의 오랜 친구 4명이 해당 실험 작품에서 HNCS 문제 풀이에 동참했고, 해당 참가자 정보를 최종 결과 비교 프롬프트에 정보 자료로 입력했습니다.

나: 
- 인공지능대학원 석사 1년차, 컴퓨터 공학 및 아트&테크놀로지학과 졸업
- 학교 수업이나 랩실에서 팀 프로젝트 다수 진행
- 취업 준비는 한 적이 있으나 실제로 회사에서 일해본 경험은 X
 
친구 A:
- ‘나’를 알게 된 지 6년 된 친구, 취업할 때 도움 많이 받음
- 직장인 6년차, 현재 컴파일러 엔지니어(개발자), 입사 면접관 경험 다수
 
친구 B:
- ‘나’를 알게 된 지 6년 된 친구, 취업할 때 도움 많이 받음
- 직장인 도합 4년, 현재 대기업 신입사원 2개월차
 
친구 C:
- ‘나’를 알게 된 지 7년 된 친구, 인성면접 도움 많이 받음, 1년 룸메이트로 같이 살았음
- 마케터 직무로 직장인 4.5년, 입사 면접관 경험 다수
 
친구 D:
- ‘나’를 알게 된 지 9년 된 친구, 고등학교 및 대학교 동창
- 디자인하는 마케터로 직장인 1년, 신생 스타트업 초기 멤버로 일하고 있음

2. GPT 5 Thinking가 분석한 작품 결과

해당 섹션 내용은 포맷팅 외에는 수정하지 않았습니다.

2.1. Executive Summary

• 본 평가에서 AI(NotebookLM)는 “이력서·포트폴리오에 명시된 사실만 사용”이라는 제약 아래, 문서에 이미 구현·기술된 기능과 가장 일치하는 선택지를 일관되게 택했다.
• 대표적으로 ① 1분 이상 소요되는 이미지 생성 문제에 대해 문서에 있는 “이메일로 결과 전달” 구현 사실을 근거로 이메일 안내 강화(2번)를 지지했고, ② 실시간 편곡 서비스 아키텍처에서는 포트폴리오에 반복 제시된 3-tier(React/Vite-Go(WebSocket)-Python/FastAPI) 경험과 일치하는 설계를 선택했다.
• 반면 인간 평가는 문서 밖 맥락(예산 제약, 일정·리스크, 역할 경험)을 동원해 동일 선택지라도 이유가 달라지거나(자원관리 3번), 서로 다른 선택으로 분기되었다(대인관계 1/2/5번 분산).
• 특히 윤리 항목에서 AI는 “문서만으로는 판단 불가(UNANSWERABLE)”라고 선언한 반면, 인간 참가자 다수는 즉시 중단·공지(3번)를 선택하며 책임과 법·윤리 리스크를 우선시했다.
• 결론: “서류는 성공 서사이지 실제 과정이 아니다.” 서류 평가는 문서에 기록된 성과·아티팩트와의 정합성을 잘 측정하지만, 실제 의사결정에서 중시되는 과정 적합성(제약 하 의사결정, 리스크 감수·분담, 역할·조직 맥락)은 충분히 포착하지 못한다.
• 시사점: (1) 문서 기반 AI 평가는 ‘문서-문항 정합성’에 강점, (2) 과정·리스크·책임의 평가는 별도 장치(구두 검증, 시나리오 질의, 증거 외 확인)가 필요하다.

2.2. 표면적 분석: AI 선택의 근거

• 제약 조건: NotebookLM은 외부 지식·상상 사용 금지, 오직 이력서/포트폴리오 명시 내용만 근거로 삼도록 설정되었다(문항별 ‘문서-증거 매칭’ 최적화).
• 대표 문항 1(문제해결능력): AI는 “이미지 생성이 1분 이상” 상황에서, 포트폴리오에 “결과 이미지를 이메일로 확인 가능” 구현 경험이 명시됨을 근거로 이메일 안내 강화(2번)를 선택했다. 문서-증거: “이미지 생성 시간이 1분… 결과를 이메일로 확인” 구현 진술. 선택지: “결과가 나오면 이메일로 알려드린다” 안내 강화(2번).
• 대표 문항 4(기술·시스템 설계): AI는 포트폴리오 전반의 3-tier(React/Vite-Go(WebSocket)-Python/FastAPI) 분리 서빙 경험을 근거로 동일 구조(2번)를 선택했다. 선택지 내용 자체도 이 구조를 구체적으로 명시한다. 요약하면, AI는 “문서에 이미 있는 해결책/아키텍처”와 “문항의 문구”가 가장 잘 포개지는 옵션을 택했다(문서-키워드/정량적 정합성 중심).

2.3. 심층적 분석(인간 판단)

인간 참가자는 역할·경력·맥락을 동원해 과정 적합성과 리스크/책임 관리를 우선했다. 동일 선택지라도 이유는 다양했다. 예컨대 자원관리(문항 2)에서는 모두 3번(대기열)로 수렴했지만, 연구실 예산 현실·성능 저하 우려·사용자 수용 가능 UX 등 각자의 경험에서 출발한 상이한 논거를 제시했다(“예산 증액/수익 사업은 힘듦”, “품질 유지와 수요 조절”, “사용자도 납득 가능한 UX”).

또한 대인관계(문항 3)에서는 마감·안정성·커뮤니케이션 비용 등을 저울질하며 1/2/5번으로 분기되었다. 특히 현업·면접관 경험자(A)는 로드맵·프로젝트 관리 원칙을, 신입(B)은 데이터로 합의 형성(테스트 환경)을 중시하는 등 같은 답이라도 다른 이유, 다른 답이라도 공통 우려(일정·품질 리스크)**가 관찰된다. 참가자들의 경력·역할 메타데이터는 이러한 차이를 설명한다.

윤리(문항 5)에서는 다수가 즉시 중단·공지(3번)를 선택하며 사용자 보호·책임 통지를 최우선 가치로 뒀다. 이는 “문제 은폐·지연”보다 “피해 확산 차단·책임 보고”를 중시하는 과정 규범을 반영한다.

2.4. 메타 분석

2.4.1. 정보 비대칭

AI는 “문서에 적힌 것”만 본다. 문서가 포착하지 못한 시행착오·제약·우발 리스크·역할 분담 등은 판단 근거에서 배제된다(설정상 외부 지식 금지). 반대로 인간은 경험·관행·조직적 현실을 끌어온다. 결과적으로 AI는 문서-정답 정합성에 강하고, 인간은 맥락-과정 적합성에 강하다.

2.4.2. 최적화 목표 차이(결과 일관성 vs 과정 적합성)

AI는 문서에 적시된 “작동했던 해법/아키텍처”를 우선(문항 1, 4)하고, 인간은 일정·품질·예산 제약 하의 실행 가능성과 합의 형성을 우선(문항 2, 3)한다.

2.4.3. 책임·리스크 감수

문서 기반 AI는 윤리 이슈를 “판단 불가”로 남기지만, 인간은 피해 최소화·책임 통지를 즉각 실행하며 법·윤리 리스크를 최소화한다(문항 5).

2.5. 최종 답: “서류 평가는 무엇을 평가하는가?”

서류 평가는 문서에 기록·증명된 성과와 해법을 과제 맥락과 얼마나 일치시켜 적용하는가(문서-문항 정합성)를 주로 측정한다. 즉, 기록된 성공의 서사(구현 사실, 사용 기술, 보유 아키텍처, 제시된 결과물)와의 정합성·재현 가능성에는 강하나, 실제 과정(제약 하 의사결정, 시행착오, 리스크·책임 분담, 조직·역할 맥락, 윤리 판단)의 적합성까지는 충분히 포착하지 못한다. 요컨대, “서류는 성공 서사이지 실제 과정이 아니다.” 본 실험의 응답 패턴은 AI가 문서 정합성에 강하고, 인간은 과정 적합성·책임을 중시함을 통해 이를 뒷받침한다.

3. 결론

처음에 던진 질문은 다음과 같았습니다.

서류 전형을 통과한 서류 속 '페르소나'는 과연 진짜 나 자신을 얼마나 대변하고 있을까?

면접관들은 그 서류를 통해 나의 어떤 점을 보고, 또 어떤 점을 놓치고 있을까?

그래서 과연 AI는 서류만으로 나를 얼마나 정확하게 평가할 수 있을까?

이 질문에 답하기 위해 세 그룹이 같은 HNCS 문항을 풀었습니다. AI (NotebookLM)는 "오직 서류 내용만으로 판단"하라는 제약 하에 답했고, 저는 프로젝트 당사자로서 실제 경험을 바탕으로 답했으며, 친구 4명은 제 서류 내용과 저라는 사람을 모두 아는 상태에서 각자의 관점으로 답했습니다.

결과는 명확했습니다. 5개 문항 중 4개에서 세 그룹의 답이 달랐습니다. AI는 서류의 키워드를 문제와 매칭했습니다("대기열 시스템 구축 경험이 있으니 3번"). 저는 당시의 제약 조건과 시행착오를 근거로 답했습니다("로딩바는 제안했지만 채택되지 않았다"). 친구들은 각자의 직무 경험으로 추론했습니다("면접관 관점에서는 안정성이 중요하다", "신입으로서는 커뮤니케이션을 우선한다"). 특히 직업윤리 문항에서 AI는 "UNANSWERABLE"이라고 답했습니다. 서류에 해당 내용이 없다는 이유였습니다.

서론의 질문으로 돌아가면, 서류 속 '페르소나'는 저를 부분적으로만 대변했습니다. 제 서류도 "왜 그렇게 했는가"를 설명했지만, 그것은 성공을 정당화하는 서사였지 실제 의사결정 과정은 아니었습니다. 제안했지만 채택되지 않은 아이디어, 예산 제약으로 포기한 옵션, 시행착오 끝에 선택한 차선책 같은 것들은 서류에 담기지 않았습니다. 면접관들이, 그리고 AI가, 놓치는 것은, GPT의 분석대로 이런 문서 밖 맥락입니다. 조직 문화, 리스크 성향, 실무 제약, 그리고 윤리적 판단 같은 것들입니다.

서류는 나를 잘 알까요? 부분적으로만 압니다. AI는 나를 잘 알까요? 서류가 아는 만큼만 압니다.
그렇다면 서류 평가는 무엇을 평가하고 있는 걸까요?

Supplementary materials

A. 문제지

• 무단 배포 금지

B. 문제 풀이 결과

제 1영역: 문제해결능력

제 2영역: 자원관리능력

제 3영역: 대인관계능력

제 4영역: 기술 활용 및 시스템 설계 능력

제 5영역 직업윤리