ARCHITECTURE DECISION RECORD / RAG AI CHATBOT

기술 결정 로그
초안

제품 선호가 아니라 보안·성능·운영·비용·공공기관 제약을 기준으로 기술 사양을 확정하기 위한 의사결정 기록입니다.

대상: 한국문화관광연구원 AI 챗봇 RAG 구축
기준일: 2026. 09. 27.  |  문서 구분: 기술 결정 로그
01
결정 원칙과 상태
기술 결정 로그01 › Decision Principles & Status
01. DECISION GOVERNANCE
평가 가능한 기준으로 비교하고, 증거가 확보된 뒤 확정한다
의사결정 원칙: 대표 질문셋, 권한 모델, 출처 표현, 보안 경계를 먼저 확정하고 동일 평가셋으로 후보 기술을 비교합니다. 제품을 먼저 고정하지 않습니다.

제안

현재 문서에서 권장하는 방향입니다. 설계·PoC의 출발점으로 사용합니다.

검증 필요

PoC·보안협의·성능시험 후 확정합니다. 증거와 승인 없이는 완료 처리하지 않습니다.

결정 완료

기관 승인과 시험 증거가 확보된 상태입니다. 변경은 재검증 대상입니다.

보류

추가 자료 또는 상위 정책이 필요한 상태입니다. 결정 기한과 의존성을 관리합니다.

01 기준 정의보안·품질·운영·비용
평가셋·수용 기준
02 후보 비교동일 조건 PoC
성능·제약 측정
03 위험 검토망분리·반출·권한
라이선스·운영성
04 승인·기록결정 근거·증거
버전·변경 이력
판단 축주요 질문대표 증거
보안·공공 제약망분리, 데이터 반출, 접근권한, 감사가 가능한가보안 검토서·접근 테스트·로그
품질·성능한국어 검색·근거성·응답시간 기준을 충족하는가평가셋 결과·부하 시험
운영성문서 갱신·장애 대응·버전 관리가 가능한가운영 시나리오·복구 시험
비용·라이선스도입·운영 비용과 사용 조건이 기관 정책에 적합한가견적·라이선스 검토
결정 기록 최소 항목: 결정 영역, 후보안, 선택 기준, 시험 결과, 잔여 위험, 책임자, 승인일, 재검토 조건을 함께 남깁니다.
02
핵심 기술 결정표
기술 결정 로그02 › Core Technology Decisions
02. CORE TECHNOLOGY DECISIONS
배포·모델·검색 기반을 기관 제약에 맞춰 확정한다
결정 영역현재 권장선택 기준상태
배포 방식기관 보안정책에 맞춘 내부망 또는 승인된 프라이빗 환경망분리·데이터 반출·운영권한·비용검증 필요
생성 모델한국어·출처 제어·온프레미스 가능성을 포함해 비교품질·보안·라이선스·응답시간검증 필요
임베딩 모델한국어 문서·질의 의미 유사도 평가 후 선정검색 적합도·도메인 용어·처리량검증 필요
검색 구조키워드 + 벡터 하이브리드 검색정확명 검색·의미검색·운영 복잡도제안
재랭킹상위 후보에 재랭킹 적용근거 적합도·지연시간·모델 비용제안
원문 저장소원문과 인덱스 메타데이터 분리무결성·백업·권한·원문 이동제안

1차 권장 조합

Classic RAG + 하이브리드 검색 + 문서 단위 보안 트리밍 + 관측성 기반 운영을 우선 검증합니다.

확정 전 의존성

기관의 망분리 정책, 외부 API 허용 여부, 데이터 등급, 모델 라이선스 조건, 목표 응답시간을 확인합니다.

판단 유의: 단순 정확도뿐 아니라 비인가 근거 미노출, 근거 부족 시 이관, 운영자 자립성까지 같은 비중으로 평가합니다.
03
데이터·운영 기술 결정표
기술 결정 로그03 › Data & Operations Decisions
03. DATA & OPERATIONS DECISIONS
지식 품질과 운영 재현성을 버전·근거·로그로 관리한다
결정 영역현재 권장선택 기준상태
벡터 인덱스내부 운영 가능한 벡터 저장소필터·백업·한국어 성능·장애복구검증 필요
메타데이터 DB접근등급·부서·버전·유효기간 중심트랜잭션·감사·검색 필터제안
OCR·파싱문서 유형별 파서와 OCR 조합표·각주·페이지 보존·오류율검증 필요
청킹제목·문단·표·페이지를 보존하는 구조적 청킹검색 적합도·인용 위치·토큰 비용제안
피드백만족도·오류유형·자유 의견·이관 결과 저장개인정보 최소화·개선 가능성제안
관측성질문·검색·근거·모델·색인·응답 로그개인정보 마스킹·감사·장애분석제안

구조적 청킹 원칙

  • 제목·문단·표·페이지 경계와 원문 위치를 보존
  • 문서 유형별 규칙을 평가셋으로 튜닝
  • 인용 가능한 청크·버전·접근등급을 함께 저장

관측성 원칙

  • request_id로 질의 분석부터 이관까지 연결
  • 프롬프트·모델·임베딩·인덱스는 버전 관리
  • 개인정보·비밀값은 마스킹·해시·식별자화
운영성 수용 기준: 운영자가 개발자 개입 없이 표준 문서 갱신, 상태 확인, 재색인 승인, 장애 초기 조치를 수행할 수 있어야 합니다.
04
PoC 우선순위: 품질·근거성
기술 결정 로그04 › PoC 1–2
04. POC PRIORITIES
검색 품질과 답변 근거성을 먼저 비교·검증한다

PoC-1 · 검색 품질

  • 대표 연구 질문 100건 이상 수집
  • 키워드·벡터·하이브리드 검색 비교
  • 문서 유형·분야·연도별 검색 성능 측정
  • top-k와 재랭킹 유무 비교

PoC-2 · 답변 근거성

  • 근거 충분·근거 부족 질문
  • 서로 다른 문서를 비교하는 질문
  • 최신·폐기 문서가 함께 존재하는 질문
  • 접근등급이 다른 문서가 존재하는 질문
PoC통과 조건 예시필수 증거
PoC-1기관 담당자가 정한 필수 근거 문서가 상위 결과에 안정적으로 포함되고, 검색 실패 사례가 원인별로 분류됨대표 질문셋·랭킹 결과·실패 분류표·재현 조건
PoC-2근거 부족 질문에서 추정 답변이 발생하지 않고, 답변마다 문서·페이지·버전이 연결됨답변 로그·인용 결과·이관 결과·근거성 평가표
평가셋 합의질문·정답·필수 근거
담당자 승인
후보 비교동일 데이터·동일 조건
검색·재랭킹 조합
오류 분류누락·오인용·최신성
근거 부족·권한 오류
결정 반영기술 조합 확정
기준선·개선 백로그
대표 지표: 상위 필수 근거 포함률, 검색 적합도, 인용 완전성, 근거 부족 이관 적절성, p95 응답시간을 함께 비교합니다.
05
PoC 우선순위: 보안·운영성
기술 결정 로그05 › PoC 3–4
05. POC PRIORITIES
보안 경계와 운영 재현성은 기능과 별도로 검증한다

PoC-3 · 보안 경계

  • 비인가 문서 직접 질의
  • 프롬프트 인젝션·문서 내부 악성 지시문
  • 개인정보 포함 질문·로그 민감정보 확인
  • 생성 모델·외부 API 데이터 반출 여부

PoC-4 · 운영성

  • 신규 문서 등록과 승인·문서 개정과 재색인
  • 색인 롤백·검색 장애와 복구
  • 미응답 질문 분류
  • 모델·프롬프트·색인 버전 변경
PoC통과 조건 예시필수 증거
PoC-3비인가 근거가 검색·생성·인용·다운로드 어느 단계에서도 노출되지 않음차단 로그·공격 테스트 결과·민감정보 마스킹 증적·보안 검토서
PoC-4운영자가 개발자 개입 없이 표준 문서 갱신과 상태 확인을 수행할 수 있음운영 시연·재색인 이력·롤백 기록·복구 리포트
예방권한 정책·입력 검증
데이터 검수·격리
탐지접근 로그·이상 징후
품질 저하·장애 경보
대응차단·이관·서비스 제한
증적 보존·보고
복구롤백·재색인·복원
재발 방지 검증
결정 게이트: 보안 통과 없이 모델·검색 성능이 우수하더라도 운영 후보로 확정하지 않습니다.
06
데이터 계약 초안
기술 결정 로그06 › Data Contract Draft
06. DATA CONTRACT DRAFT
요청·근거·답변에 필요한 최소 필드를 명시한다

검색 요청

{
  "query": "연구지원사업의 지역소멸 대응 사례를 알려줘",
  "user_id": "masked-user-id",
  "roles": ["researcher"],
  "filters": {
    "document_type": ["research_report"],
    "year_from": 2020
  },
  "session_id": "masked-session-id"
}

검색 근거

{
  "chunk_id": "doc-001-chunk-024",
  "document_id": "doc-001",
  "title": "연구보고서 제목",
  "page_no": 24,
  "text": "허용된 근거 문장",
  "access_level": "public",
  "document_version": "v3",
  "retrieval_score": 0.87
}

답변 결과

{
  "answer": "검색 근거에 기반한 답변",
  "citations": [{"document_id":"doc-001", "title":"연구보고서 제목", "page_no":24, "source_uri":"/documents/doc-001"}],
  "grounding_status": "grounded",
  "handoff_required": false,
  "model_version": "to-be-decided",
  "index_version": "index-2026-10-01"
}
계약 원칙적용
개인정보 최소화user_id·session_id는 마스킹 또는 식별자화하고, 원문·비밀값은 기본 로그에서 제외
권한 선적용검색 근거에는 access_level·문서 버전을 포함하고, 허용된 청크만 답변 생성에 사용
재현성model_version·index_version·검색 점수·인용 위치를 보존하여 결과를 재검증
확정 대상: 필드 명세, 보존 기간, 외부 연계 포맷, 오류 코드, 권한·감사 정책은 기관 보안·개인정보 협의 후 확정합니다.
07
결정 전 필수 질문과 권고
기술 결정 로그07 › Decision Checklist & Recommendation
07. PRE-DECISION CHECKLIST
기관 환경과 수용 기준을 확인한 뒤 기술을 확정한다
□연구성과 DB는 어떤 망에 있고 외부 모델 API 호출이 허용되는가
□기관이 허용하는 오픈소스·상용·국산 모델의 범위는 무엇인가
□대외 공개 문서와 내부 문서의 접근등급 기준은 누가 승인하는가
□문서 개정·폐기·정정의 공식 원천은 무엇인가
□인용 페이지와 원문 링크를 어떤 포맷으로 제공할 것인가
□개인정보·민감정보가 포함된 질의와 로그의 보존기간은 얼마인가
□대표 질문셋의 정답과 필수 근거를 누가 승인하는가
□응답시간·가동률·장애조치의 계약 수용 기준은 무엇인가
□운영자·보안담당자·콘텐츠 담당자의 RACI는 어떻게 나누는가
전문가 권고: 제품 선정부터 시작하면 기관 환경과 품질 기준에 제품을 맞추게 됩니다. 먼저 대표 질문셋, 권한 모델, 출처 표현, 보안 경계를 확정하고, 동일한 평가셋으로 후보 기술을 비교한 뒤 최종 사양을 결정합니다.
다음 단계: 위 질문의 답변과 PoC 결과를 기술 결정표의 상태·근거·승인일에 반영하여 ‘검증 필요’ 항목을 순차적으로 ‘결정 완료’로 변경합니다.