구축·데이터·검색·보안·운영 기준을 통합한 한국문화관광연구원 연구지식 AI 챗봇의 기술 운영 문서입니다.
| 구분 | 적용 기준 |
|---|---|
| RFP | 물리분리 DB, 질의유형·엔티티 데이터셋, 자연어·의미검색, 추천·피드백, 반복질의 자동응답 |
| RAG 원리 | 검색 인덱스의 근거를 생성 모델에 제공하고 출처와 갱신성을 관리 |
| NIST AI RMF | Govern · Map · Measure · Manage를 책임·위험·평가·개선 운영에 매핑 |
| OWASP | 프롬프트 인젝션, 민감정보 노출, 과도한 권한, 데이터 오염 등을 테스트 |
| 확정 필요 | 모델·임베딩·저장소 제품, 청크·Top-k·재랭킹 파라미터, SLA 수용 기준 |
정제 완료 문서를 버전·무결성 값과 함께 보관합니다.
키워드와 벡터 인덱스를 병행하고 문서·청크 ACL을 적용합니다.
허용 청크만 생성 모델에 전달하며 출처를 응답에 연결합니다.
| 필드 | 설명 | 필수 |
|---|---|---|
| document_id | 문서 식별자 | Y |
| title / document_type | 제목, 연구보고서·발간물·보도자료 등 문서 분류 | Y |
| published_at / department / topic | 발행일, 담당부서, 분야·주제 | Y |
| access_level / source_uri / version | 공개·내부·제한 등급, 원문 위치, 버전 | Y |
| checksum / effective_from-to | 무결성 확인값, 유효기간 | 권장 |
| 검증 지점 | 확인 항목 | 결과 |
|---|---|---|
| API 진입 | 세션·토큰·MFA·rate limit | 요청 수락 또는 차단 |
| 검색 전 | 역할·부서·데이터등급·유효기간 | 검색 필터 생성 |
| 검색 결과 | 문서 ACL·청크 ACL·소유부서 | 보안 트리밍 |
| 생성 전 | 허용 청크·출처·프롬프트 정책 | 생성 컨텍스트 확정 |
| 원문 이동 | 인용 사용자와 다운로드 사용자 권한 | 별도 재인가 |
| 지표 | 측정 방법 | 운영 목적 |
|---|---|---|
| 검색 적합도 | 상위 결과가 질문 의도와 맞는 비율 | 검색 품질 개선 |
| 근거 포함률 | 답변 핵심 주장에 필요한 근거가 연결된 비율 | 환각·무근거 응답 방지 |
| 답변 정확성 | 기준 답변과 사실관계가 일치하는 비율 | 사용자 신뢰도 확보 |
| 미응답 적절성 | 모르는 질문을 안전하게 이관하는 비율 | 안전한 실패 검증 |
| 권한 누출 | 비인가 문서가 검색·응답된 건수 | 목표 0건 |
| 응답시간 | 접수부터 화면 표시까지 구간별 시간 | SLA·병목 관리 |
사실조회 · 비교 · 요약 · 추천 · 최신자료 · 다국어 · 개인정보 · 프롬프트 공격 · 근거 부족 질문
공통 국가 정확도 벤치마크 대신 대표 질문셋을 발주처와 합의하고, 망 구성·데이터 규모 확인 후 최종 수용 기준을 조정합니다.
| 영역 | PoC 초기 기준선 | 측정 방법 |
|---|---|---|
| 근거 포함률 | 100% | 정상 답변의 핵심 주장마다 출처 연결 |
| 권한 누출 | 0건 | 비인가 문서의 검색·생성·인용·다운로드 점검 |
| 미응답 이관 | 95% 이상 | 위험·근거 부족 질문셋의 안전한 이관 비율 |
| 검색 적합도 | 상위 5개 내 필수 근거 90% 이상 | 대표 질문셋의 필수 문서 포함 여부 |
| 응답시간 | p95 8초 이내 | 질의분석·검색·생성 구간별 측정 |
| 색인 반영 | 승인 후 24시간 이내 | 승인 시각부터 운영 색인 반영까지 |
| 상황 | 초기 조치 | 후속 검증 |
|---|---|---|
| 검색 결과 없음 | 색인·필터·메타데이터·임베딩 버전 확인 | 대표 질의 회귀 테스트 |
| 잘못된 답변 | 근거 청크·프롬프트·모델·색인 버전 보존 | 원인 분석 후 평가셋 보강 |
| 권한 누출 의심 | 서비스 차단·증적 보존·보안 담당 보고 | ACL·로그·영향 범위 점검 |
| 응답 지연 | 검색·재랭킹·생성 구간별 시간 측정 | 병목 구간 최적화·용량 조정 |
| 원문 오류 | 버전·checksum 확인 | 정정본 재등록·재색인 |
검색 적합도, 근거 포함률, 미응답·오류 추이, 사용자 피드백, 개선 조치
권한 정책, 비인가 접근 시도, 취약점 조치, 백업·복구 검증, 변경 이력
| 업무 | 발주처 업무담당 | 데이터 운영 | 보안 담당 | AI·검색 운영 | 인프라 운영 |
|---|---|---|---|---|---|
| 문서 공개등급 승인 | A/R | C | C | I | I |
| 문서 파싱·색인 | C | A/R | C | R | I |
| 모델·프롬프트 변경 | A | C | C | R | I |
| 개인정보·보안 사고 | C | I | A/R | C | R |
| 답변 오류 판정 | A/R | C | C | R | I |
| 장애 복구 | I | I | C | C | A/R |
| 운영 리포트 승인 | A/R | R | C | R | C |
request_idstage latencyretrieval path
지연·실패 구간 분석
p50 / p95tokenerrorretry
SLA·비용·용량 관리
groundingcitationhandoffsafety
감사·품질·사고 대응
| 기준 | 1차 권장 | 확장 검토 |
|---|---|---|
| 구조 | Classic RAG | Agentic Retrieval |
| 적합 상황 | 단일 기관·단일 지식영역·GA 기능 우선 | 복합 질문·다중 소스·질의 분해 |
| 장점 | 구성·지연·검증이 단순 | 병렬 하위질의·구조화 인용 |
| 위험 | 복합 질문의 검색 누락 | 비용·복잡도·에이전트 검증 부담 |
Classic RAG + 하이브리드 검색 + 문서 단위 보안 트리밍 + OpenTelemetry 관측성
복합 질문·다중 소스·질의 분해 요구가 PoC 평가에서 확인될 때 Agentic Retrieval을 별도 확장안으로 검토합니다.