01응답시간 산정 기준 불일치최우선
- 위치
- PDF 47쪽(Ⅲ-27), 49쪽(Ⅲ-29).
- 사실
- 답변 완료 기준 측정을 명시하면서 생성 3.2초는 스트리밍 첫 응답 기준이라고 적었다. 이를 검색 0.6초·기타 0.6초와 합산해 4.4초로 제시한다.
- 영향
- 첫 토큰까지 걸리는 시간으로 답변 전체 완료 시간을 입증할 수 없다. 성능요구사항 10점의 신뢰도에 직접 영향을 준다.
- 보완
- 첫 토큰 시간과 전체 완료 시간을 분리한다. 평균 5초·최대 10초의 측정 대상을 명확히 하고, 출력 길이·검색 문서량·동시 활성 요청·API 호출 및 토큰 한도·캐시 적중 조건·시험 지속시간·오류율을 함께 제시한다. 타임아웃 후 재시도와 대체 모델 호출이 전체 10초 안에 끝나는 시간 배분도 필요하다. 지연 안내를 정상 답변 성공으로 집계하지 않는다.