에러) Structured Output 호출 시 LengthFinishReasonError 문제와 임시 해결기

·
분석 Python/vLLM
최근 OpenAI API를 structured outputs 모드로 호출하다가, 간헐적으로 이런 에러를 맞닥뜨렸습니다:openai.LengthFinishReasonError: Could not parse response content as the length limit was reached - CompletionUsage(completion_tokens=16000, prompt_tokens=3501, total_tokens=19501, ...) 아래 글들에서 공통적으로 지적된 포인트는:모델이 반복(loop) 출력을 하거나 structured format이 꼬이면서 불필요하게 길어지는 경우동시 요청(concurrency) 시 내부 토큰 관리가 불안정해지는 경우max_tokens 여유 설정이 부족할 때 발생..