Skip to main content
대부분의 언어 모델은 텍스트를 생성하도록 설계되어 있습니다. 애플리케이션이 결정을 내려야 할 때는 보통 모델에게 JSON을 요청하고, 응답을 검증한 뒤, 다음 단계를 좌우하는 값을 추출하는 과정을 거쳐야 합니다. Jev는 System One 결정 모델입니다. 산문을 생성하는 대신, 사전에 정의된 답변 유형을 가진 질문들에 대해 state를 평가하고 기계가 바로 사용할 수 있는 판단을 반환합니다.
Jev와 Decisions API는 베타 상태입니다. 가용성과 동작 방식은 사전 공지 없이 변경될 수 있습니다.

지원 티켓을 결정으로 바꾸기

다음과 같은 메시지가 들어왔다고 가정해 봅시다:
지급이 3일째 실패했는데 아무도 답변이 없습니다. 최대한 빨리 도와주세요.
애플리케이션은 이 메시지를 어디로 라우팅할지, 긴급한지, 고객이 얼마나 불만스러워하는지를 파악해야 합니다. 메시지를 한 번만 보내고 세 가지 질문을 함께 물어보세요:
cURL
Jev는 각 질문 ID 아래에 하나의 답변을 반환합니다:
확률은 요청마다 달라질 수 있습니다. 프로덕션 임계값을 정하기 전에 여러분 자신의 애플리케이션 예제로 Jev를 평가해 보세요.

답변 형태 선택

Jev는 세 가지 질문 유형을 지원합니다:

Noul: 이진 판단 내리기

“예”일 확률 자체가 바로 유용할 때 Noul을 사용하세요:
Noul에는 별도의 confidence 필드가 없습니다. 1에 가까운 값은 강한 “예”, 0에 가까운 값은 강한 “아니오”, 0.5에 가까운 값은 불확실함을 의미합니다.

Choice: 라우팅 또는 분류

답변이 반드시 정해진 집합 중 하나여야 할 때 Choice를 사용하세요:
제공한 선택지가 모든 상태를 포괄하지 못할 수 있다면 othernone 옵션을 포함하세요.

Score: 스펙트럼 측정

답변이 순서가 있는 등급 위에 놓일 때 Score를 사용하세요:
등급 인덱스는 0부터 시작합니다. 반환되는 점수는 확률 가중치가 반영되므로 두 등급 사이의 값이 나올 수 있습니다.

신뢰도를 애플리케이션 동작으로 전환하기

Choice와 Score 답변에는 전체 분포와 함께 그로부터 도출된 단일 confidence 값이 포함됩니다. 이를 통해 코드에서 답변과 확실성을 별개의 신호로 다룰 수 있습니다:
비용이 크거나, 파괴적이거나, 금전적이거나, 되돌리기 어려운 조치에는 더 높은 임계값을 사용하세요. 신뢰도는 정답을 보장하지 않으며, 애플리케이션이 언제 자동으로 조치를 취하지 말아야 하는지를 결정하는 데 도움을 줍니다.

관련된 질문을 함께 묻기

요청 내의 모든 질문은 동일한 state를 받아 각각 독립적으로 평가됩니다. department 답변이 frustration 질문의 숨은 컨텍스트가 되지는 않습니다. 다음과 같은 경우에는 독립적인 질문들을 한꺼번에 처리하세요:
  • 동일한 문서, 레코드, 대화 또는 애플리케이션 상태를 평가할 때
  • 첫 번째 결과에 따라 여러 답변이 필요할 수 있을 때
  • 여러 요청에 동일한 state를 반복해서 보내는 것을 피하고 싶을 때
두 번째 요청은 그 state나 사용할 수 있는 선택지가 앞선 답변에 실제로 의존할 때에만 보내세요.

구조화된 state 사용하기

state는 문자열, JSON 객체 또는 배열이 될 수 있습니다. 구조화된 state를 사용하면 질문이 특정 레코드와 보조 컨텍스트를 참조할 수 있습니다:
완전한 지시문을 작성하고 관련 필드의 이름을 명시하세요. 예: “ticket.messagerefund_policy에서 다루는 환불을 요청하고 있나요?”

Jev와 그 한계 파악하기

계정별로 모델 가용성이 다를 수 있으므로 결정 모델을 조회할 때는 본인의 API 키를 사용하세요:
cURL
jev-latest 모델은 현재 다음을 지원합니다:
  • state와 가장 긴 단일 질문을 합쳐 최대 32,000 토큰
  • state와 모든 질문을 합쳐 최대 64,000 토큰
  • 텍스트 또는 구조화된 JSON 입력
가격, 제한, 가용성은 변경될 수 있으므로 Models API를 기준으로 삼으세요.

다른 모델을 사용해야 할 때

소프트웨어가 곧바로 실행에 옮길 수 있는 경계가 명확한 판단에는 Jev를 사용하세요. 다음이 필요할 때는 채팅 또는 추론 모델을 사용하세요:
  • 생성된 산문이나 설명
  • 멀티턴 대화
  • 툴 호출
  • 개방형 답변
  • 길게 이어지는 의존적 추론

다음 단계