원문 : https://openai.com/blog/introducing-chatgpt-and-whisper-apis
Introducing ChatGPT and Whisper APIs
Developers can now integrate ChatGPT and Whisper models into their apps and products through our API.
openai.com
그렉 브록맨, 아티 엘레티, 엘리 조지, 조앤 장, 로건 킬패트릭, 레이첼 림, 루크 밀러, 미셸 포크라
ChatGPT와 Whisper API의 초기 사용자들
스냅챗을 만든 스냅(Snap Inc.)은 이번 주에 스냅챗+용 마이 인공지능을 출시했습니다. 이 실험적인 기능은 ChatGPT API에서 실행되고 있습니다. My AI는 스냅챗 사용자들에게 친근하고 맞춤 설정이 가능한 챗봇을 제공하여 추천을 제공하고, 친구를 위한 하이쿠를 몇 초 만에 작성할 수도 있습니다. 커뮤니케이션과 메시징이 일상적인 행동인 Snapchat의 월간 스냅채터 수는 7억 5천만 명에 달합니다:
Quizlet은 글로벌 학습 플랫폼으로, 6천만 명 이상의 학생들이 학습, 연습, 숙달을 위해 이 플랫폼을 사용하고 있습니다. Quizlet은 지난 3년 동안 OpenAI와 협력하여 어휘 학습 및 모의고사 등 다양한 사용 사례에서 GPT-3를 활용하고 있습니다. ChatGPT API의 출시와 함께 Quizlet은 재미있는 채팅 경험을 통해 제공되는 관련 학습 자료를 기반으로 한 적응형 질문으로 학생들의 참여를 유도하는 완전 적응형 AI 튜터인 Q-Chat을 선보입니다:
Instacart는 고객이 음식에 대해 질문하고 영감을 주는 쇼핑 가능한 답변을 얻을 수 있도록 Instacart 앱을 보강하고 있습니다. 이는 ChatGPT와 함께 Instacart의 자체 AI 및 75,000개 이상의 소매 파트너 매장의 제품 데이터를 활용하여 고객이 "어떻게 하면 맛있는 생선 타코를 만들 수 있나요?" 또는 "아이들을 위한 건강한 점심은 무엇인가요?"와 같은 개방형 쇼핑 목표에 대한 아이디어를 발견할 수 있도록 도와줍니다. 인스타카트는 올해 말 '인스타카트에게 물어보세요'를 출시할 계획입니다:
Shopify의 소비자 앱인 Shop은 1억 명의 쇼핑객이 좋아하는 제품 및 브랜드를 찾고 참여하는 데 사용됩니다. ChatGPT API는 Shop의 새로운 쇼핑 도우미를 구동하는 데 사용됩니다. 쇼핑 도우미는 고객이 제품을 검색하면 고객의 요청에 따라 개인화된 추천을 제공합니다. Shop의 새로운 AI 기반 쇼핑 어시스턴트는 수백만 개의 제품을 스캔하여 구매자가 원하는 제품을 빠르게 찾거나 새로운 제품을 발견할 수 있도록 지원함으로써 인앱 쇼핑을 간소화합니다:
Speak은 유창한 영어를 구사할 수 있는 최상의 경로를 구축하는 데 중점을 둔 AI 기반 언어 학습 앱입니다. 한국에서 가장 빠르게 성장하는 영어 앱으로, 이미 Whisper API를 사용하여 새로운 AI 말하기 동반자 제품을 개발하여 전 세계로 빠르게 출시하고 있습니다. 모든 레벨의 언어 학습자에게 인간 수준의 정확도를 제공하는 위스퍼는 진정한 개방형 대화 연습과 매우 정확한 피드백을 제공합니다:
ChatGPT API
Model: 오늘 출시하는 ChatGPT 모델 제품군인 gpt-3.5-turbo는 ChatGPT 제품에 사용되는 것과 동일한 모델입니다. 가격은 1,000 토큰당 0.002달러로 기존 GPT-3.5 모델보다 10배 저렴합니다. 또한 채팅이 아닌 다양한 사용 사례에 가장 적합한 모델로, 초기 테스터들이 프롬프트에 약간의 조정만으로 텍스트 다빈치-003에서 gpt-3.5-터보로 마이그레이션하는 것을 보았습니다.
API: 일반적으로 GPT 모델은 모델에 "토큰" 시퀀스로 표시되는 구조화되지 않은 텍스트를 사용합니다. ChatGPT 모델은 대신 메타데이터와 함께 메시지 시퀀스를 사용합니다. (궁금하신 분들을 위해 설명하자면, 내부적으로 입력은 여전히 모델이 사용할 수 있도록 '토큰' 시퀀스로 모델에 렌더링되며, 모델에서 사용하는 원시 형식은 채팅 마크업 언어("ChatML")라는 새로운 형식입니다.)
ChatGPT 모델과 상호 작용할 수 있는 새로운 엔드포인트를 만들었습니다:
Request
curl https://api.openai.com/v1/chat/completions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-3.5-turbo",
"messages": [{"role": "user", "content": "What is the OpenAI mission?"}]
}'
Response
{
"id": "chatcmpl-6p5FEv1JHictSSnDZsGU4KvbuBsbu",
"object": "messages",
"created": 1677693600,
"model": "gpt-3.5-turbo",
"choices": [
{
"index": 0,
"finish_reason": "stop",
"message": {
"role": "assistant",
"content": "OpenAI's mission is to ensure that artificial general intelligence benefits all of humanity."
}
}
],
"usage": {
"prompt_tokens": 20,
"completion_tokens": 18,
"total_tokens": 38
}
}
Python bindings
import openai
completion = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=[{"role": "user", "content": "Tell the world about the ChatGPT API in the style of a pirate."}]
)
print(completion)
ChatGPT API에 대해 자세히 알아보려면 Chat 가이드를 참조하세요.
ChatGPT 업그레이드
저희는 지속적으로 ChatGPT 모델을 개선하고 있으며, 이러한 개선 사항을 개발자에게도 제공하고자 합니다. gpt-3.5-turbo 모델을 사용하는 개발자는 항상 권장되는 안정적인 모델을 사용할 수 있으며, 특정 모델 버전을 유연하게 선택할 수 있습니다. 예를 들어, 오늘은 최소 6월 1일까지 지원되는 gpt-3.5-turbo-0301을 릴리스하며, 4월에 gpt-3.5-turbo를 새로운 안정 릴리스로 업데이트할 예정입니다. 모델 페이지에서 전환 업데이트가 제공됩니다.
전용 인스턴스
이제 특정 모델 버전과 시스템 성능을 보다 세밀하게 제어하고자 하는 사용자를 위해 전용 인스턴스도 제공합니다. 기본적으로 요청은 다른 사용자와 공유되는 컴퓨팅 인프라에서 실행되며, 요청당 비용을 지불합니다. Atlassian의 API는 Azure에서 실행되며, 전용 인스턴스를 사용하면 개발자는 요청을 처리하기 위해 예약된 컴퓨팅 인프라 할당에 대해 기간 단위로 비용을 지불하게 됩니다.
개발자는 인스턴스의 부하(부하가 높을수록 처리량은 향상되지만 각 요청은 느려짐), 더 긴 컨텍스트 제한과 같은 기능을 활성화하는 옵션, 모델 스냅샷을 고정하는 기능을 완전히 제어할 수 있습니다.
전용 인스턴스는 하루에 최대 4억 5,000만 토큰 이상을 실행하는 개발자에게 경제적으로 유용할 수 있습니다. 또한 하드웨어 성능에 따라 개발자의 워크로드를 직접 최적화할 수 있어 공유 인프라에 비해 비용을 크게 절감할 수 있습니다. 전용 인스턴스에 대한 문의는 문의해 주세요.
Whisper API
2022년 9월에 오픈소스화한 음성-텍스트 변환 모델인 Whisper는 개발자 커뮤니티로부터 엄청난 찬사를 받았지만, 실행하기 어려운 모델이기도 합니다. 이제 분당 0.006달러의 가격으로 편리한 온디맨드 액세스를 제공하는 대형-v2 모델을 API를 통해 사용할 수 있게 되었습니다. 또한 고도로 최적화된 서비스 스택을 통해 다른 서비스에 비해 빠른 성능을 보장합니다.
Whisper API는 트랜스크립션(원어로 트랜스크립션) 또는 번역(영어로 트랜스크립션) 엔드포인트를 통해 이용할 수 있으며, 다양한 형식(m4a, mp3, mp4, mpeg, mpga, wav, webm)을 허용합니다:
Request
curl https://api.openai.com/v1/audio/transcriptions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-H "Content-Type: multipart/form-data" \
-F model="whisper-1" \
-F file="@/path/to/file/openai.mp3"
Response
{
"text": "Imagine the wildest idea that you've ever had, and you're curious about how it might scale to something that's a 100, a 1,000 times bigger..."
}
Python bindings
import openai
file = open("/path/to/file/openai.mp3", "rb")
transcription = openai.Audio.transcribe("whisper-1", file)
print(transcription)위스퍼 API에 대해 자세히 알아보려면 음성 텍스트 변환 가이드를 참조하세요.
개발자 중심
지난 6개월 동안 더 나은 서비스를 제공할 수 있는 방법을 파악하기 위해 API 고객으로부터 피드백을 수집해 왔습니다. 다음과 같은 구체적인 변경 사항을 적용했습니다:
* API를 통해 제출된 데이터는 조직이 동의하지 않는 한 더 이상 서비스 개선(모델 트레이닝 포함)에 사용되지 않습니다.
* API 사용자를 위한 기본 30일 데이터 보존 정책을 시행하며, 사용자의 필요에 따라 더 엄격한 보존 옵션을 선택할 수 있습니다.
* 출시 전 검토 제거(자동화된 모니터링을 개선하여 잠금 해제)
* 개발자 문서 개선
* 데이터 소유권 관련 약관을 포함한 서비스 약관 및 사용 정책 간소화: 사용자가 모델의 입력 및 출력에 대한 소유권을 갖습니다.
지난 두 달 동안 가동 시간은 저희 자신이나 사용자의 기대치를 충족하지 못했습니다. 저희 엔지니어링 팀의 최우선 과제는 이제 프로덕션 사용 사례의 안정성이며, AI가 모든 인류에게 혜택을 주기 위해서는 신뢰할 수 있는 서비스 제공자가 되어야 한다는 것을 잘 알고 있습니다. 앞으로 몇 달 동안 가동 시간 개선을 위해 노력할 테니 지켜봐 주세요!
저희는 AI가 모든 사람에게 놀라운 기회와 경제적 역량을 제공할 수 있다고 믿으며, 이를 달성하기 위한 가장 좋은 방법은 모든 사람이 AI를 활용해 구축할 수 있도록 하는 것입니다. 오늘 발표한 변경 사항이 모든 사람이 혜택을 누릴 수 있는 다양한 애플리케이션으로 이어지기를 바랍니다. ChatGPT와 Whisper로 차세대 앱 개발을 시작하세요.