358
OpenAI запустила новий режим Ultrafast для GPT-5.6 Sol, який має значно скоротити час очікування під час роботи з найпотужнішою моделлю компанії. За заявою OpenAI, у цьому режимі GPT-5.6 Sol може працювати приблизно у 14 разів швидше за стандартну обробку й видавати до 750 вихідних токенів за секунду.
Токени — це окремі фрагменти тексту, з яких мовна модель формує відповідь. Чим швидше система їх генерує, тим менше користувач чекає на завершення великої відповіді, написання коду або виконання послідовності дій усередині AI-агента.
OpenAI наголошує, що раніше для роботи майже в реальному часі розробникам часто доводилося переходити на менші або більш вузькоспеціалізовані моделі. Ultrafast має дозволити зберегти можливості GPT-5.6 Sol і водночас суттєво підвищити швидкість її роботи.
Компанія розглядає новий режим передусім як інструмент для корпоративних сценаріїв. Серед прикладів названі реагування на інциденти, служби підтримки та обслуговування клієнтів, аналіз фінансових ринків, електронна комерція та інші процеси, де відповідь моделі потрібна практично без затримки.
Такий підхід особливо важливий для AI-агентів. Один запит користувача в агентній системі може запускати багато послідовних звернень до моделі: аналіз даних, виклик інструментів, перевірку результату й формування наступної дії. Навіть невелика затримка на кожному етапі в підсумку може сильно збільшувати загальний час виконання завдання.
Ultrafast працює завдяки партнерству OpenAI з виробником спеціалізованих AI-чипів Cerebras. Компанія використовує обчислювальну інфраструктуру партнера для досягнення високої швидкості генерації.
Конкуренти OpenAI також експериментують зі швидкими режимами. Anthropic, зокрема, має fast mode для Claude, однак TechCrunch зазначає, що заявлена OpenAI швидкість Ultrafast вища.
На момент запуску Ultrafast доступний лише як preview для невеликої групи клієнтів. OpenAI планує поступово розширювати доступ у міру збільшення доступної обчислювальної потужності.
Джерело: TechCrunch
