На своей презентации в мае 2024 года компания OpenAI показала миру свою новую модель — GPT-4 Omni (сокращенно GPT-4o). Данная версия будет бесплатной для всех пользователей. Согласно заявлениям представителям Open AI, языковая модель станет настоящим прорывом в области нейросетей, и мы предлагаем вам узнать, чем же она отличается от своих предшественников.
Новые возможности в GPT-4 Omni
Мультимодальность
В GPT-4o вся информация на входе и выходе обрабатывается одной нейросетью вне зависимости от формата. Раньше для текстов, изображений и видео использовались разные модели. Это оказывало влияние как на скорости ответов, так и на их качестве. Новая версия без проблем воспринимает любые комбинации форматов данных, за счет чего поднимается эффективность работы.
Голосовой ассистент
Помощник теперь может воспринимать и обрабатывать данные в реальном времени. Он реагирует на аудиозапросы в среднем за 320 миллисекунд, что соответствует скорости реакции обычного человека. Благодаря этому взаимодействие выглядит гораздо более естественно. Кроме того, голосовой ассистент научился распознавать эмоции и выражать их. Он больше не говорит монотонным роботизированным голосом, а меняет интонации, смеется и даже поет.
Улучшилась и работа с большими объемами данных. Новая языковая модель может поддерживать диалог на протяжении 7 минут, не теряя нити разговора. Для большинства нейросетей показатель редко превышает 3-4 минуты.
Работа с визуальным контентом
GPT-4 Omni стала гораздо лучше работать с визуальной информацией. Появилась поддержка видео. Новая модель может распознавать объекты, действия и целые сцены. Это будет полезно, например, для транскрибации. При проведении тестов языковая модель смогла перевести в текстовый формат речи отдельных спикеров с видео. Прошлые версии нейросети воспринимали только статичные иллюстрации. Генерация изображений также вышла на более высокий уровень. В отличие от большинства языковых моделей, GPT-4o без проблем использует текст в картинах. Повысилось и качество восприятия запросов.
Как получить доступ к новой модели?
Воспользоваться GPT-4o пока могут только отдельные владельцы платной подписки. В ближайшее время модель станет доступна и бесплатным пользователям, правда с меньшим лимитом запросов. Обратите внимание: на данный момент функционал GPT-4 Omni урезан, и OpenAI пока не объявляла, когда можно будет начать работать с аудио и видео.
