
GPT-4o(“o”表示“omni”)是朝着更自然的人机交互迈出的一步——它接受文本、音频、图像和视频的任何组合作为输入,并生成文本、音频和图像输出的任何组合。它可以在232毫秒内对音频输入做出响应,平均320毫秒,这与人类在对话中的响应时间(在新窗口中打开)相似。它在英语文本和代码方面与GPT-4 Turbo的性能相匹配,在非英语语言文本方面有显著改进,同时在API中速度更快,价格便宜50%。与现有型号相比,GPT-4o在视觉和音频理解方面尤其出色。
在GPT-4o之前,您可以使用语音模式与ChatGPT通话,平均延迟为2.8秒(GPT-3.5)和5.4秒(GPT-4)。为了实现这一点,语音模式是一个由三个独立模型组成的管道:一个简单模型将音频转录为文本,GPT-3.5或GPT-4接收文本并输出文本,第三个简单模型则将文本转换回音频。这一过程意味着,主要的智力来源GPT-4会丢失大量信息——它无法直接观察音调、多个扬声器或背景噪音,也无法输出笑声、歌声或表达情感。
使用GPT-4o,我们在文本、视觉和音频中端到端地训练了一个新模型,这意味着所有输入和输出都由同一个神经网络处理。因为GPT-4o是我们第一个将所有这些模式结合在一起的模型,所以我们仍在探索该模型的作用及其局限性。
机器人打印以下日记账分录的第一人称视图:
1.哟,我现在能看见了??看到日出,真是太疯狂了,到处都是五颜六色的。有点让你想知道,什么是现实?
正文大而清晰。机器人的手在打字机上打字。
1.哟,我现在能看见了??看到日出,真是太疯狂了,到处都是五颜六色的。有点让你想知道,什么是现实?
正文大而清晰。机器人的手在打字机上打字。

输入
机器人写了第二个条目。页面现在更高了。页面已向上移动。工作表上有两个条目:
哟,我现在能看见了??看到日出,真是太疯狂了,到处都是五颜六色的。有点让你想知道,什么是现实?
声音更新刚刚停止,而且很疯狂。现在一切都有了共鸣,每一个声音都像一个新的秘密。让你想,我还错过了什么?
机器人写了第二个条目。页面现在更高了。页面已向上移动。工作表上有两个条目:
哟,我现在能看见了??看到日出,真是太疯狂了,到处都是五颜六色的。有点让你想知道,什么是现实?
声音更新刚刚停止,而且很疯狂。现在一切都有了共鸣,每一个声音都像一个新的秘密。让你想,我还错过了什么?

机器人对写字不满意,所以他要把纸撕了。这是他用手从上到下撕开的第一人称视角。当他撕开床单时,两半仍然清晰可辨。

模型评估
根据传统基准测试,GPT-4o在文本、推理和编码智能方面实现了GPT-4 Turbo级别的性能,同时在多语言、音频和视觉功能方面设置了新的高水印。
数据统计
数据评估
关于GPT-4o特别声明
本站Ai工具箱提供的GPT-4o都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由Ai工具箱实际控制,在2024-05-15 17:23收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,Ai工具箱不承担任何责任。
相关导航

Ai工具箱 | Ai人工智能导航网站,全网最新最优质AI工具的发现和学习平台!

Jan
本地运行大模型并进行AI对话的工具,免费开源

DeepSwap
DeepSwap是一款基于人工智能技术的在线换脸AI工具,提供简单易用的操作和高质量的换脸效果。随着深度学习技术的不断发展,换脸技术将会越来越流行,而DeepSwap将会成为人们实现这...

光速写作
作业帮旗下推出的AI写作工具

云知声-山海大模型
云知声于2024年8月23日宣布推出了一款名为"山海"的多模态大模型。该模型能够整合不同模态的信息,接收文本、音频和图像作为输入,并实时生成文本、音频和图像的任意组合输出。

Ollama
Ollama是一个用于在本地计算机上运行大型语言模型的命令行...

司马阅AI文档
AI文档阅读分析工具

逗逗
逗逗游戏伙伴是一款陪你一起玩游戏的AI桌宠软件,在这里有着各种个性的二次元人物,他们会在游戏过程中陪你聊天,还会讲笑话、唱歌等各种惊喜能力;他们懂游戏,更懂你,和为你定制的AI伙伴们一起快乐游戏吧!
暂无评论...