这么强的模型，谷歌给大家免费试用。

近两日，谷歌在不断发布最新研究。继昨日放出最强端侧Gemma22B小模型后，刚刚，Gemini1.5Pro实验版本(0801)已经推出。

用户可以通过GoogleAIStudio和GeminiAPI进行测试和反馈。

既然免费，那我们帮大家测试一下最近比较火的比大小问题。当我们问Gemini1.5Pro(0801)9.9和9.11哪个数大时，模型一次就能回答正确，并给出了理由。

当我们继续追问「Strawberry单词里面有多少个r」时，然而Gemini1.5Pro(0801)却翻车了。在提示语中施加「咒语」一步一步来，模型分析到第四步就出错了。

GoogleAIStudio测试地址：https://aistudio.google.com/app/prompts/new_chat

不过，从官方评测来看，Gemini1.5Pro(0801)各项指标还是很能打的。新模型迅速夺得著名的LMSYSChatbotArena排行榜榜首，并拥有令人印象深刻的ELO分数，得分为1300。

这一成就使Gemini1.5Pro(0801)领先于OpenAI的GPT-4o（ELO：1286）和Anthropic的Claude-3.5Sonnet（ELO：1271）等强大竞争对手，这或许预示着人工智能格局的转变。

Gemini团队关键成员SimonTokumine称Gemini1.5Pro(0801)是谷歌迄今为止制造的最强大、最智能的Gemini（模型）。

除了拿到ChatbotArena榜首，Gemini1.5Pro(0801)在多语言任务、数学、HardPrompt和编码等领域也表现相当出色。

具体而言，Gemini1.5Pro(0801)在中文、日语、德语、俄语方面均表现第一。

但在编码、HardPrompt领域，Claude3.5Sonnet、GPT-4o、Llama405B仍然处于领先地位。

在win-rate热图上：Gemini1.5Pro(0801)对阵GPT-4o的胜率为54%，对阵Claude-3.5-Sonnet的胜率为59%。

Gemini1.5Pro(0801)在Vision排行榜上也第一！

网友纷纷表示，谷歌这次真是出乎所有人的预料，没有提前官宣就突然开放测试最强模型，这次压力给到了OpenAI。

虽然Gemini1.5Pro(0801)取得了很高的成绩，但它仍处于实验阶段。这意味着该模型在广泛使用之前可能会进行进一步的修改。

网友评测

有网友对Gemini1.5Pro(0801)的内容提取能力、代码生成能力、推理能力等进行了测试，我们来看下他的测试结果。

来源：https://x.com/omarsar0/status/1819162249593840110

首先，Gemini1.5Pro(0801)的图像信息提取功能很强，例如输入一张发票图像，将发票细节用JSON格式编写出来：

再来看下Gemini1.5Pro(0801)的PDF文档内容提取功能，以经典论文《AttentionIsAllYouNeed》为例，提取论文章节目录：

让Gemini1.5Pro(0801)生成一个帮助学习大型语言模型（LLM）知识的Python游戏，该模型直接生成了一整段代码：

值得一提的是，Gemini1.5Pro(0801)还给出了详细的代码解释，包括代码中函数的作用、该Python游戏的玩法等等。

这段程序可以直接在GoogleAIStudio中运行，并且可以试玩，例如做道关于Tokenization定义的选择题：

如果觉得选择题太简单无聊，可以进一步让Gemini1.5Pro(0801)生成一个更复杂的游戏：

得到一个LLM专业知识句子填空游戏：

为了测试Gemini1.5Pro(0801)的推理能力，网友提问了一个「吹蜡烛」问题，但模型回答错误：

尽管有一些瑕疵，但Gemini1.5Pro(0801)的确表现出接近GPT-4o的视觉能力，以及接近Claude3.5Sonnet的代码生成和PDF理解、推理能力，值得期待。

https://www.youtube.com/watch?v=lUA9elNdpoY

未经允许不得转载：头条资讯网_今日热点_娱乐才是你关心的时事 » 谷歌终于赢了OpenAI一回：实验版本Gemini 1.5 Pro超越GPT-4o