碾压GPT-4!谷歌发布Gemini 1.5:MoE架构,支持1M上下文

gemini2025-01-05 08:36:12451

先做个广告:需要购买Gemini帐号或代充值Gemini会员,请加微信:gptchongzhi

谷歌最新发布了Gemini的升级版本Gemini 1.5 Pro,Gemini 1.5 Pro采用MoE架构,是一个中等大小的多模态大模型,它的性能和Gemini 1.0 Ultra相当但是计算更高效,同时Gemini 1.5 Pro支持128K上下文甚至1M上下文。

推荐使用Gemini中文版,国内可直接访问:https://ai.gpt86.top 

Gemini 1.5 Pro在Gemini 1.0架构基础上采用MoE Transformer,MoE可以让模型增加其总参数数量同时
保持任何给定输入激活的参数数量不变,这也让Gemini 1.5 Pro计算更高效。

Gemini 1.5 Pro在多模态任务评测集大幅度超过之前的Gemini 1.0 Pro,而且效果接近更大的Gemini 1.0 Ultra:

Gemini 1.5 Pro 的长上下文能力支持文本、语音和视频,而且可以实现几乎完美的召回(> 99.7%),最多可达至少 10M 个tokens,远超过现有模型(例如 Claude 2.1 (200k) 和 GPT-4 Turbo (128k)。

详细内容见:

blog

https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/

paper

https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf


代充值chatgpt plus

本文链接:https://google-gemini.cc/gemini_64.html

谷歌Gemini 1.5谷歌GeminiGemini 1.5

相关文章