先做个广告:需要购买Gemini帐号或代充值Gemini会员,请加微信:gptchongzhi
谷歌最新发布了Gemini的升级版本Gemini 1.5 Pro,Gemini 1.5 Pro采用MoE架构,是一个中等大小的多模态大模型,它的性能和Gemini 1.0 Ultra相当但是计算更高效,同时Gemini 1.5 Pro支持128K上下文甚至1M上下文。
推荐使用Gemini中文版,国内可直接访问:https://ai.gpt86.top
Gemini 1.5 Pro在Gemini 1.0架构基础上采用MoE Transformer,MoE可以让模型增加其总参数数量同时
保持任何给定输入激活的参数数量不变,这也让Gemini 1.5 Pro计算更高效。
Gemini 1.5 Pro在多模态任务评测集大幅度超过之前的Gemini 1.0 Pro,而且效果接近更大的Gemini 1.0 Ultra:
Gemini 1.5 Pro 的长上下文能力支持文本、语音和视频,而且可以实现几乎完美的召回(> 99.7%),最多可达至少 10M 个tokens,远超过现有模型(例如 Claude 2.1 (200k) 和 GPT-4 Turbo (128k)。
详细内容见:
blog
https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/
paper
https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf