教你在英伟达上通过api免费调用所有开源大模型
英伟达也搞了一个开源大模型平台,我们可以体验市面上主流的开源大模型,包括llama3、phi-3、gemma等,除了能体验,还能通过api进行调用,下面我们来分享一个怎么申请api调用开源大模型:
打开这个页面https://build.nvidia.com/explore/discover
右上角登录注册一下,然后点击llama3
看到通过api免费调用llama3的代码和获取key的提示
点击生成一个key,然后复制保存下来
然后就复制代码调用api key吧
from openai import OpenAI client = OpenAI( base_url = "https://integrate.api.nvidia.com/v1", api_key = "申请的key" ) completion = client.chat.completions.create( model="meta/llama3-70b-instruct", messages=[{"role":"user","content":"hello"}], temperature=0.5, top_p=1, max_tokens=1024, stream=True ) for chunk in completion: if chunk.choices[0].delta.content is not None: print(chunk.choices[0].delta.content, end="")
网友评论0