Nicksxs's Blog

Java 运行时、生产诊断与 AI 工程实践

之前听说chrome在你的电脑里塞了一个小模型,相比于说这个比较容易引起公愤的,可能是因为模型有4g大小,但是感觉也提供了挺大的想象空间 比如在浏览器内就可以直接调用模型进行对话处理,最简单的比如做个翻译啥的, 首先也有具体的硬件条件, 系统:Windows 10/11、mac…

阅读全文 »

之前在用到valet的时候就觉得这个工具很厉害,因为本地部署很多时候都是比较费劲的,也比较简陋,就直接localhost启动下,但是有时候需要验一下回调的,就需要有域名跟https,当然之前也没想明白的是在本地其实用本地的地址也是可以的,意思就是如果回调地址没限制必须要域名,也…

阅读全文 »

今天在尝试使用llama.cpp在mac下本地运行大模型的时候发现拉取llama.cpp的仓库还是比较慢,这点真的是挺难受,可能我们在玩一项技术的时候,有一大半时间都在克服这个问题, 这个方式也是谷歌搜到的,就是走 https://gh-proxy.com/ 转换镜像链接, 比…

阅读全文 »

上次我是实地使用llama.cpp跑了本地大模型,这种测试成本比较大, 刚好上次看到有个软件可以运行在本地来评估当前机器的性能可以跑什么样的大模型 它就是llmfit 在mac可以使用 windows可以 安装好就可以直接运行了 可以看到有列了很多模型,包括参数量,token速…

阅读全文 »
0%