我的一点拙见

换种方式学KV Cache

从多少显存可以运行一个7B模型开始聊起 常常有人会聊一个问题，你如果要能够运行一个7B的模型，显卡需要多少显存才够。 感觉这个话题是很有意思的，如果你具体问题具体分析，可以先反问对方，FP8量化还是FP16量化，这时候对面当然可以反讥你，这…