思想与社会2023 · 分享于 Hacker News
Fast Inference from Transformers via Speculative Decoding
探索《Fast Inference from Transformers via Speculative Decoding》的原文与 Hacker News 社区讨论，查看来源并加入阅读清单。
从论文，走向讨论
看看社区如何讨论这个想法。
来自 Hacker News 的原始讨论。不同的视角、疑问，以及值得继续思考的线索。
最多展示 100 条相关讨论。论文可能出现在评论中，并非原帖投稿内容。
在讨论中发现的引用
按 HN 条目顺序展示最近的 50 条引用来源。
Yzer0tonin ·
Playing with Open Source LLMs
90 赞同52 评论
Yaurenvale ·
DeepSeek open-sources inference optimizations with 60–85% faster generation [pdf]
76 赞同2 评论
Yamrrs ·
Accelerating Gemma 4: faster inference with multi-token prediction drafters
36 赞同7 评论
YGreenGames ·
We got 207 tok/s with Qwen3.5-27B on an RTX 3090
3 赞同1 评论
YJimmc414 ·
Fast Inference from Transformers via Speculative Decoding
1 赞同2 评论
YLwrless ·
Raspberry Pi Pico 2 at 873.5MHz with 3.05V Core Abuse
1 赞同0 评论