先看结论：推理与端侧是两套评价体系

推理部署和边缘端侧经常被放在一起讨论，但它们的评价体系并不相同。推理部署更关注单位成本下的吞吐、延迟分布和批处理效率；边缘端侧更关注功耗、体积、环境适应性和端侧模型适配条件。看球网在整理这两类场景的公开参数时，会分别列出对比维度，避免读者用训练集群的思路去选推理或端侧方案。

把两类场景混为一谈，最常见的后果是「参数看着不错，落地却不合适」。看球网建议先明确部署位置和业务约束，再回到参数表里找对应项，这样对比才有意义。

推理部署：吞吐、延迟与成本的三角平衡

推理部署的核心问题不是算力够不够，而是在给定延迟目标下能跑出多少吞吐、单位吞吐的成本是多少。看球网按统一维度整理推理部署类方案时，重点关注以下几组公开参数。

  • 精度与算力口径：支持哪些精度格式、不同精度下的算力表现、是否支持量化与稀疏。精度选择直接影响吞吐与效果之间的平衡。
  • 显存与批处理：显存容量决定可支持的批大小与模型规模，显存带宽影响解码阶段的效率。长上下文场景对显存带宽更敏感。
  • 延迟分布：平均延迟之外，更要看尾部延迟。在线业务对尾部延迟的容忍度通常低于离线批处理。
  • 部署形态：单机多卡、多机多卡还是弹性实例，决定了扩容方式和运维复杂度。

看球网提醒读者，推理场景的公开参数往往标注了测试条件，脱离批大小和输入长度谈吞吐没有意义。对比时应把测试条件一并记录，无法核验的数字标注为示例数据。

边缘端侧：功耗、环境与模型适配条件

边缘端侧的约束条件更硬。功耗预算、散热条件、体积限制和供电方式往往先于算力成为筛选门槛。看球网在整理边缘端侧类方案时，会把适配条件放在与算力同等的位置。

具体来看，端侧方案需要核对：典型功耗与峰值功耗、是否支持无风扇被动散热、工作温度范围、接口与传感器接入能力、对端侧模型格式和算子支持的程度。举例来说，读者「苏молодой」在社区分享过，他们按看球网整理的口径核对后发现，原计划的端侧方案在峰值功耗上超出设备供电预算，最终调整了模型规模而不是更换芯片。这类判断只能靠统一维度对比得出。

另一个关键是软件适配。端侧芯片的算子支持、量化工具链和模型转换流程，直接决定模型能否顺利跑起来。看球网建议读者把「模型迁移代价」作为独立维度记录，而不是只看硬件参数。

用统一维度建立自己的对比表

看球网产品与方案栏目的做法，是把训练集群、推理部署与边缘端侧三类场景放在同一套记录规范下：参数名称统一、测试条件标注、来源可追溯、无法核验处标注示例数据。读者可以据此建立自己的对比表，先按场景筛掉不适配的方案，再在剩余方案里比较细节。

看球网客户端支持安卓、苹果 iOS、Windows 电脑版和 Mac 电脑版，读者可以在设备侧直接对照栏目里的参数记录。需要强调的是，公开参数只是初筛工具，推理与端侧方案最终都要经过目标业务场景的验证。看球网会持续按统一维度更新这两类场景的公开信息，帮助读者把选型判断建立在可对比、可追溯的框架上。