计算入门人工智能
算力还是带宽受限
某算子完成 100 GFLOP 并搬运 10 GB。假设峰值算力 100 TFLOP/s、带宽 1 TB/s，忽略其他开销，耗时下界是多少？
正在加载内容…
练习
题目整理自本地机器学习与深度学习资料。先独立作答，再展开答案，并通过标签或来源回到对应学习位置。
某算子完成 100 GFLOP 并搬运 10 GB。假设峰值算力 100 TFLOP/s、带宽 1 TB/s，忽略其他开销，耗时下界是多少？
问答模型离线回答正常，但并发后首 token 变慢、显存耗尽。应从哪些 Infra 层次收集证据？
把 BF16 权重变成 W4A16 后，KV Cache 是否自动缩到四分之一？为什么模型文件也不一定恰好缩小四倍？
恰好 70 亿参数的 BF16 模型，权重占多少 GB 和 GiB？为什么不能直接用 24 GiB 减去权重来承诺缓存容量？
三个样本长度为 6、3、3，全部补到 8，位置利用率是多少？attention mask 与 loss mask 能否互相替代？
TTFT 为 300 ms，输出共 21 token，首 token 后平均间隔 40 ms，最后一个 token 大约何时到达？
三个同时到达的请求输出长度为 2、4、2，最多同时执行两条，每条每轮生成一个 token且忽略 prefill。固定批次和连续调度分别需要几轮？
60 秒内发起 100 个请求，90 个完整成功并输出 9000 token，其中 72 个满足延迟门槛。成功吞吐、输出吞吐、goodput 和失败率分别是多少？
10000 个范围内请求的 SLO 为 99% 合格，已有 70 个不合格，还剩多少预算？近期窗口不合格率 3% 对应多少倍消耗速率？
对象存储出现了 8 个预期分片中的 7 个，可以更新 latest 指针吗？恢复训练还需要哪些非权重状态？
进程已监听端口但模型还在加载，是否应接入流量？流式接口已经返回 HTTP 200，能否直接算完整成功？
两个 rank 的梯度为 [1,3] 与 [5,7]。求和 AllReduce 后得到什么？使用训练框架时为什么不能盲目再除以 rank 数？
8 张 GPU，TP=2、PP=2，微批量为 4，梯度累积 8 次，全局 batch 是多少？TP 和 PP 为什么不应再乘入？
100 万个 float32 元素计算 y=x*scale+bias，scale/bias 为标量。忽略它们及缓存，分开乘加与融合的理想流量分别是多少？
32 层、8 个 KV 头、每头 128 维、BF16 缓存，一条 4096 token 序列的缓存多大？分页能消除这部分增长吗？
训练状态总计 112 GB，四卡全分片的理想稳态为 28 GB/卡。为什么不能据此保证 32 GB 显卡可运行？
作业要求单机四卡，集群两台机器各空闲两卡，能否仅凭空闲总数承诺启动？新增推理副本为何也不能立即计入容量？
预算显示最多可容纳 15 条序列；四条合成日志中仅两条完整且 TTFT 不超过 1 秒。能否宣布达到 95% 服务目标并上线？还需交付什么证据？
分类和回归的输出有什么本质区别？“预测明天的温度”和“判断邮件是否垃圾”分别属于哪一种？
为什么测试集不能参与模型选择？请分别说明三类数据的职责。