每日推进表

1. 推理阶段Prefill 并行处理输入并生成 KV-Cache；Decode 利用缓存逐 token 生成。
2. 并行策略FSDP 分片训练状态，TP 拆矩阵，PP 拆层，EP 拆专家。
3. 通信软件PyTorch Distributed 与 NCCL 提供 All-Gather、Reduce-Scatter、All-Reduce、All-to-All。
4. 物理链路同机主要走 NVLink / PCIe，跨机依赖 InfiniBand / RoCE 与 GPUDirect RDMA。

1. LiteLLM个人或小团队统一多家模型接口的默认起点，接入完整且运维成本较低。
2. Higress已有 Kubernetes、并把高并发和 SSE 稳定性置于首位时更有优势。
3. Portkey强调复杂路由表达与治理；开源版和企业能力的边界需要单独评估。
4. New API更偏中文渠道、用户和计费运营，不是稳定性优先的默认网关。

1. 联合投影c_attn 用一次大矩阵乘法同时生成 Q、K、V，再沿最后一维切开。
2. 相关性当前 token 的 Q 与所有 K 做点积并按维度缩放。
3. 归一化softmax 把原始分数转成总和为 1 的注意力权重。
4. 内容聚合最终使用这些权重混合 V，得到当前 token 的新上下文表示。

1. TGC × UA 实验固定同一枚 TGC、同一 service、同一重定向，只改 UA：Chrome/150 被拒返回登录页，改回 Chrome/130 立即签发 ST——证明 CAS 校验 TGC 时至少考虑 UA。
2. TGC只表示用户已经在身份中心登录，不等于已登录所有业务系统。
3. ST是一次性、绑定目标 service 的票据，用于把身份安全交给业务系统。
4. 业务 Session目标系统验证 ST 后仍会建立自己的会话，并独立管理过期、吊销与单点登出。

1. TP8 多副本三份完整模型、三套队列和 24 张 GPU，更适合中短请求、在线吞吐、故障隔离与扩缩容。
2. TP16 单实例一份模型切到两台 8 卡节点，经 RDMA 完成跨节点集合通信，换来更大的共享 KV 池和 1M 上下文能力。
3. SSO 身份层IdP 的 TGC 只证明用户已登录；一次性、绑定 service 的 ST 把这份身份安全交给目标业务系统。
4. 业务会话层目标系统验证 ST 后仍建立自己的 session，并独立管理过期、吊销与单点登出。

1. 工具发现tools/list 只把名称、描述和参数 schema 交给 Host，不代表已经访问业务数据。
2. 动作选择模型根据用户目标和工具 schema 生成一次结构化调用。
3. 工具执行tools/call 才触发参数校验、权限检查和目标数据访问。
4. 结果回流工具结果作为新的上下文回到模型，Host 决定继续调用、重试或给出回答。

协议来源：MCP Architecture / MCP 2025-06-18 Schema