大数据与人工智能：从数据到有边界的应用

十万条回收记录里有重复、缺失和不同单位，直接求平均靠谱吗？

数据流程包括采集、校验、清洗、整合、存储、分析、呈现与反馈。ETL是抽取Extract、转换Transform、加载Load；原始记录应保留可追溯来源和变换规则。大数据不只是“大文件”，还涉及规模、速度、类型和可信度。批处理处理一批已积累数据；流处理持续处理到来的事件，需要应对乱序和重复。

分布式把存储或计算放到多节点，能扩展但增加网络、故障、复制一致性等成本。MapReduce直觉是先对局部生成键值，再按键归组汇总；不同节点局部结果必须按正确规则合并。

先定义指标：回收重量统一kg，缺失不自动补0，同一事件按稳定ID去重。再按社区分组求总量与次数，平均=总量/次数；不能无权平均各机器算出的平均数。记录清洗前后数量，便于追查损失。

先独立作答；卡住时看提示，完成后再对照解析。

用过去预约记录预测是否爽约，模型看起来99%准确就足够吗？

监督学习用带标签数据学习输入到输出：分类预测类别，回归预测数值。无监督从无标签数据发现结构，如聚类；强化学习在环境交互中通过回报学习策略，不能把所有反馈都叫强化学习。训练集拟合参数，验证集选模型与超参数，测试集用于最终独立评估。按用户或时间划分可减少相关样本泄漏。

过拟合是模型抓住训练噪声、泛化差，可通过更多有效数据、合适复杂度、正则化、早停等缓解。分类准确率=(TP+TN)/总数；精确率TP/(TP+FP)，召回率TP/(TP+FN)。TP真阳性为预测正且实际正，FP误报，FN漏报，TN真阴性。分母为0时需约定指标定义。

先定错判代价，再选指标。若爽约只有1%，全预测不爽约有99%准确，却一个高风险都找不到。训练完不能用测试结果反复调参后还称独立测试；特征中若含“最终是否归还”去预测早期是否逾期，就泄漏未来信息。

先独立作答；卡住时看提示，完成后再对照解析。

让模型生成一张展览草图和让它证明消防出口合规，是同一种可靠性要求吗？

神经网络由参数化计算层连接，简单单元计算加权和加偏置，再经非线性激活。前向计算产生预测，损失衡量与目标差异，反向传播高效计算梯度，优化器据此更新参数；梯度是改变参数时损失怎样变化的局部方向。没有非线性，多层线性映射仍可合成一个线性映射。

生成式模型学习数据模式并生成新内容，语言模型可按上下文预测后续词元，图像模型可用不同生成机制。流畅不保证真实；幻觉指貌似可信但无根据的输出。训练偏差、隐私、版权、可解释性和误用风险均需在应用中考虑。设计者须验证事实与关键约束，不能把生成数量等同于创新价值。

完整设计流程：先由人给问题证据和约束→工具辅助多样化草案→逐项筛查可行性与来源→让目标用户试用→人工决策并记录修改。高影响判断如安全尺寸需查专业标准和实际测量，不能仅依赖生成图看起来合理。

先独立作答；卡住时看提示，完成后再对照解析。