From Zero to Hero

实战Kaggle房价预测：基于PyTorch的完整代码实践 引言 在数据科学和机器学习的实战中，Kaggle竞赛是检验和提升技能的绝佳平台。本文将带你深入实践经典的房价预测比赛，使用PyTorch框架构建回归模型。我们将完整经历数据加载、预处理、模型构建、训练验证到最终提交的全过程。 本教程特别适合想要： 掌握真实数据处理流程的开发者 学习PyTorch在回归任务中的应用 了解Kaggle竞赛完整工作流的初学者 一、数据集概览 我们使用的数据集来自Kaggle的Housing Prices Competition，包含： 训练集：1460个样本，79个特征 + 1个目标变量（SalePrice） 测试集：1459个样本，79个特征（需要预测房价） 特征类型丰富多样： 数值型：建筑年份、房屋面积等 类别型：街区类型、屋顶样式等 存在缺失值，需要特殊处理 二、环境准备与数据加载 首先安装必要的依赖包： 1pip install pandas torch numpy matplotlib 2.1 导入库并加载数据 123456789101112131415import...

为什么你的AI模型在测试时满分，上线就“翻车”？揭秘分布偏移的陷阱 导读：你是否遇到过这种情况：模型在实验室里表现完美，准确率高达99%，可一旦部署到真实世界，效果却一落千丈，甚至闹出笑话？这不是代码写错了，而是你掉进了一个名为“分布偏移”的隐形陷阱。今天，我们就来聊聊为什么AI会“水土不服”，以及如何避免它。 一、从“穿牛津鞋的人信用好”说起 想象一下，你是一家银行的AI工程师。你训练了一个贷款审批模型，发现一个奇怪的规律：穿牛津鞋的人，违约率极低。 于是，模型开始疯狂给穿牛津鞋的人放贷。结果呢？ 想贷款的人纷纷去买牛津鞋； 鞋子成了“通关密码”，而不是信用的体现； 几个月后，满大街都是穿牛津鞋的“高风险用户”，模型彻底失效。 这个故事听起来荒诞，却真实地揭示了AI落地最大的痛点：模型不仅是在预测世界，有时还在改变世界。当模型的行为反过来影响了数据分布，曾经的“真理”瞬间变成“谎言”。 这就是我们要聊的核心话题——环境与分布偏移（Environment and Distribution...

导读：为什么有时候，故意让模型“变笨”一点，它反而能考出更好的成绩？今天我们来聊聊深度学习中那个最著名的“反直觉”操作——Dropout（暂退法）。 在深度学习的江湖里，有一个让人又爱又恨的难题：过拟合（Overfitting）。 想象一下，你班上有位“学霸”，他复习时把历年真题的答案背得滚瓜烂熟，连标点符号都不放过。结果一到正式考试，题目稍微换个数字或改个问法，他就彻底懵圈了。 这就是神经网络的“过拟合”：它在训练数据上表现完美，但一遇到新数据就“翻车”。为了解决这个问题，科学家们发明了一种看似“自虐”，实则大智慧的技术——Dropout（暂退法）。 今天，我们就用大白话拆解一下，这个让AI模型脱胎换骨的魔法。 🤔 为什么要搞“随机消失”？ 深度神经网络之所以强大，是因为它们拥有海量的参数和神经元。但这也是一把双刃剑。 在网络训练过程中，神经元之间容易产生一种**“共适应性”（Co-adaptation）**。 通俗解释：就像团队里的两个人，A 发现只要自己稍微出点力，B 就会把剩下的活全干了。久而久之，A 就开始“摸鱼”，过度依赖 B。 后果：一旦 B...

拒绝“死记硬背”：通俗详解机器学习中的权重衰减（Weight Decay） 导读：你是否遇到过模型在训练集上表现完美，一上测试集就“崩盘”的情况？这通常是过拟合在作祟。今天，我们将深入探讨深度学习中最经典、最有效的防过拟合技术之一——权重衰减（Weight Decay）。不用复杂的数学推导，我们用通俗的比喻和代码实战，带你彻底搞懂它。 🤔 为什么模型会“死记硬背”？ 想象一下你在备考一场重要的数学考试： 学生 A（过拟合）：他把练习册上的每一道题连同答案都背得滚瓜烂熟，甚至连题目的印刷错误都记住了。结果考试时，老师稍微改了个数字，他就彻底懵了。 学生 B（泛化能力强）：他没有死记硬背，而是努力理解背后的公式和逻辑。不管题目怎么变，他都能举一反三。 在机器学习中，**过拟合（Overfitting）**就是模型变成了“学生 A”。它过度学习了训练数据中的噪声和细节，导致在面对新数据时表现糟糕。 为了解决这个问题，我们需要给模型立个规矩：“你可以学习规律，但不许把权重搞得太大！” 这就是权重衰减的核心思想。 💡 什么是权重衰减？ 1....

像搭积木一样学深度学习：手把手教你搭建第一个神经网络 ——新手也能看懂的深度学习入门 你好，欢迎来到深度学习的世界！如果你已经看过我之前写的关于softmax回归、线性回归的文章，那今天这篇《多层感知机的简洁实现》就是你迈向“真正神经网络”的第一步。别担心，我会用最通俗的语言、最少的数学公式，带你一步步理解并动手实现一个能识别手写数字的神经网络。 我们今天的目标是：用几行代码，搭建一个比softmax更强大的模型——多层感知机（MLP），并且让你明白每一行代码背后的“为什么”。 🌟...

新手必懂的过拟合与欠拟合 大家好！欢迎来到我的技术博客。 如果你刚开始接触机器学习，你可能会遇到一个令人困惑的现象：为什么我的模型在训练数据上表现得近乎完美，但一旦遇到新的、没见过的数据，准确率就暴跌？ 这就好比一个学生，平时做练习题全对，一到高考考场就大脑一片空白。在机器学习的世界里，我们把这种现象称为**“过拟合”**。今天，我们就来聊聊机器学习中最核心的问题之一：如何让模型真正学会“举一反三”，而不是死记硬背。 🎓 1. 我们的目标：发现规律，而不是背答案 首先，我们要明确一个核心概念：机器学习的目标是发现泛化的模式（Pattern）。 想象一下，我们要训练一个AI来预测患者的健康风险。我们手里有一堆病历数据（训练集）。 错误的做法（死记硬背）： AI记住了“鲍勃”这个人，他有痴呆症。当AI看到鲍勃的新病历时，它能答对。但如果来了一个新病人“汤姆”，AI就傻眼了，因为它只会背名字。 正确的做法（发现规律）：...

深度学习凭什么这么强？ 在当今人工智能浪潮中，深度神经网络几乎无处不在——从图像识别到自然语言处理，从医疗诊断到自动驾驶。但你是否曾好奇：为什么一个由简单计算单元堆叠而成的“黑箱”，竟能学会如此复杂的任务？ 答案并非魔法，而是建立在一系列深刻而优美的数学与计算原理之上。本文将带你深入理解深度学习强大表达能力的核心来源，尤其聚焦于最基础却最关键的模型之一：多层感知机（MLP）。 一、从线性模型的局限说起 回想一下线性回归或 softmax 回归：它们通过一个仿射变换（线性组合 +...

从线性回归到深度学习：揭开机器学习的“Hello World” 引言：机器学习的“Hello World” 在线性代数的矩阵运算与概率统计的正态分布假设中，线性回归如同一座桥梁，连接着经典统计学与现代深度学习。作为机器学习领域最基础的算法，它不仅是预测连续值（如房价、销售额）的核心工具，更是理解神经网络的起点。本文将从数学原理、优化方法到神经网络视角，带你深入剖析线性回归的本质。 一、线性回归的核心思想：寻找最优拟合 线性回归的本质是通过特征的线性组合来预测目标值。假设我们有一个包含 $d$ 个特征的样本 $x=(x_1,x_2,…,x_d)$，线性模型的预测函数可表示为： $f(x)=w^Tx+b$ 其中： $w=(w_1,w_2,…,w_d)$ 是权重向量，决定每个特征对预测结果的影响程度； $b$ 是偏置项（截距），表示所有特征为0时的基准预测值。 以房价预测为例：若房屋面积（$x_1$）和房龄（$x_2$）是特征，则模型可能学习到 $w_1=4.03$（面积每增加1平米，房价上涨4.03万）、$w_2=-1.5$（房龄每增加1年，房价下降1.5万），而...

从零开始手写 Softmax 回归：理解多分类背后的魔法 你有没有想过，像 Gmail 自动把邮件分到“社交”、“促销”或“论坛”这样的功能，背后是怎么实现的？或者手机相册如何自动识别照片里是“猫”还是“狗”？这些都属于多分类问题——而 Softmax 回归，正是解决这类问题最基础、最重要的工具之一。 今天，我们就抛开现成的深度学习框架（比如 torch.nn.Linear + CrossEntropyLoss），从零开始一行行实现一个完整的 Softmax 回归模型，用它来识别 Fashion-MNIST 数据集中的衣服图片（T恤、裤子、鞋子等10类）。这不仅是一次编程练习，更是一次深入理解机器学习核心机制的旅程。 🧩 为什么叫 “Softmax”？它和“硬预测”有什么关系？ 想象一下，模型对一张图片的判断是： T恤: 10% 裤子: 5% 套头衫: 80% 连衣裙: 3% 凉鞋: 2% 虽然模型内心有“偏好”，但最终我们必须给用户一个明确答案：“这是套头衫”。这种必须选一个类别的决策，叫做 硬预测（Hard Prediction）。 而 Softmax...

标量、向量、张量：深度学习中的“数据基石” 写在前面： 学习深度学习时，我们常听到“张量”这个词——PyTorch 的 tensor、TensorFlow 的 Tensor……但你是否曾疑惑： 标量是张量吗？向量和矩阵有什么本质区别？为什么神经网络总说“输入是一个张量”？ 本文将从数学本质出发，用直观语言厘清标量、向量、张量的区别与联系，并揭示它们在深度学习中的实际意义。 一、从“一个数”说起：什么是标量？ 标量（Scalar） 是最简单的数学对象——它只是一个数值，没有方向，也没有结构。 ✅ 数学定义：属于实数集或复数集的单个元素，如 $ a = 3.14 $，$ b = -2 $。 🌰 生活例子：室温 25°C、模型损失值 loss = 0.68、学习率 lr = 0.001。 🔍 关键特性：在坐标变换下保持不变。 比如你把坐标系旋转 90°，温度不会因此改变——它不依赖于“方向”。 在深度学习中，标量常作为超参数、标量输出或归约结果出现： 1loss = torch.mean((y_pred - y_true)**2) # loss...