论文笔记系列：

• 论文笔记 —— RNN-Tracking
• 论文笔记 —— SRCNN
• 论文笔记 —— Dense Caption

技术日志系列：

• 写给女票的 Git 指南
• Python 机器学习基础
• 在 C# 中使用 C++

注：本文的主要内容是在已知样本的先验概率和类条件分布的情况下，寻找最优的决策规则的问题，并不涉及样本类条件密度的估计。

统计决策方法的思想是对数据总体建立概率模型，通过估计数据属于不同类别的后验概率来进行分类决策。

贝叶斯决策是统计决策方法的一种，它通过贝叶斯公式将后验概率比较的问题转化为类条件概率（密度）比较的问题，后者更容易估计。

最小错误率贝叶斯决策

目标函数

最小化总错误率（所有独立同分布样本上错误概率的期望）：

$$
\min P(e) = \int P(e|x)p(x) dx
$$

1 线性变换及其运算

线性变换就是对线性运算（加法、数乘）封闭的 $V \rightarrow V$ 变换。

1.1 基本概念

1. 变换（算子）、象、原象，线性变换，旋转、微分、积分都是线性变换；
2. 值域 $R(T)$、核 $N(T)$，$\text{dim} R(T) + \text{dim} N(T) = n$，象子空间、核子空间，秩、亏（零度），值域等价于基的象构成的子空间；
3. 单位变换、零变换，变换的加法、数乘、负变换、乘法、逆变换、可逆，变换的幂与多项式、多项式乘法可交换。

线性空间

线性空间是定义在数域 K 上满足某些运算规律的向量集合，而数域本身也是一种特殊的集合。所以我们先讲集合，再讲数域，最后讲线性空间。

相关概念：

1. 集合：两种表示方式（列举、性质），并集、交集、和集（元素和的可能值集合）；
2. 数域：一种数集，元素的和、差、积、商仍在数集中，称为数域，如有理数域、复数域、实数域；
3. 映射：象、原象，到自身的映射（变换），映射的乘积、结合律；
4. 线性空间：一个集合，元素满足加法结合律、交换律，数乘（数域 K 上的数）分配率、结合律，存在零元素、负元素，乘 1 不变，称为数域 K 上的线性空间（向量空间），元素称为向量，如实线性空间、复线性空间、矩阵空间；
   阅读全文 »

1 行列式

1.1 相关概念

1. 逆序，逆序数，偶排列，奇排列；
2. 性质：行列对等、交换行反号、行乘 k 提出、元素和可以展开、某行加上 k 倍另一行值不变；
3. 余子式、代数余子式、按行/列展开公式、另一行乘余子式为零、拉普拉斯展开式、范德蒙展开式；
4. 性质：乘法公式（及平方公式）、伴随阵、逆矩阵行列式、行列式与特征值的关系、相似矩阵行列式。

本文是 Python 机器学习基础系列文章的第二篇——Numpy 篇。剩余部分可在如下链接找到：

[1] Python 机器学习基础（一）——Python 篇
[2] Python 机器学习基础（二）——Numpy 篇

Numpy

Numpy 是 Python 的一种开源数值计算扩展包，它可以用于存储和处理大型矩阵，比 Python 自带的嵌套列表结构要高效得多。

本文是 Python 机器学习基础系列文章的第一篇——Python 篇。剩余部分可在如下链接找到：

[1] Python 机器学习基础（一）——Python 篇
[2] Python 机器学习基础（二）——Numpy 篇

Python

任何一门编程语言，入门学习的基础知识包括：数据类型、控制流、函数、模块化、类，以及一些常用的零碎语法。Python 亦不例外。

Mac 下配置 OpenCV 最稳妥的办法是在 Github 上下载最新的 OpenCV 源码，自行编译安装。在 Github 上因为 Mac 更新、Homebrew 版本太旧等原因造成的官网代码无法编译的 issues 会被第一时间修复。

不要用 git clone https://github.com/opencv/opencv.git，这样会下载所有历史提交。直接进网址 https://github.com/opencv/opencv 下载 zip 文件（Download ZIP），然后 cd 到解压后的文件夹，执行：

Q: 为什么要使用 ReLU 而不是 Sigmoid 作为激活函数？

A: 当构建深层的神经网络时，Sigmoid 函数会放大梯度的过小或过大，在反向传播过程中造成梯度的膨胀或消失的情况，导致训练过程不收敛。而 ReLU 采用正则化的线性单元，梯度为常数，可以很容易收敛。

Q: 为什么要使用 Dropout？

A: