我们正在录制,好了.
只是再次提醒一下你，我们正在
录制课程，如果你
在前面不舒服
你不会被录制到录像里，
但你的声音可能被录制
好了
如你所见这屏幕被拉宽了
比我应该是，我不知道如何
要解决它，所以我们有一点
幸运的是你的视觉皮质非常好
拉伸不影响我们
这不算一个问题，好了,所以我们会
上课之前开始说一些管理方面的
事情
第一次作业将在今晚
或者明早发布,1月20交作业
所以你只有两个星期了
将写一个k近邻
分类器一个线性分类器和一个
二层神经网络和
你会写完整
的1层神经网络的反向传播算法 -
我们将实现所有内容
在接下来的两个星期和
警告
从去年开始，我们已经
修改了作业，所以
请不要完成2015年的作业
这是需要注意的事情
顺便说一下你的计算,我们将
使用Python和numpy，我们也是
提供网络终端
基本上这些虚拟机
在云端,如果你没有
有一个非常好的笔记本电脑你可以使用这个终端，等下我会的
详细说明一下
我只是想指出，
第一项任务，我们假设你会
比较熟悉Python并
你会写这些优化的numpy
表达式,你能熟练的操纵
这些矩阵和向量
，例如，如果你是
看到这段代码什么都看不懂,
请你看看
我们的网站上
Justin写的Python numpy教程
，写的非常好，所以去
通过这个，自己熟悉语法
，因为你会
看到你会写很多代码
像这样,我们在做的
这些所有的优化操作使得
它们足够快，可以在CPU上运行
在终端方面,
我们在作业里给你一个链接
，你访问一个网页
页面，你会看到这样的东西
,这是云中的虚拟机
已经建立了所有的
他们的作业所需的依赖已经安装好,
所有数据都是
已经在那里，所以你点击运行
一台机器,就会变成这样
这些
运行在你的浏览器，这是
基本上是一个在AWS基础上的瘦包装层
机器一个UI在这里，所以你有一个
iPad 2笔记本运行一个小终端和
你可以去使用它，这就像
有一台机器在云中，所以他们有
一些运行CPU的机器，他们也有
一些可以使用的GPU机器等等,
你通常必须付钱来使用
终端，但我们将发信用点
给你，所以你只用给我们发电子邮件
具体的ta会决定一下
你给TA发电子邮件要钱,
我们会给你钱，我们跟踪
我们向所有人发送了多少钱
所以你必须负责这些资金
这样也是一个选择
如果你喜欢，你可以使用它.
好，有什么问题吗？
如果你喜欢的话可以写
 
好了
我们开始讲课
现在,今天我们将讨论图像
分类，特别是我们会
从线性分类器开始，所以当时
我们谈论图像分类
基本的任务是我们有一定数量的
类别,说一只狗,猫,车
飞机等等，
由我们来决定都有哪些
我们需要把一张由非常大量的数字组成图片
我们必须将其转换为
这些标签之一，我们必须把它
进入这个类别之一
我们在图像分类问题上费的
大部分时间都在谈论这个
具体而言，如果你想做任何
计算机视觉中的其他任务,如
物体检测,图像说明
分割或其他任何事情
你会发现一旦你懂图像
分类以及如何完成
其他的东西都会变得比较容易一点
不论什么任务，你都会处于一个比较有利的位置
,
这对理解概念是非常有利
，我们将通过
一个具体的例子来简化
事情,那么，为什么这个问题这么困难？
给大家一个初步的认识
我们在这里讨论
语义差距,
这幅图片由巨量的数字网格组成
在电脑中就是这样表示的
基本上
大约是300 x 100 x 3的像素数组.
所以这是三维数组，这个3是指
三色通道红绿色.
所以当你放大一个图像的局部
基本上是一大堆
在0到255之间的数字网格
这就是我们必须与这些工作
数字表示亮度
这些数字表示在图片的每一个特定位置上
三个颜色通道各自的亮度值
图像分类之所以困难的原因
就是
想一想
我们必须处理
数百万的这种格式的数字,
必须将事物分类,比如将猫分类.
这其中有很多显而易见的困难,
例如相机
可以围绕这只猫和它旋转
可以放大和缩小,旋转
平移,
不同相机可以有不同焦点属性
想想看亮度会发生什么样的变化
在你真的进行这些变动时
数字矩阵将会变得完全不同
所有的模式也将改变
我们
需要能鲁棒地搞定所有这些（变化）
也有很多其他挑战
比如光照
实际上有两只长猫
几乎看不到
另一只猫,有一只猫得到很好的光照
另一只没有
不过你还是可以辨认出两只猫
再次回忆一下,
亮度在网格中是用数字表示的
它们会随着光照的不同而改变
,
可能的照明方案，我们可以
世界上所有的照明状况
我们都要能够稳定地处理,这里还有变形的问题
很多不同的分类,我们想要识别的物体可能有很多诡异的造型
所有这些对象的安排
我们能认识猫有
非常不同的姿势
顺便说，这幻灯片全都是干货
包含了很多数学知识
这是我写它的过程中唯一感觉到有乐趣的时候
所以这就是为什么我放一些猫
的图片，所以我们必须稳定的处理
这些变,你还可以
认识到它有一只猫和所有这些
图像，需要能够认出这些都是猫
无论是什么样的造型,还有遮挡的问题
可能看不到完整的对象，但是你
仍然认识到这是窗帘背后的猫
,
这是一个在水瓶后面的猫
里面还有一只猫
虽然你只能看到（属于这个类别的）东西
的很小的一点点
有背景杂乱的问题
所以事情可以融入环境
我们必须具有鲁棒性，
还有同类多样性的问题
其实猫有非常多的种类
所以他们
可以看起来很不一样
然而你得应对所有这些东西，所以我只是希望你
了解任务的复杂性
当你考虑其中的任何一个
单独的问题都很难，但是当
需要做一个产品，应对
所有这些不同的事情和问题
我们的算法能解决
所有这一切
并能运行其实是非常令人吃惊的
实际上它不仅能运行，而且它
运行得很好,接近人类的
准确度.我们可以识别出
数千类像这样的东西,我们
可以在几十毫秒内做到这一点,
这些前沿技术
就是你将要学到的东西
什么是图像分类器?
我们正在使用这个3d像素值的数组
我们想要
产生一个类标签，我想要
你知道到明显没有
实际代码的来实现
这些分类器,没有
简单的算法,
比如你们之前
你的计算机科学课程
写冒泡排序或者别的什么
任何实现特定的任务
搜索例如在Google上的猫和
您可以枚举它们并列出它们
并进行分析，但在这里
没有用于检测猫🐱的算法
在这些所有变化里,
很难想像如何
写这样一个算法
和将要执行的操作顺序.
一个任意图像执行检测
这不是说在计算机视觉早期
人们没有尝试
试图建立一个明确的目标
，我想打电话
比如说猫就是……
也许我们会想要找
小小的耳朵,我们将会
检测所有的边缘并很好地追踪
边缘,将其不同边缘的形状
和交汇点分类,并创建
这样的库，我们会
尝试找到这样的处理，如果我们
会看到任何你喜欢的东西.
我们将检测一只猫，或者看到任何
一些特别的纹理来
检测到猫，所以你可以来
建立一些规则，但问题是
我告诉你，我现在想要
识别一艘船或一个人
然后你必须回去使用
绘图板，你必须分析
船是什么
什么样的图形和边缘的组合能构成船.
在分类上,完全不能实现这样的处理
,所以我们
在这个班上采用的方法
更有效果,
我们使用的数据驱动方式
和机器学习框架
需要指出
在早期他们
不能奢侈地使用数据,
那时候人们只有比如灰度的图像
灰度图像的分辨率非常低
你有5个图像，然后你去试图识别图像
这显然不能识别的
，但随着
的互联网大量的有效数据,我可以
在Google上搜索例如猫,
我能得到很多任何地方的猫的图片,
知道这些图片是猫是基于图片的
周围的文字在他们的网页和
所以给我们很多数据的方式
这看起来像是我们有的
一个训练阶段，你给我很多
猫的图片的训练集,你
告诉我他们是猫，你
给我很多其他类别例子
今天我训练一个模型
一个模型是一个类，我可以使用
该模型实际上分类新的测试
数据，所以当我给了一个新的形象我可以
看看我的训练数据，我可以做
一些与此基础的东西只是一个
模式匹配和统计等
就像我们这样第一个简单的例子
在这个框架内工作考虑
最近邻分类器的方式
最近邻分类器的作品是
这实际上我们被赋予了这个巨大的
训练确定了我们在训练中所做的工作
时间是我们会记录所有的
训练数据，所以我有所有的训练
数据,我只是把它放在这里，我记得
现在当你给我一个害虫图像
我们会做的是比较该测试
图像到每一个图像
我们在培训数据中看到，我们会
只是转移标签，所以我会
只需看看我们所有的图像
在我经历的时候处理具体情况
这个我想要完整的
可能，所以我们将使用一个具体的
一些名为CFR 10数据集的情况
CFR 10数据集有10个标签
标签有5万个训练
您可以访问的图像，然后
有一个10万张图像的测试集
我们要评估的好多了
分类器正在工作，这些
他们只是图像很小
小玩具数据集32×32
缩略图像最接近的方式
我们相邻的分类器会奏效
取所有给出的培训数据
给我们几千张图像吧
测试时间假设我们有这10个
这里不同的例子都是测试
图像沿着第一列这里什么
我们会做的是我们会查找最近的
邻居在训练集中的东西
这是最相似的每一个
那些图像独立，所以在那里你
看到排列的图像列表
最相似的是在训练数据中
任何一个这十个二的每一个
那些测试图像在那里，所以在
第一排我们看到有一辆卡车,我
认为是一个测试图像，有相当的
一些与之相似的图像
我们将看到我们如何定义
相似之处，但你可以看到
第一个检索结果实际上是一个
马不是一辆卡车，那是因为
只是蓝天的干扰
这是令人兴奋的，所以你可以看到
这不太可能工作
那么现在我们如何定义距离呢？
度量我们如何做到这一点
比较有几种方法之一
最简单的方法可能是曼哈顿
距离如此l1距离或a
曼哈顿距离我会用两个
术语可以互换地简单地说
你是否有你的测试图像？
有兴趣分类和
我们想要的一个单一的培训形象
比较这个图像基本上是什么
我们会做的是我们将元素比较
所有的像素值，所以我们将形成
绝对值差异然后我们
只需添加所有它，所以我们只是
看每一个像素的位置
我们正在减去它，看看什么
差异在于每一个
空间位置加起来和
这就是我们的相似之处
图像是456不同,好，所以我们会
如果我们有相同的图像，则为零
这里只是为了向你显示代码
这样会是这样的
全面实施最近
邻居分类器和numpy和Python
在那里我填满了实际的身体
我谈到的两种方法
基本上我们在这里做什么训练
时间，因为我们给了这个数据集X
图像和Y通常表示
标签，所以我们给图像和标签
我们所做的只是分配给班级
实例方法，所以我们只记得
数据在预测中没有做任何事情
时间虽然我们在这里做的是
我们正在获得新的测试图像X
我不会全力以赴
细节，但你可以看到有一个
用于循环遍历每个单个测试图像
独立地我们得到了
距离每一个训练图像
并注意到这只是一个
一行向量化的python代码，所以在a
我们比较的单行代码
测试图像到每一个训练
数据库中的图像，我们是
在以前的计算这个距离
在单行滑动好吧，这是一个
矢量化代码我们没有必要扩展
把所有这四个循环都出来
涉及加工这个距离
那么我们就计算出实例
最接近，所以我们得到最小的索引
这就是培训的指标
作为最低距离的例子
然后我们只是预测这个
形成任何最近的标签
好的，所以这里有一个问题
最近邻分类器的项
它的速度如何依赖于
训练数据大小,我会发生什么
增加数据会怎么样？速度较慢
好的，这其实是事实上的
线性较慢，因为如果我有
我只需要比较
每一个训练的例子
独立地，它是线性减慢
你会像现在一样注意到
我们通过这些课程
实际上倒是因为我们
真的很关心最实用
我们关心应用程序
但这些测试时间的表现
分类器意味着我们想要这个
分类器在测试中效率非常高
时间，所以有这个权衡
我们之间真的有多少计算
放在训练的方法和多少
计算我们放入一个测试方法a
最近邻在训练上即时
那么它是一个昂贵的测试，我们将会
看到即将到来，实际上是翻转
这完全相反
我们会看到我们做了大量的
在火车上计算我们将训练
卷积神经网络
测试时间表现会超级有效率
实际上它将是不变的
每次测试的计算量
形象我们会做不断的量
不管你有没有计算
百万亿或万亿的训练
图像我想拥有万亿
万亿培训图像无论如何
我们会做大的训练数据集
一个常数计算来分类任何
单一的测试例子就是这样
现在很好，现在我会的
喜欢指出有办法
加速最近邻分类器
这些近似最近
邻近方法计划为例
人们经常使用的图书馆
实践，让你加快这个
最近相邻匹配的过程
这只是一个旁注，所以让我们走吧
回到最近的设计
我们看到我们的邻居分类器
我定义了这个距离
任意选择给你看
曼哈顿距离比较
绝对值的差异
实际上有很多方法可以
制定距离度量等等
有很多不同的选择
我们怎么做这个快速的皮尔森
另一个人的另一选择
喜欢在实践中使用是我们所说的
欧几里德或l2距离
而是总结出差异
这些差异的平方和
在图像之间，所以这个选择什么
发生了有人按下一个按钮
在那里在后面好，谢谢你
这个选择我们究竟怎么样
计算它是一个离散的距离
我们控制的选择
我们称之为超参数
它是如何设置它不是很明显
这是我们必须决定的超参数
后来究竟如何设置这个不知何故
另一种超参数
我会在最近的情况下谈论
邻居分类器是我们的时候
概括我们最近的邻居
调用K最近邻分类器
在一个关键的最近邻分类器
正在检索每个测试图像
单一最近的训练样例将会
实际上检索几个最近的
示例
我们会让他们做多数票
在课堂上实际分类
每个测试例如说五
我们将检索最近的邻居
五个最相似的图像在
培训数据并进行多数投票
的标签
这里是一个简单的二维数据集
以说明我们所拥有的这一点
在2d和这里的三类数据集
我正在画我们所说的决定
这个最近邻的地区
这里分类器是什么？
我们正在显示培训数据
在那里，我们正在着色整个2d
飞机什么类最近
邻居分类器将分配每一个
单点假设你假设你有
这里的一个测试例子在这里
只是说这本来是这样的
分类为蓝色类
最近邻居你可以举个例子
请注意，这里有一点
那是蓝色的绿点
集群，它有自己的小区域
的影响力
分了很多考点
它是绿色的，因为如果有任何一点下降
那么那个绿点就会有
当你当时是最近的邻居
移动到K的较高数字
五个最近邻分类器什么
你发现是边界开始了
平滑了这是一个很好的效果
哪里甚至有一点这样
随机地作为噪声和异常值
蓝色的群集其实不是
压缩预测太多
因为我们总是撤退五个
最近的邻居，所以他们得到
在实践中压倒绿点
你会发现通常K最近
邻居分类器提供更好的更好
在测试时间现在，但再次表现
K的选择又是一个超级
参数正确，所以我会回来
这有点只是给你一个
这将是什么样的例子
这里我检索到十个最相似的
他们被他们排名的例子
距离，我实际上会做一个
多数投票通过这些培训
每个测试分类的例子
这里的例子好，所以让我们做一点
这里的问题只是为了乐趣考虑
最近的准确度是多少？
相邻分类器对训练数据
当我们使用欧几里得距离的时候
假设我们的测试集是正确的
培训数据，我们正在努力寻找
其准确度是多少呢
我们经常会得到正确的答案
100％好为什么
好的，是的，是的，是的
正确，所以我们总是找到一个训练
这个例子恰好在那个测试之上
其距离为零，然后是
真的会转移好的
如果我们使用男士帽子怎么办？
距离代替曼哈顿距离
不使用一些使用某些方块
绝对的差异值将会
这只是一个棘手的问题
这将是一件好事
所以我们保持关注
最接近的钥匙的准确度是多少？
相邻分类器在训练数据中
那么说K是五是一百
百分比不一定正确
因为基本上你周围的点
即使你最好也能压倒你
其实是一个例子
不同的班级好，所以我们有
在这里讨论了两种不同的选择
高参数我们有距离
公制是一个很高的参数，这个K
我们不知道如何设置它应该是
一二三十等等，所以我们不是
确切地确定如何设置这些事实上
他们有问题依赖你会发现
你找不到一贯最好的
这些超参数的选择
有些应用程序有些情况可能会看
可能比其他工作更好
应用程序，所以我们不太确定
如何设置这个，所以这里是一个想法我们
必须基本上尝试很多
不同的帽子底线，所以我要做
我要拿我的火车数据吗
那么我只是想尝试很多
所以我的测试数据不一样
我试过K等于二三
四五六二百我试过了
不同的距离度量和
无论什么工作最好的是我会的
采取这样工作很正确
好或很好，为什么不会
这不是一个好主意
好的，基本上
所以基本上是这样测试数据是你的
代理您的泛化
算法你应该不应该测试
测试数据其实你应该忘记了
你曾经有过测试数据
给你的数据集一直放在一边
测试数据假装你没有
这告诉你你的好多
算法推广到不可见的数据
积分，这很重要，因为
你正在尝试开发你的算法
然后你最终希望
您可以在某些设置中部署它
要了解一下究竟如何
我期望这能奏效
练习正确，所以你会看到
例如有时你可以执行
在三位一体非常好，但不是
一般来说，很好地测试数据
你过度适应了很多
这是229的一个要求
对于这个课程，所以你应该是相当的
熟悉这个大多数
范围a  - 这更像是一个
对你来说，基本上是这个测试
数据使用它非常谨慎地忘记
你有它，而是我们做的是
我们将培训数据分成什么
我们称之为折叠，所以我们分开说我们使用
一个五重验证，所以我们使用20％
训练数据作为想象测试集
数据，然后我们只训练一部分
它和我们测试我们测试出来
选择高参数就可以了
验证集，所以我要训练
我的四折，尝试所有不同
案例和所有不同的系统
指标和任何其他如果你是
使用近似最近邻
你有很多其他选择你尝试
看看最好的是什么
验证数据如果你有感觉
不舒服，因为你很少
培训数据点人也
有时候你会使用交叉验证
实际上迭代了你的测试选择
或验证折叠在这些选择
所以我先用四个二四
我的训练和尝试在五，然后
我循环选择验证
折叠所有五个选择和我
看看最有效的方法
可能的选择我的测试折叠和
那么我只是采取任何最好的工作
在所有可能的情况下，好的
这被称为交叉验证
设置交叉验证，所以在实践中
这样看起来就像说我们是交叉的
为最近邻居验证K
我们正在尝试分类器
不同的K值，这是我们的
表现在五个选择之中
折叠，所以你可以看到每一个
单K我们有五个数据点
那么这是如此高的准确度
好，我正在画一条线
平均而且我也显示了酒吧
标准偏差，所以我们在这里看到
是表演者
在这些验证之上
当你上去，但在某个时候它折叠
开始衰变，所以这个特别的
数据集似乎k等于七
是最好的选择，所以这就是我会的
使用我会为所有我的超级
参数也为此度量等
在我做我的交叉验证我找到了
最好的高参数我设置他们我修复
然后我们评估一次
测试集和我得到的任何数字
这就是我报告的准确性
这个数据集上的分类器王
那就是那篇文章
你的最终报告如何
这就是最终的概括
你做了什么的结果好的
关于这一点的问题我会很小心
与这个术语，但基本上是
关于分配的统计
的标签中的这些数据点
你的数据空间等等
基本上很难说像你这样
而这张照片你大概看了
发生了什么事情，你会得到更多的东西
在更多的情况下，笨蛋，它只是
取决于你的数据集是如何笨重的
这真的是它归结到的地方
它如何如何blobby或多么具体
我知道这是一个非常手的波浪答案
但这大概是什么呢
对这样不同的数据集会有
不同的笨蛋是啊
偏斜的数据集是什么呢？
指的是这样的技术
我得到的时候可能会出现的问题
进入现在，但我们会解决这个问题
以后在课上可能哦呀好
根本没有，因为你的超级
参数只是你不是的选择
确定如何设置和不同
将需要不同的数据集
不同的选择，所以你需要看到
实际上当你尝试的时候最好的是什么
不同的算法，因为你不是
确定你最好的工作是什么
数据的选择你的算法是
也有一种像高参数那样
你只是不知道你有什么工作
没有不同的方法会给你
不同的泛化边界他们
会看起来不一样，还有一些数据集
具有不同于其他的结构
有些事情比别人更好
不得不只是训练它尝试没关系
酷我只是想指出K
最近的邻居基本没有
使用这个，所以我只是通过这个
只是为了让你习惯这种做法
真的这是如何工作与训练只是
分裂等原因是这样的
从来没有使用过，因为首先是这样
非常低效，但第二
图像上的距离度量
他们行动的非常高的尺寸对象
在非常不自然的非直观的方式和
所以在这里我所做的是我们正在服用
一个原始的图像，我改变它
三种不同的方式，但所有这三种
这里有不同的图像
在一个l2中与这个完全相同的距离
欧几里德的感觉，所以只是想想
这个这里的一点略有转移
左边
它基本上是略微修剪而已
这里的距离是完全不同的
因为这些像素不匹配
完全是全部介绍
这些错误，你得到了
这个距离稍微变黑了
所以你得到一个小三角洲
空间位置和这一个
不变，所以你得到零距离
跨越各地的错误
那里的那些职位就是这样
取出关键的图像
它不是最近的最近的
邻居分类器将无法进行
真的说出这些之间的区别
因为它是基于这些设置的
距离不是真的很好
在这种情况下，非常不直观
事情发生时，你试图扔
距离非常高的尺寸
部分原因是我们不使用的对象
这个好，所以总结到目前为止我们是
看图像分类是一个
具体情况，我们会加入两个
不同的设置稍后在课堂上
我介绍了一个最近的邻居
分类器和拥有的想法
不同的数据分割和我们
有这些超级参数，我们需要
选择我们使用交叉验证
这通常是大多数时候的人
不要...
所以使用它们的整个交叉验证
有一个验证集和他们
尝试验证集合
在超级工作方面效果最好
参数，一旦你得到最好的
高参数你评估一个
时间在测试集好了
所以我要进入线性
分类有任何问题
指出休息很好，所以我们要去
看一下线性分类这个
是我们开始工作的一个点
对卷积神经网络
我们会举行一系列的讲座
从线性分类开始
将建立一个完整的卷积
网络分析图像现在我只是
喜欢说我们已经动员了
课堂昨天从一个任务具体
视图，所以这个类是计算机视觉
我们对你感兴趣的课程知道
给机器看另一种方式
激励这个班会从一个
在这个意义上，以模型为基础的观点
我们给你们，我们是
教大家深入学习
神经网络
这些是你精彩的算法
可以应用于许多不同的数据域
不仅仅是视觉，所以特别是
最近几年我们看到神经
网络不仅可以看到这是什么
你会在这个课上学到很多东西
但他们也可以听到他们被使用
相当多的一个演讲识别现在
所以当你和你的手机说话的时候
现在在神经网络他们也可以
做机器翻译，所以你在这里
喂神经网络一套字
一个一个的英语和神经
网络产生翻译
法语或其他任何目标语言
你也可以执行控制
所以我们看到你自己的网络
在机器人中应用和操纵
操纵和玩Atari游戏
所以这些神经网络学习如何
玩Atari游戏只要看到原始的
我们看到的屏幕像素
神经网络在一个非常成功的
各种各样的域名甚至超过我
放在这里，我们不确定
这将会带我们，然后我会
也想说我们正在探索
神经网络思考的方式
这是非常手的波浪只是一厢情愿
思考，但有一些提示
也许他们现在可以做到这一点
神经网络非常好，因为
只有有趣的模块化的东西
当我想到工作时玩
与神经网络我这样做
我在这里想到我的照片
有一个神经网络从业者和
她正在建造一个什么样子
大约10层卷积神经
网络在这一点上
所以这些都是非常有趣的
考虑玩最好的方法
神经网络就像乐高块
你会看到我们正在构建这些
小功能块这些乐高块
我们可以堆叠在一起创建
整个架构和他们非常
很容易相互交谈，所以我们可以
只需创建这些模块并堆叠它们
一起玩，很容易
一个我认为是这样的例子
是我自己的图片字幕工作
大概一年前，这里的任务就是这样
你拍摄一张照片，你正在尝试
得到神经网络产生一个
句子描述的图像所以
左上角的例子是测试
设定神经网络会说的结果
这是一个黑衬衫的男人
解释吉他或施工
工作人员在橙色安全西工作
在路上等等神经
网络可以看图像并创建
这个描述每一幅图像
当你去详细的这个
模拟我们正在采取的这种工作方式
我们的卷积神经网络
知道这里有两个模块
图像字幕系统图
我们正在卷曲的模型
我们知道的神经网络可以看到和
我们正在采取一个经常性的神经网络
我们知道的是非常好的建模
在这种情况下的序列
我们将描述图像的话
然后就好像我们在玩
我们把这两件作品带给我们
把它们粘在一起是对应的
这两个之间的箭头在这里
模块和这些网络学会说话
在彼此和在过程中
试图描述这些图像
梯度将流经
卷积网络和全面
系统将自动调整
更好地看到图像为了
最后描述他们，所以这样
整个系统将一起工作
所以我们将致力于这个模式
实际上会在课堂上这样覆盖
你将完全理解
这部分和这部分在大约
中途穿过课程大致和
你会看到这个图像的标题
模特儿工作，但这只是
我们真正的动机
建立起来，这些都是真的
好的模型可以正常工作，但是
现在回到CFR 10并在你的
分类再次只是提醒你
我们正在使用此数据集50,000
图像10标签和我们要去的方式
接近你的分类是从
我们称之为参数方法的关键
我们刚刚讨论的最近邻居
现在是我们的一个例子
调用非参数方法
我们没有参数
要优化这个区别
将在几分钟内变得清晰
参数方法我们在做什么
我们在想什么
构建一个需要的功能
形象并产生你的分数
课堂就是我们想要做的
我们想要一个形象，我们希望
找出十个中的哪一个
课程就是我们想写下来的
该函数需要一个表达式
形象，并给你这十个数字
但表达不仅仅是一个
该图像的功能，但批判性
也将是这些的功能
酒精有时也有参数
称重，所以真的是一个
功能从3072个数字
这个图像组成了十个数字
这就是我们正在做的，我们正在定义一个
功能，我们将通过几个
这个功能的选择在这里
第一种情况我们会看线性
功能，然后我们将其扩展到
得到神经网络，然后我们会
扩展到获得卷积神经
网络，但直观地，我们是什么
我们想要的就是建立起来
当我们通过我们键入这个图像
功能我们想要十个数字
对应十分的分数
我们想要这个数字的课程
在猫类中对应高
所有其他数字都要低
我们将无法选择X
那X是我们的形象，但是
我们会选择W，所以我们会
以任何我们想要的方式自由设定
我们都想要设置它
这个功能给了我们正确的
我们每个图像的答案
训练数据好的，大概是
方式将会朝着这样的方向前进
假设我们使用最简单
功能可以说是最简单的一个
线性分类在这里，所以X是我们的
在这种情况下，我正在做的是我的形象
采取这个阵列这个形象
那只猫，我伸出了一切
该图像中的像素变成巨人
列向量使X有一个
3072数字的列向量可以和
所以如果你知道你的矩阵向量
你应该这样做的操作
那个班的先决条件
只是一个矩阵乘法
应该基本熟悉
我们正在拿X这是3072
我们正在尝试的三维列向量
得到十个数字，它是线性的
功能，所以你可以后退和
弄清楚这个W的尺寸
基本上是三千七百二十
所以有3万个大约7,200个数字
这进入W，这就是我们所拥有的
控制这是我们所需要的
调整并找到最适合我们的工作
data
所以这些是这个参数
特别的情况是我要离开的是
还有一个附加的B
有时候你有偏见这些
偏倚又是10个以上的参数
我们也必须找到那些通常在那里
你的线性分类器你有一个W和
一个B我们必须找到什么工作
最好的，这个B不是一个功能
形象只是独立的权重
其中任何一个的可能性有多大
图像可能是回到你的
问题如果你有一个非常不平衡的话
数据集，所以也许你主要
猫，但有些狗或类似的东西
那么你可能会期望那只猫
猫类的偏见可能是
略高于默认值
分类器想预测猫
除非有说服力
否则和图像中的东西
会来坐，否则好吧
使我更加具体我只是喜欢
打破它，但当然我不能
用3072显式地显示它
数字如此想象我们的输入图像
只有四个像素，想象四个
像素在列X中展开
并设想我们有三个班
所以红色的绿色和蓝色的类或猫的狗
船级好，所以在这种情况下W会
只是一个3乘4矩阵，我们是什么
在这里做，我们正在努力计算
这张图片的分数X就这样
矩阵乘法在这里
给我们F的输出
当然我们得到三个三分
不同的类，所以这是一个随机的
这里设置W只是随机权重
我们进行矩阵
乘法得到一些分数
特别是你可以看到这一点
这个W的设置不是很好
因为这个W的我们的猫的设置
得分负96比任何少得多
其他类的权利就是这样的
没有正确分类为此
培训形象，这不是不是一个
非常好的分类器，所以我们想要
改变我们要使用的不同的双倍
一个不同的W，以便得分来了
比其他人高出了，但是
我们必须这样做
整个训练集的例子，但是
有一件事要注意到这一点
基本上是这个功能是在
并行评估十个
分类器真的有十个
独立分类器在一定程度上
这里和
这些分类器中的每一个就像说
猫分类器只是第一行
的W这里正确，所以第一行和
第一偏见给你猫的分数
狗分类器是第二排
W和船分数船分类器
第三排W基本上是这个W矩阵
拥有所有这些不同的分类器
堆叠在一起，他们都在
点形成图像给你
这个课程好，所以这里有一个问题
对于你，线性分类器做什么
用英语看的功能表格
它正在采取这些图像是这样做
有趣的操作在那里我们怎么做
真的用英语解释什么
这是在做这个功能
形式真的很好啊
好的，所以你正在想它
X的空间域是高的
尺寸数据点和W是真的
把飞机穿过这个高点
二维数据点我会回来
那个解释有点什么别的
方式可以当你想到这个好吧
所以随着你的思考更多和
像一个模板一样的方式在哪里
W的这几行中的每一个
有效地就像这个模板那样
我们是带有图像的点产品
点产品真的是一种喜欢的方式
匹配看看什么对齐好什么
其他方式啊
是的，所以你指的是那个
w基本上有能力照顾
或不关心不同的空间
在图像中的位置是因为
我们可以做的是一些空间
如果我们有0个权重，那么X中的位置
分类器会不会在意
在图像的一部分是什么，所以如果我有
这里的这部分的0个权重
没有什么影响，但对其他一些
部分图像您有积极的或
负重的事情发生了
发生在那里，这将会发生
有助于这个核心任何其他方式
描述它是啊，所以这样承担
是的，所以你也可以考虑一下
就像一个很好的解释，就像
从图像空间到标签的映射
太好了，我也做了
对不起，对不起，谢谢你这么好
问题所以这个形象是三个
我们拥有的二维数组
这些渠道你只是伸展它
所以所有你只是伸出来
无论你喜欢说什么，你堆叠
红色的绿色和蓝色的部分边
这是一种你伸展的方式
无论你喜欢什么，但在一个
一致的方式跨越所有的图像你
找出一个序列化的方法
你想要读取像素的方式
你把它们拉伸到第四列
对于像素图像是好的好点
好的，让我们说我们有四个
像素灰度图像只是一个
可怕的例子谢谢你是对的
谢谢，我不想混淆
人特别是因为某人
我后来指出我说
这个红色的绿色和蓝色的数字
颜色通道，但这里是红色
绿色和蓝色对应于类
这是我的一个完整的错误
所以我道歉不是色彩渠道
与cabochon无关，只是
三个不同颜色的班对不起
关于那好好
是的，谢谢你，所以你的问题是什么
如果我的图像有不同的大小和我的
数据集可能有些可能很小
我们如何做到这一点呢
成为一个单一尺寸的列向量
答案是你总是总是调整大小
图像基本上是相同的尺寸我们
不容易处理不同大小
图像或我们可以，我们可以进入
在后来，但最简单的事情
想想只是调整每一个单位
图像精确到相同的尺寸是最简单的
事情，因为我们要确保所有
他们是可比的
相同的东西，以便我们可以做到这些
列，我们可以分析统计
在图像中对齐的图案
空间是事实上最先进的
方法他们实际工作的方式
这是他们总是在广场工作
图像如果你有一个很长的图像
这些方法实际上会更糟
因为他们中许多人是他们所做的
只是压制它，这是我们仍然做的
工作相当好，所以如果你有
很长的像全景图像和你
试着把它放在某个地方
在线服务机会和我的工作
更糟的是因为他们可能会在他们
通过他们会的通信
使它成为一个广场因为这些评论
总是在广场上工作，你可以使他们
只有这样才能做任何事情
练习通常发生什么其他事情
是的，你是这样的问题
说出W分类器是啊
是的，所以每个图像都被包裹
这个设置没有任何其他任何人
想解释这个还是不错的
伟大的另一种方式实际上把它
一种我没听到的方式，但也是这样
一个比较好看的方式
这是基本上每一个单一的成绩
只是所有像素的加权和
图像中的值和这些权重
我们最终会选择那些
但它只是一个巨大的加权总和
真的，它正在做的就是计数
它的颜色正在计数颜色
在不同的空间位置，所以一个
以一种方式提出来的方式
我们如何解释这个W的条款
分类器是具体的
它有点像一个模板
我所做的是这样匹配的东西
我训练了一个分类器，我没有
告诉你如何做，但我
训练我的体重矩阵W，然后我会
我回来了一秒钟
取出每一个人
我们已经学到了每一行的行
分类器，我正在重塑它
一个图像，使我可以可视化它可以
所以我原来只是一个巨人
一排3072个数字我重塑了
图像来消除我的失真
完成，然后我有所有这些模板
所以例如你在这里看到的
那架飞机在这里就像一个蓝色的斑点
你看到蓝色斑点的原因是，如果
你看着这个颜色的渠道
飞机模板你会看到在
蓝色通道你会有很多
正因为那些积极的
如果他们看到蓝色值，那么重量
他们与他们互动，他们得到一个
对贡献的贡献很少这样
平面分类器真的只是计数
在图像中的蓝色东西的数量
跨越所有这些空间位置和
如果你看着红色和绿色
通道为您的平面分类机
可能会找到0个值或甚至为负数
价值是正确的，所以这是飞机
分类器，然后我们有分类器
对于所有这些其他图像，所以说一只青蛙
你几乎可以看到模板
青蛙在那里，我们正在寻找一些
绿色的东西 - 是绿色的东西
这里的正重量然后我们看到
一些棕色的海星东西在一边
对，所以如果放在一个图像
鸭子被骗了，你会得到一个很高的
这里要注意的一点是这一点
看这辆汽车分类器就是这样
不是很喜欢汽车的漂亮模板
这里的马看起来有点奇怪
0}
为什么车看起来很奇怪，为什么呢
那马看起来好奇啊
基本上就是这样
马有些面临左边的数据
一些是正确的，这个分类器
真的不是很强大的分类器
并且必须结合它所具有的两种模式
同时做这两件事情
你最终得到这只双头的马
在那里，你实际上可以说只是
从这个结果可能更多
在最右边的左边马
因为它更强大也有汽车
对，我们可以有45度的汽车
向左或向右或向前倾斜，这样
这里的分类器是最佳的方法
混合就像合并所有这些
由于模式成为单一模板
这就是我们强迫它做一次
我们其实正在做一些简单的事情
神经网络他们没有这个
他们实际上可能会有下降
原则上可以有一个模板
这辆车或那辆车车结合在一起
在他们之间，我们给他们更多的权力
实际上进行这个班
假期更正确，但现在是
受这个问题的约束是什么
你是指我认为是什么
我们称数据增加，以便进行培训
时间我们不会只是呃
准确的图像将会使他们震动
拉伸他们歪斜他们，我们会
要管道，那么那就要去了
成为平静的重要组成部分
工作得很好，所以我们会做的
做大量的东西
我们每一个训练样例
要幻想许多其他的训练
轮班和轮转的例子
这样做的好点了
这些模板链取平均值
X值我看到你想明确地
设置模板和设置方式
模板是平均值
跨越所有的图像，并成为
你的模板
是的，所以这个分类器发现它们
会做类似的事我会猜测
它会工作更糟，因为线性
分类器当你看着它
数学形式真的是什么
优化它
我不认为他会有最低限度
她所描述的只是一个平均值
图像，但会像一个
直觉体面的启发式可能
在初始化中设置权重
补充
是的，有什么有关的
是的，但我们甚至可以这样做
LD可能是你所指的
有几件事情还行
Yep
使用灰度图像，因为
假设我们有一辆像这样的车
淡黄色，但我们的模板图像
是的，这是很好的
所以有汽车有很多
不同的颜色，这里就是这样
拿起红色说这个
那里可能有更多的红色车
数据集，它可能不起作用
黄色其实黄色的车可能是青蛙
对于这个分类器，所以这个东西
只是没有能力做所有的
那就是为什么它不是强大的
足够的，它不能捕捉所有这些
不同的模式正确等等
只会在数字之后
更多的红色汽车就是这样的地方
这是灰度我不知道是否
会更好的工作，我会回来的
实际上在一点点好的设备
更高的是，所以你可能期待像我一样
提到不平衡的数据集什么
你可能不会完全是你的意思
可能会期待如果你有很多猫
猫的偏见会更高
因为这个类这个这个分类器
只是用来喷出大量的
数字基于损失，但我们必须
进入损失函数才能看到
这将如何发挥，所以很难
说现在好吧
线性的另一个解释
分类器也是别人
指出我想指出
你可以非常想像这些图像吗？
高维度点在3072年
三维空间在3072年
像素空间维度像素空间
每个图像都是一个点，这些是线性的
分类器正在描述这些
跨越3070的梯度
二维空间这些分数是
这个梯度的负数为正
沿着一些线性方向跨越
空间等等，例如这里为一辆车
分类器我正在拿W的第一排
这是汽车类和这里的线
表示了零级设置
换句话说就是这样的分类器
线路分类器具有零分
所以汽车分类器有零和
然后箭头指示
沿着它将颜色的方向
空间越来越多的卡尔纳斯得分
类似的我们有这三种不同
在这个例子中，他们会分类
都符合这些梯度
特别设定，基本上都是这样
试图进去你有这些
他们在这个空间和这些
线性分类器我们初始化它们
随机的这辆车分类器会
然后将其级别设置为随机
你会看到我们实际做什么
优化我们优化这个意志
开始转身，它会尝试
隔离汽车类，并保持像这样
看这些分类器真的很有趣
因为它将会旋转它会
赶上汽车课，它会的
开始摇摆，它会尝试喜欢
把所有的汽车分开
所有的非车都真的很有趣
看这是另一种方式
解释某人的成长
好的，所以这里给你一个问题
所有这些解释将是什么
一个非常硬的测试集给你多久
你会期待分类器的作品
工作真的不是很好
线性分类器对不起并发
圈子，所以你的班级是你的地方
课上就是哦，我明白你是在
好的，所以你正在描述这个
解释空间如果你的图像
在一个类中会是一个blob然后
你的其他类似于周围，所以我是
不知道究竟会是什么样子
喜欢，如果你真的可视化它在
像素空间，但是你是对的
案例线性分类器将无法进行
分开那些，但是呢
像图片的外观一样
就像你会看这个数据集
图像你清楚地说是线性的
分类器可能不会很好
好在这里哦，是的
关于平均的图片和
这让我想起如果你这样做
普通最小二乘法你是什么
基本上做的是最大限度地拒绝
所有的X都在你的行空间上
如果你看看训练X的滑板车
并训练X的摩托车
要有效地产生同样的喜好
质心就是这样，好不好啊
一个，但也许是负面的图像
所以你想要一个班，我们说你采取
所有的飞机，然后你想要
切换我怎么看哦，我看到我看到了
你设置你指出，如果我
拿起飞机班的形象
我有一个训练有素的分类器和我
做一个负面的负面形象
你仍然会看到那个分类器
边缘，你会说好吧
一架飞机显然是由形状而已
所有颜色的kirlyam分类器
是完全错误的，所以是线性的
分类器会讨厌那架飞机
是的，例子好采取相同的确切
您的图像是您翻译还是缩放
不同的你移动在不同的地方
或者旋转每个班你这样我
看，所以你说这将需要一个
事情就像狗一样，那么那么什么
你是指我们说你有狗
一类是中心的狗，
一类是右边的狗，
你认为那会是我的事
即使是相同的图片也是如此
确切的是，这是一个问题
如果是这样，一个班在中心有狗
一只狗就在右边，但是
否则白色背景或某事
像这样会是一个问题
不会是一个问题
为什么不是问题，这是一个仿射
转换您拥有的图像
像犬和狗的图像像我一样工作
说对了，所以你说可能是一个
更困难的事情会是如果你
有狗有些有些滑稽
根据类的方式为什么不会这样
如果你真的可以成为一个问题
线性分类器在做某事
中心和右边的东西
实际上并不了解
的空间布局实际上是罚款
权利会比较容易
因为你会有正重
在中间但哦，先生，对不起，好的
也许我误解了我很抱歉还好
另一个可以是啊，所以我是
认为你们中有很多人是这样的
理解的重点是呃
是的，所以这真的是真的
做得很好，我在这里跳过
这真的是这样做的
递增计数
空间定位任何混乱
实际上这真的很难
如果你有一个，回到你的点
灰度数据集的方式将会
工作不是线性线性很好
如果分类器可能不会工作
你拿了十个C，你做了一个
沉闷的灰度，然后做正确的C
放屁分类，但灰度
图像可能工作真的
可怕的，因为你不能接过来
你必须接受的颜色
纹理和现在找到细节和你
因为他们不能本地化他们
可以是任意的位置你不能
一直算数，所以是的
那会是一场灾难
示例将是不同的纹理如果
你说的都是你的纹理
蓝色，但这些纹理可能是
不同的类型，那么这不是真的
喜欢说这些纹理可以
不同的类型，但他们可以
空间不变，那将是
可怕的可怕的线性分类器
好的好，所以只是提醒你我
我们几乎想到了这一点
线性函数所以具体情况
我们正在看的
测试图像我们得到一些分数
出来，只是期待我们在哪里
现在就是一些WS的设置
我们得到了所有这些成绩
图像等等
我们看到的这张图像中的W设置
猫的得分是2.9，但有
一些课程我得到了更高的分数
像狗，所以这不是很好的权利
但有些课程有负分数
这对于这个图像是有好处的，所以这是
这是一种中等结果
这个图像的重量，在这里我们看到
那车是正确的
有最高的分数是
好的，所以这个W的设置工作
在这个图像上，我们看到了
青蛙课是一个非常低的分数，所以W
在那个图像上工作非常好，所以在哪里
我们现在要走了，我们要去了
定义我们所说的损失函数
这个损失函数将量化这一点
直觉我们认为好还是
现在坏了，我们只是眼球
这些数字说什么好
有什么坏的我们必须写实际
下来一个数学表达式
告诉我们这个W的这个设置
跨越我们的测试集是12.5坏或12
无论什么坏或1.0坏因为
那么一旦我们定义了它
具体来说，我们将要看
对于最小化损失的WS
将以这样的方式设置
你有一个非常低的数字的损失像
说甚至零，那么你是正确的
分类所有的图像，但如果你
一切都有很大的损失
搞砸了，W都不好
我们要定义一个损失函数
然后我们要去寻找
不同的WS实际上做得很好
所有这一切都是大致的
我们将会在什么情况下定义一个损失
功能是量化一种方式
量化每个W对我们的数据有多糟糕
设置损失函数是一个函数
你的整个训练集和你的
我们没有控制权
训练集我们掌握了
重量然后我们要看看
优化过程我们怎么做
有效地找到一组权重W
所有的图像和
给我们一个很低的损失，然后
我们最终会做的是我们去
我们来看看这个表达方式
我们看到的线性分类器
我们要开始干预
函数f在这里，所以我们要扩展
F不要那么简单
表达，但我们要做到
稍微复杂一点，我们会得到一个神经元
网络出来，然后我们会做
稍微复杂一些，我们会得到一个
卷积净健康，但其他
整个框架将保持不变
我们一直在计算
得分这个功能形式将会
改变，但我们将从形象到
一些分数啊通过一些
功能，我们将使它更多
随着时间的推移，然后我们是
识别一些最后的功能，我们是
看什么重量什么参数
给我们很低的损失，那就是
安装程序将与之一起工作
转发下一课，我们将研究一下
损失功能，然后我们会去我们的
神经网络在对抗，所以我猜
这是我最后一张幻灯片，所以我可以拿起来
任何最后的问题，然后抱歉对不起
这是你没听到的
为什么我们在做迭代的方法
优化有时在
您可以添加的优化设置
这些迭代方法基本上是
这将是永远的工作方式
开始一个随机的W这样就可以了
给我们一些损失，然后我们不会
有一个发现的过程
最好的一套重量我们做的有一个
过程反复略
改善重量，这样我们就可以看到
看看最后一个功能，我们会找到
梯度和参数空间
我们会先行，所以我们知道
怎么做是我们如何稍微改善
一套重量我们不知道该怎么办
购买最好套装的问题
的权重立即我们不知道如何
做这个，特别是当这些
功能非常复杂，比如说
整个公司是一个巨大的景观
只是一个非常棘手的问题
你的问题我不确定可以
谢谢你是怎么处理的
颜色问题是啊哦，所以这么好，所以这里
我们看到了线性分类器
汽车是这个红色模板为一辆车a
神经网络基本上是我们要做的
很好，我们可以把它看成是
堆叠线性分类器到一些
所以最终会做的是什么
它将拥有所有这些小模板
真正为红色车黄色汽车绿色
汽车不管这种方式还是车
那样或那样会有一个
神经元被分配到检测每一个
的这些不同的模式，然后他们
将在它们之间组合
第二层，所以基本上你会有
这些神经元寻找不同的
车型，然后是下一个神经元
就好像我只是拿走了
你们中有些人和我正在做
一个或操作你，然后我们可以
检测所有模式的汽车
他们所有的职位，如果这样做
感觉是大致如何工作的
好吧，真棒
