《机器学习理论、方法及应用》研读(1)

机器学习的概念 学习：可以从不同角度对学习给出解释，但是都包含了知识获取和能力改善这两个主要方面。因此给学习如下一般的解释：学习是一个有特定目的的知识获取和能力增长过程，其内在行为是获得知识、积累经验发现规律等，其外部表现是改进性能、适应环境、实现自我完善等。 机器学习：机器学习是一门研究怎样用计算机来模拟或实现人类学习活动的学科，是计算机科学、数学、心理学、生物学和哲学等多门学科的交叉。 机器学习的发展历史 第一阶段，是20

《序列模型》之循环神经网络基础

RNN model 模型架构 BPTT 不同类型的RNN 梯度爆炸和梯度消失 出现原因 解决梯度爆炸 检测 梯度裁剪 截断BPTT 解决梯度消失 很难检测 如何解决 LSTM,GRU ReLU**函数 循环权重矩阵初始化方法 Skip connections 将权重矩阵分解Q−1ΛQQ−1ΛQ的话，其中ΛΛ是对角线上是特征值的对角矩阵，Q是特征值对应的特征向量组成的矩阵。 那么若干时间步的权重乘积可以表示为Q−

未定义变量 “caffe” 或类 “caffe.reset_all&#82

配置caffe后在matlab中测试报错。 未定义变量 "caffe" 或类 "caffe.reset_all"。   我的原因是：caffe在matlab接口处没配置好。 配置MatlabSupport 见caffe安装配置、matlab接口 - ostartech - 博客园 https://www.cnblogs.com/wxl845235800/p/10599265.html   重新配置。  

邱锡鹏 神经网络与深度学习课程【八】——卷积神经网络3和循环神经网络1

典型的卷积神经网络 LeNet-5  AlexNet  Inception网络  Inception网络  在卷积网络中，如何设置卷积层的卷积核大小是十分关键的问题 Inception网络尝试多种不同的卷积核 最后给堆叠起来  使用多层的小卷积核来代替大的卷积核，以减少计算量和参数量  残差网络 当时先用一个f(x)来拟合h(x) 但是发现恒等函数拟合效果不好 因此将目标函数拆分为两给部分 恒等函数和残差函数  残差单

初识RNN循环神经网络、Seq2Seq、Attention机制

Table of Contents 一、从单层网络谈起 二、N vs N（RNN经典结构） 三、N VS 1（类别判断） 四、1 VS N（生成模型） 五、N vs M（Seq2Seq模型） 六、Attention机制 一、从单层网络谈起 在学习RNN之前，首先要了解一下最基本的单层网络，它的结构如图： 输入是x，经过变换Wx+b和**函数f得到输出y。相信大家对这个已经非常熟悉了。 二、N vs N（RNN经典结构） 在实际

TensorFlow入门教程系列(二)：用神经网络拟合二次函数

通过TensorFlow用神经网络实现对二次函数的拟合。代码来自莫烦TensorFlow教程。 1 import tensorflow as tf 2 import numpy as np 3 4 def add_layer(inputs, in_size, out_size, activation_function=None): 5 Weights = tf.Variable(tf.random_normal

caffe的特殊层

每次写博客都带有一定的目的，在我看来这是一个记录的过程，所以尽量按照循序渐进的顺序逐步写，前面介绍的CNN层应该是非常常用的，这篇博客介绍一下某些特殊的layer，但是由于特殊的layer都带有一定的目的所以根据项目是可以修改和添加的，后续保持更新。 permute layer：改变blob数组的order，例如N×C×H×W变换为N×H×W×C，permute_param为order：0，order：2，order：3，orde

机器学习笔记5：决策树

目录 决策树公式 1.信息熵 2.条件熵 3.信息增益 4. 信息熵举例 5. 信息增益举例 决策树举例 表格 预设 手动计算 决策树特征的重要性 随机森林 集成学习 随机性体现在两点： 有两个优势： 决策树公式 1.信息熵 \[H(X)=-\sum_{i=1}^{n}P(X=i)log_{2}P(X=i) \] 2.条件熵 \[H(X|Y)=-\sum_{v\in values(

生成对抗网络GAN及其变体SGAN_WGAN_CGAN_DCGAN_InfoGAN_StackGAN

前面介绍了CNN（Convolutional Neural Network）、BNN（Binarizedneural network）、dual-learningNMT和DBN，以及深度学习优化算法BatchNormalization和Layer Normalization。感兴趣的同学可以添加微信公众号“深度学习与NLP”，回复关键词“CNN”、“BNN”、“dual”、“DBN”、BN和LN获取对应文章链接。今天介绍GAN及其一

人工智能和商业智能的区别

人工智能和商业智能都是应用于企业信息化的两种技术手段，但它们的工作内容、应用领域以及解决问题的方法有着明显的不同。 人工智能（AI） 人工智能是指通过模拟人类的智能行为，实现在某些领域的智能化处理的技术，包括但不限于计算机视觉、自然语言处理、机器学习等领域。对于企业而言，人工智能技术可以通过对数据进行分析和挖掘，帮助企业提高效率和效益，实现业务的优化和创新。 举例来说，人工智能可以用于企业的数据预测和决策，比如通过机器学习和深度神经网络来

【火炉炼AI】机器学习011-分类模型的评估：准确率，精确率，召回率，F1值

【火炉炼AI】机器学习011-分类模型的评估：准确率，精确率，召回率，F1值 (本文所使用的Python库和版本号: Python 3.5, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2 ) 在前面的（【火炉炼AI】机器学习004-岭回归器的构建和模型评估）中，讲解了回归模型的评估方法，主要有均方误差MSE， 解释方差分，R方得分等指标。 同样的，对于分类模型，也有很多评估指标来判断该分

《Deep Learning》学习5——循环神经网络梯度计算

很久以前看过循环神经网络的相关知识，但一直没有推梯度。这次仔细的看了一遍梯度推导。关于循环神经网络的前向理论，http://blog.csdn.net/juanjuan1314/article/details/52020607 这一篇译文已经有详细的写过了。这里就不赘述了。本文主要记录梯度推导过程，另外补充前向通道之前没有看过的理论。 1.前向补充 卷积神经网络的主要思想：稀疏交互、参数共享、等变表示。 而循环神经网络的主要思想：图

机器审核图片学习（2）安装pornDetector所用环境-python、scikit-learn、openc

1.安装python 下载安装即可：最好是C盘 路径：https://www.python.org/ 将Python的安装路径加到path环境变量中,Python/Scripts加到path环境变量 命令行输入Python -V查看python版本 启动python ： 命令行输入 python 2.安装pip 之前先暗转setuptools a) 下载路径：https://pypi.python.org/pypi/setupto

论文笔记——扩散卷积循环神经网络进行交通预测

这是在ICLR 2018学术会议上发表的文章，其研究课题为交通网络的时空预测。 1.交通网络预测的具体问题描述如下： 在给定交通路网中有N个传感器实时监控该点的交通状况；根据其拓扑关系交通网络可表为一个含N个顶点的带权有向图G=(V,E,W) W为N*N的带权邻接矩阵，权值为顶点间的“接近程度”。假设每个顶点所记录的交通状况可用一个P维的向量表示，那么整个路网在某一时刻的状况就可用一个N*P的矩阵表示。让X(t)代表时刻t时的交通状

AI图像免费生成！Stable Diffusion初学者强烈推荐！

什么是图像生成AI？ 图像生成AI，通俗点也叫AI绘画，指的是AI根据用户输入的文字在几秒到几十秒内自动生成原始图像的系统。目前，全球最火爆的图像生成AI有“Stable Diffusion”和“ Midjourney ”，它们已经作为颠覆设计界常识的存在而受到广泛关注。 对于那些无法自己随意创建图像的用户和每月付费从图像素材网站下载高质量图像的用户来说，使用AI绘画是一个非常大的优势。另一面，它也被认为是对创作图像和