deeplearning

ENVs

• 资源目录
  • 资源列表
  • 学习计划
• TensorFlow Env
  • 1.TensorFlow 支持的硬件平台
  • 2.TensorFlow 系统要求
  • 3.安装 TensorFlow 2
• Keras Env
  • 1. 安装后端引擎
  • 2. 安装可选依赖项
  • 3. 安装 Keras
  • 4. 配置 Keras 后端
• PyTorch Env
  • 1.PyTorch 支持的硬件平台
  • 2.PyTorch 系统要求
  • 3.macOS 安装 PyTorch
  • 4.Ubuntu 安装 Pytorch
  • 5.Building from source
  • 6.Verification

DNN

• DNN
  • 1. 机器学习与深度学习
  • 2.感知机
  • 3.深度前馈网络
  • 4.基于梯度的学习
  • 5.隐藏单元
• 反向传播算法
  • 1.计算图(computational graph)
  • 2.链式法则(chain rule)
  • 3.反向传播
  • 4 梯度爆炸与梯度消失
• 优化算法
  • 1.神经网络模型学习算法优化
  • 2.神经网络优化中的挑战
  • 3.梯度算法
• 正则化
  • 1.神经网络过拟合
  • 2.神经网络正则化
• 参数初始化
  • 1.参数初始化
  • 2.Batch Normalization
  • 3.超参数的调优
• 损失函数
  • 1.损失函数
  • 2.均方误差损失函数(Mean Squared Error, MSE)
  • 3.交叉熵误差损失函数(Cross Entropy Error, CEE)
  • 4.极大似然学习条件分布
  • 5.学习条件统计量
  • 6.mini-batch学习
  • 7.mini-batch交叉熵
• 评价指标
  • 1.常用评价指标
  • 2.评价指标的使用

CNN

• CNN
  • 1.CNN 发展历史
  • 2. CNN 结构、原理
  • 3 CNN 图像学习过程
• CNN-图像分类
  • 1.CNN 图像分类 —— 从 LeNet5 到 ResNet
  • 2.LeNet5
  • 3.AlexNet
  • 4.ZFNet
  • 5.VGG-Net(VGG16, VGG19)
  • 6.GoogLeNet
  • 7.ResNet
• CNN-图像分割
  • 1.test
  • 2.test2
• CNN-目标检测
  • 1.从 R-CNN 到 yoloi
  • 2.两部走(two-stage)算法系列
  • 3.一步走(one-stage)算法系列
• CNN-迁移学习
  • 1.test
  • 2.test2

RNN

• RNN
  • 1.序列模型 RNN
  • 2. RNN 示例
  • 3.参考文章
• RNN-LSTM
  • 1.LSTM-让RNN具备更好的记忆机制
  • 2.LSTM 变形
  • 3.参考文章
• RNN-GRU
  • 1.GRU
• RNN-Attention-Augmented
  • 1.注意力机制原理
  • 2.test
• RNN–语音识别
  • 1.语音数据的表示方式
• RNN–The Unreasonable Effectiveness of RNN
  • 1.RNN

GEN

• GAN
  • 5.GAN 生成式对抗网络介绍
• VAE
  • 深度生成模型
  • 1.AutoEncoder 自编码器
• LSTM 生成文本
  • 1.生成式循环网络简史
  • 2.如何生成序列数据
  • 3.采样策略的重要性
  • 4.实现字符级的 LSTM 文本生成
  • 5.总结
• 神经风格迁移
  • test 1
  • test 1
• DeepDream
  • test 1
  • test 2

GNN

• GNN
  • 1.test1
  • 2.test2

NLP

• NLP
  • 1.什么是 NLP?
  • 2.NLP 相关知识的构成
  • 3.NLP 的三个层面
  • 4.NLP 常用语料库
• NLP–分词
  • 1.中文分词
  • 2.外文分词
  • 3.jieba 分词
  • 4.其他分词
• NLP–词性标注
  • 1.词性标注介绍
  • 2.词性标注规范
  • 3.jieba 分词中的词性标注
• NLP–命名实体识别
  • 1.命名实体识别介绍
  • 2.基于条件随机场的命名实体识别
  • 3.示例
• NLP–关键词提取
  • 1.关键词提取介绍
  • 2.关键词提取算法–TF-IDF 算法
  • 3.关键词提取算法–TextRank 算法
  • 4.关键词提取算法–LSA, LSI, LDA 算法
  • 5.关键词提取示例
• NLP–句法分析
  • 1.句法分析介绍
  • 2.句法分析的数据集与评测方法
• NLP–文本向量化
  • 1.概述
  • 2.为词向量模型建立词汇表
  • 2.离散表示
  • 3.分布式表示
  • 4.参考文献
• NLP–指代消解
  • 1.test
  • 2.test
• NLP-情感分析
  • 1.情感分析简介
  • 2.情感分析应用
  • 3.情感分析的基本方法
  • 4.情感分析示例
• NLP–纠错
  • 1.test
  • 2.test
• NLP-问答系统
  • 1.NLP 问答系统简介
  • 2.基于关键词匹配的 NLP 问答系统
  • 3.基于相似度匹配的 NLP 问答系统
• NLP–机器学习
  • 1.test
  • 2.test
• NLP–文本分类
  • 1.文本分类任务简介
  • 2.朴素贝叶斯分类模型
  • 2.使用 fastText 构建用户评论模型
• NLP–文本聚类
  • 1.无监督学习
  • 2.文本聚类
• NLP–BERT
  • 1.BERT 介绍
  • 2.BERT 预训练模型库
  • 3.bert-serving-server 搭建 BERT 词向量服务
• NLP–Attention
  • 1.test1
  • 2.test2
• NLP–Transformer
  • 1.Transformer 简介
  • 2.
• NLP–知识图谱
  • 1.知识图谱简介
  • 2.知识图谱数据获取
  • 3.知识图谱实体识别和关系抽取
  • 4.知识图谱数据存储
  • 5.知识图谱应用
• NLP–Neo4j
  • 1.Neo4j 介绍
  • 2.Neo4j CQL
  • 3.py2neo
• NLP Pipeline
  • 1.构建 NLP Pipeline
  • 2.构建 Python NLP Pipeline
  • 3.工具
• NLP–Solr 搜索引擎
  • 1.Solr 简介
  • 2.全文检索的原理
  • 3.Solr 简介和部署
  • 4.Solr 后台管理描述
  • 5.Solr 管理索引库
• NLP–特征提取
  • 1.Bag of Words
  • 2.Sparsity
  • 3.Common Vectorizer usage
  • 4.TF-IDF term weighting
  • 5.Decoding text files
• NLP–seq2seq
  • 1.encoder-decoder、seq2seq 简介
  • 2.编码器
  • 3.解码器
  • 4.训练模型
  • 5.总结
  • 6.参考文献

Network

• ResNet-V1
  • Deep Residual Learning for Image Recognition
• LeNet-5
  • Gradient-based learning applied to document recognition
  • Reference

GPU/TPU

• GPU 硬件
  • 1.概述
  • 2.GPU 选择
  • 3.整机配置
  • 4.总结
• GPU 软件
  • 1.安装 Ubuntu 20.04
  • 2.安装 Nvidia 显卡驱动
  • 3.安装 CUDA
  • 4.安装 cuDNN
  • 5.安装 Conda 环境
  • 6.安装 Nvidia-Docker
  • 7.测试
• TPU 硬件
  • 1.概述
  • 2.test
• TPU 软件
  • 1.概述
  • 2.test

TensorFlow

• TensorFlow Datasets
  • 1.TensorFlow Datasets 库
  • 2.TensorFlow Dataset 介绍
  • 3.TensorFlow Dataset 预处理数据
  • 5.数据输入流水线
• TensorFlow TensorBoard
  • 1.实时查看参数变化情况
  • 2.查看 Graph 和 Profile 信息
• TensorFlow Estimator
  • 1.预创建的Estimator
  • 2.自定义的Estimator
  • 3.从 Keras 模型创建 Estimator
• TensorFlow SaveModel
  • 1.tf.train.Checkpoint: 变量的保存与恢复
  • 2.使用 SaveModel 完整导出模型
  • 3.Keras 自有的模型导出格式
• TensorFLow Serving
  • 1.TensorFLow Serving 安装
  • 2.TensorFLow Serving 模型部署
  • 3.在客户端调用以 TensorFLow Serving 部署的模型
• TensorFlow Keras Pipeline
  • 1.Keras Sequential/Functional API 模式建立模型
  • 2.Keras Model–compile、fit、evaluate
  • 3.自定义层、损失函数、评估指标
• TensorFlow Performance
  • 1.使用 tf.function 提升性能
  • 2.分析 TenforFlow 的性能
  • 3.图优化
  • 4.混合精度
• Keras
  • 1.Keras 介绍
  • 2.Keras 入门
• Keras Pipeline
  • 介绍
• Keras 后端
  • 1.什么是 Keras 后端？
  • 2.从一个后端切换到另一个后端
  • 3.keras.json 详细配置
  • 4.使用抽象 Keras 后端编写新代码
  • 5.后端函数
  • 6.Resets graph identifiers
• Keras 数据预处理
  • 内容
  • 1.Sequence Preprocessing
  • 2.Text Preprocessing
  • 3.Image Preprocessing
• keras Sequential model
  • 1.什么时候使用 Sequential 模型
  • 2.构建一个 Sequential 模型
  • 4.Sequential 模型的特征提取功能
  • 5.Sequential 模型实现 Transfer images
• keras Functional API
  • 入门
  • 1.Training, Evaluation, Inference
  • 2.Save, Serialize
  • 3.模型网络层共享
  • 4.自定义层扩展 API
  • 5.Sequential API、Functional API、Model subclassing API 混搭
• Keras Subclasssing
  • 1.Layer class
  • 2.add_loss method
  • 3.add_metric method
  • 4.call method
  • 5.Model class
  • 6.The Functional API
• Keras 网络层
  • 1.Keras Layers 共有的方法:
  • 2.Keras Layers
  • 3.Keras Layers 配置
• Keras 模型
  • 1.Keras 模型共有的方法和属性
  • 2.Model subclassing
  • 3.Keras Sequential 模型的使用文档
  • 4.Keras 函数式API 的使用文档
  • 5.回调函数-Callbacks
  • 6.Applications
• Keras Callbacks
  • 1.常用损失函数
  • 2.损失函数的使用
• Keras Utilities
  • 1.模型可视化(Model plotting utilities)
  • 2.序列化工具(Serialization utilities)
  • 3.Python & Numpy utilities
  • 4.Backend utilities
• Keras 模型编译
  • 1. Losses
  • 2. Metrics
  • 3. Optimizers
• Keras 训练
  • test
  • test
• Keras 损失函数
  • 1.常用损失函数
  • 2.损失函数的使用——compile() & fit()
  • 3.损失函数的使用——单独使用
  • 4.创建自定义损失函数
  • 5. add_loss() API
• Keras 评价指标
  • 1.常用评价指标
  • 2.评价指标的使用——compile() & fit()
  • 3.评价指标的使用——单独使用
  • 4.创建自定义评价指标
  • 5. add_metric() API
• Keras 优化器
  • 1.常用 Keras 优化器
  • 2.Keras 优化器的使用
  • 3.Keras 优化算法核心 API
• Keras Applications
  • 1.Keras 介绍
  • 2.目前可用的 App
• Python Deeplearning
  • 1.多输入模型
  • 2.多输出模型
  • 3.经验总结

PyTorch

• PyTorch Cheat Sheet
  • 1.Imports
  • 2.Tensors
  • 3.Deep Learning
  • 4.Data Utilities
• pytorch tensor
  • 内容概要
  • 1.pytorch tensor 的创建
  • 2.pytorch tensor 的操作
  • 3.pytorch cuda tensor
• PyTorch nn
  • 定义神经网络
• PyTorch 自动求导
  • 4.PyTorch 动态图、自动求导
• PyTorch 数据读取与预处理
  • PyTorch 数据
  • PyTorch 数据读取
  • 构造自定义的 Datasets, Dataloaders, Transforms
  • 依赖库
  • 读取数据
  • Dataset class
• PyTorch 数据并行
  • 让模型跑在 GPU 上
  • 让模型跑在多个 GPU 上
• PyTorch 损失函数
  • test 1
  • test 2
• PyTorch 模型保存
  • 1.PyTorch 保存模型
• PyTorch 模型
  • PyTorch 模型的创建
  • PyTorch 模型容器
• PyTorch 权重初始化
  • 1.权重初始化方法
  • 2.损失函数

utils

• 算法工程师技能列表
  • 1.岗位行业
  • 2.算法栈
  • 3.技术栈
• 音频数据处理 Scipy
  • 1.test
  • 2.test 2
• 音频数据处理 librosa
  • 1.test
  • 2.test 2
• NLP–opencc
  • 1.Python opencc 安装
  • 2.opencc 使用
• NLP–Gensim
  • 1.Gensim 简介
  • 2.Gensim 安装
  • 3.Gensim 使用
  • 4.Gensim 常用 API
• NLP–spaCy
  • 1.spaCy 安装
  • 2.testing
• NLP–fastText
  • 1.fastText 简介
  • 2.使用 fastText 进行文本分类
  • 3.使用 fastText 进行词表示
• 图像数据处理–Pillow
  • 1.Pillow 概览
  • 2.Pillow 安装
  • 3.Pillow 核心
  • 4.Pillow API
• 图像数据处理–OpenCV
  • 1.OpenCV 概览
  • 2.OpenCV 安装
  • 3.OpenCV 核心
• NVIDIA Xavier
  • 1.简介
  • 2.研究