ノート/ディープラーニング周辺で検索してみた

サイトトップ

ノート
データ処理
├マイニング
├バスケット解析
├バスケット解析をＲで
├図書貸出をＲで
├モデルクラスタリング
└
テキストマイニング
├テキストマイニングTM
├TMとシソーラス
├PubMedをTM
├TMとMeSH
├TMとNLTK
├テキストマイニングとtagger
├医薬品添付文書ＤＢ
├論文の処理1
├剽窃１
├Bing検索
└
分子進化学
├分子進化学
└
Pythonと論文アクセス
├Pythonを使ってみる
├PythonでPubMed
├Pythonで...続き
└
Macメモ
├Script

&ref(): File not found: "favicon_story.txt" at page "ノート/ノート";

自信ないので
├Winのバッチ
│├スクリプト入門
│├バッチファイル
│├SETコマンド
│├自分のメモ
│└
└

メニュー編集

最新の5件

ノート/ノート
訪問者　5390　　最終更新　2015-05-14 (木) 13:01:54

リンク　＞　ノート/トリーシミラリティ周辺で検索してみた

＜＜産総研一杉氏のDeep Learning関連用語集メモ〜便利〜＞＞

ディープラーニング周辺で検索してみた 2014-03-06 †

＜とりあえず、順不同です＞

人工知能学会誌にて連載解説「Deep Learning（深層学習）」　2013年5月号から2014年3月までの予定
それぞれの記事のオンラインコピーはありません。ハードコピーを図書館経由で（他の図書館から）入手可能だと思います。

• 連載解説「Deep Learning（深層学習）」にあたって（解説「Deep Learning（深層学習）」〔第1 回〕）　神嶌敏弘，松尾豊
• ディープボルツマンマシン入門　―ボルツマンマシン学習の基礎―（解説「Deep Learning（深層学習）」〔第1 回〕） 安田宗樹
• 大規模 Deep Learning (深層学習) の実現技術(<連載解説>Deep Learning(深層学習)[第3回]) 　岡野原大輔　学会誌 Vol. 28 No. 5 (2013 年9月)
• 画像認識のための深層学習（連載解説「Deep Learning（深層学習）」〔第4 回〕）　岡谷　貴之

2014-09-02追加　人工知能学会誌　Vol.29.No.4 (2014/07) 私のブックマーク　Deep Learning （中山浩太郎）

Deep Learning 輪読会 2013

Deep Learningのサイト

Deep Learningの軽い紹介 v1.0

深層学習入門（ダヌシカ・ボレガラ）

英文wikipedia　Deep Learning

これもある意味Deep Learning，Recurrent Neural Network Language Modelの話 [MLAC2013_9日目]

Deep Learning論文紹介「Deep learning via Hessian-free optimization

自然言語処理のためのDeep Learning at Gunosy

Deep Learning Tutorials　　 更に２つのチュートリアルをリンク

• brief introduction to Machine Learning for AI
• introduction to Deep Learning algorithms

（Deepではない２層ネット）　パターン認識と機械学習（PRML）まとめ、　　多層パーセプトロンによる関数近似、　多層パーセプトロンが収束する様子、　多層パーセプトロンで手書き数字認識、　多層パーセプトロンでMNISTの手書き数字認識

• その他、モノグラフとして 　　Learning Deep Architectures for AI

Conversational Speech Transcription Using Context-Dependent Deep Neural Network

Collobert & Weston 2008 A unified architecture for natural language processing: deep neural networks with multitask learning

Collobert, Wetson et al 2000 Natural Language Processing (almost) from Scratch Journal of Machine Learning Research 1 (2000) 1-48

上記の論文の勉強会スライドhttp://www.slideshare.net/alembert2000/deep-learning-6

Deep Learning via Semi-Supervised Embedding

New types of deep neural network learning for speech recognition and related applications: an overview

Deep Learning技術の今

Deep Learning

Deep Learningを実装する

実装ディープラーニング

learning Deep Architectures for AI (Bengio)

ニューラルネットの逆襲（岡野原）　ポインタ多数

尾形研　研究プロジェクト/ディープラーニング

ディープラーニングチュートリアルもしくは研究動向報告（岡谷@東北大）

一般向けのDeep Learning（岡野原）

PyConJP 2014　Deep Learning for Image Recognition in Python　DeCAFを推奨？？

PyConJP周辺の学習ネタ　（DeCafを含む）

• 検索結果
• Deep Learningと画像認識 　 〜歴史・理論・実践〜
• おまけ ガウス分布による単語と句の意味の分布的表現
• Development and Experiment of Deep Learning with Caffe and maf
• Caffeで手軽に画像分類
  • [2] Jeff Donahue, Yangqing Jia, Oriol Vinyals, Judy Hoffman, Ning Zhang, Eric Tzeng, Trevor Darrell, "DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition", arXiv:1310.1531
  • [3] Ross Girshick, Jeff Donahue, Trevor Darrell, Jitendra Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation", CVPR2014, PDF
• Deep Learning 〜使いこなすために知っておきたいこと〜　＜＜　たくさん整理されている
• YouTube Pythonとscikit-learnで始める機械学習
• 機械学習に役立つPythonライブラリ一覧
• UCB-ICSI-Vision-Group/decaf-release　GitHubのDeCafのソース

Deep Learning技術の今　(2014-01-30)　短いけれどざっとまとまっているように思う

＜Theano＞
Theano

Theano を使った Deep Learning の実装

Deep Learning実行ツール紹介　　スライド　

（自分用のメモ）

Theano 入門

Deep Learningによるビッグデータ解析〜手法やCUDAによる高速化

＜Ibisml＞
機械学習　

ディ−プラーニングの応用　

＜U-Montreal＞
A tutorial on Deep Learning

Introduction to Deep Learning Algorithms

Readings on Deep Networks

Deep Networks bibliography

＜？＞
（統数研公開セミナー）確率的トピックモデル

＜利用関係の記事＞
グーグルや百度が注力する「ディープ･ラーニング」とは何か?

【人工知能・AI】Googleが作ろうとしているのは人工知能を利用したさらに精度の高い検索エンジン　（NAVERまとめ）　

ディープラーニングがビッグデータ分析の進化を引き起こす　（みずほ情報総研）　

大脳皮質と deep learning の類似点と相違点　

Deep learning 用語集

Andy Ng Deep Learning with COTS HPC Systems

＜PyLearn2＞
pylearn2 Tutorial

pylearn2 Document and Installation

theano_rbm0.1ドキュメント（和訳？）

本文書ではPython用の数値計算ライブラリTheanoの使い方を説明します. 応用例としてRestricted Boltzmann Machineを実装します.

pylearn2 tutorial: Softmax regression

This ipython notebook will teach you the basics of how softmax regression works, and show you how to do softmax regression in pylearn2.

Theano+Pylearn2でDeep Learningのお勉強＆実験してみる

＜データなど＞

• CIFAR-10/100　32x32の様々な種類の多数の画像を集めたデータ。CIFAR-10は10種類×6000（5000教師＋1000テスト）画像（種類は、airplane,　automobile, bird, cat, deer, dog, frog, horse, ship, truck）、CIFAR-100は100種類×600画像。よく参照される。

• THE MNIST (Mixed National Institute of Standards and Technology) DATABASE of handwritten digits　70,000 （60,000教師＋ 10,000テスト）手書き文字画像データと共に、単純なものから様々なDeep Learningまで試した結果も載っている。

ついでに

• (University of Oxford) 102 Category Flower Dataset
• Stanford Dogs Dataset
• Caltech-UCSD Birds-200-2011
• 大規模画像データセット　曰く
  最近は画像認識・検索で用いられるデータセットも大規模化が進んでいます。 いくつか代表的なものや最近見つけたものをまとめてみます。 （ここでの目安は、教師つきデータは10万枚以上、教師なしデータは100万枚以上のもの）

＜おまけ２＞
ニューラルネットによる単語のベクトル表現の学習 〜 Twitterのデータでword2vecしてみた

T. Mikolov et al (2013): Efficient Estimation of Word Representations in Vector Space　Proceegins of Workshop at ICLR 2013　と
　　論文紹介「Efficient Estimation of Word Representations in Vector Space」、
　　Open Review

T. Mikolov et al (2013): Distributed Representations of Words and Phrases and their Compositionality　Proceedings of NIPS 2013

NIPS2013読み会: Distributed Representations of Words and Phrases and their Compositionality

Distibuted Representation of Sentences and Documentsの解説（西尾氏のスライド）

Turney, Pantel (2010) From Frequency to Meaning: Vector Space Models of Semantics

Turney (2011) Distributional Semantics Beyond Words: Supervised Learning of Analogy and Paraphrase

Word2Vec追加（2014-06-11）

• 2014-01-25付け記事　NIPS2013読み会でword2vec論文の紹介をしました　先週、 @sla さん主催のNIPS2013読み会で、word2vec論文（正確には続報）の紹介をしました。
  
  その中で引用されていた論文
  • Efficient Estimation of Word Representations in. Vector Space. Tomas Mikolov.
  • Hierarchical Probabilistic Neural Network Language Model. Frederic Morin.

Word2Vecの内部メカに関する追加記事 †

• [[ 論文紹介「Distributed Representations of Words and Phrases and their Compositionality」:http://qiita.com/nishio/items/3860fe198d65d173af6b]]

• A Closer Look at Skip-gram Modelling

• Wikipedia N-gram

• word2vec Explained: Deriving Mikolov et al.’s Negative-Sampling Word-Embedding Method

Statistical Semantics †

• Statistical Semantics入門〜分布仮説からWord2Vecｍまで（PFI海野氏）

• Distributional Semantic Models NAACL0-HTL 2010 Tutorial (Evert)

• Distributional Semantics (Baroni)

• How to make words with vectors: Phrase generation in distributional semantics (Dinu and Baroni)

• 上記　How to make words with vectors: Phrase generation in distributional semantics (Dinu and Baroni) の紹介スライド（by 海野氏）

手書き文字認識 †

PythonとDeep Learning　手書き文字認識　PythonからTheanoまで使っての実例（スライドショウ）

画像認識評価関連 †

• Pascal VOC 〜 The PASCAL Visual Object Classes Homepage

  The PASCAL VOC project:
  
  Provides standardised image data sets for object class recognition
  Provides a common set of tools for accessing the data sets and annotations
  Enables evaluation and comparison of different methods 
  Ran challenges evaluating performance on object class recognition (from 2005-2012,  now finished)
  Pascal VOC data sets
  
  Data sets from the VOC challenges are available through the challenge links below,
  and evalution of new methods on these data sets can be achieved through the  PASCAL
  VOC Evaluation Server.  The evaluation server will remain active even though the
  challenges have now finished.

• Large Scale Visual Recognition Challenge 2013 (ILSVRC2013) Workshop

  The purpose of the workshop is to present the methods and results of the Image Net 
  Large Scale Visual Recognition Challenge (ILSVRC) 2013 and the new Fine-Grained
  Challenge 2013. Challenge participants with the most successful and innovative
  entries will be invited to present.
  
  ILSVRC2013
  
  The ILSVRC2013 evaluates algorithms for object detection and image classification
  at large scale. This year there are three competitions:
  
  A PASCAL-style detection challenge on fully labeled data for 200 categories of objects,
  An image classification challenge with 1000 categories, and
  An image classification plus object localization challenge with 1000 categories.
  For more details, please visit ILSVRC 2013. Also, ILSVRC2013 results are now available.
  
  Fine-Grained ChallengeNEW
  
  The new Fine-Grained Challenge 2013 runs concurrently with ILSVRC2013 this year,
  and targets classification among categories which are both visually and
  semantically similar. For more details, please visit Fine-Grained Challenge 2013.

• ICCV-ILSVRC 2013　前回に引き続き、ImageNet Large-scale Visual Recognition Challenge (ILSVRC)についてリポートします。

• Deep Learningと画像認識　〜歴史・理論・実践〜　中山英樹先生のスライド

PythonによるDeep Learningの実装（Logistic Regression編）2013/01/06

PythonによるDeep Learningの実装（Restricted Boltzmann Machine編）2013/01/05

画像認識の初歩（Deep Learningに直接関係ないが、画像認識の2006〜7年頃の技術で、時に参照されるので知っておきたかった）　SIFT、SURF特徴量

Convolutional Neural NetworkのLeCunの論文(Proc. IEEE, Nov 1998)　Gradient-based Learning Applied to Document Recognition

画像認識のための深層学習−深層学習の応用とＣＮＮの基礎

Maxout (Goodfellow) Maxout Networks　活性化関数のsigmoid等の代りで、途中ノードを１段設けることで、任意関数が作れる

Maxout スライド　Maxout Networks

Krizhevsky ImageNet Classification with Deep Convolutional Neural Networks

Deep Learningで猫の品種識別　CaffeにてDeep CNN、ソースはGitHub。

(Caffe Tutorial) DYI Deep Learning for Vision: a Hands-On Tutorial with Caffe

CVPR 2014 (June 2014) Tutorial on Deep Learning For Vision

Andrej Karpathy blog　　Hacker's Guide to Neural Networks

追加（2015-02-20） †

• ibis2013岡谷「ディープラーニング」

• Restricted Boltzmann Machine及びDeep Belief Networkの基本的な動作原理を知る、"A Practical Guide to Training Redstricted Boltzmann Machine"(GE Hinton, 2012)で黒魔術(RBMの性能を引き出すコツ)を学ぶ

• RBMから考えるDeep Learning

• 機械学習を知識ゼロから学ぶpdf

• RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)

• Theano で Deep Learning <6>: 制約付きボルツマンマシン <前編>

• ゼロから始めるDeepLearning_その4_Restrictedボルツマンマシンとは

• DIY Deep Learning for Vision: a Hands-on Tutorial with Caffe

• Deep Learning Tutorials denoising AutoEncoder編

• DenoisingAutoEncoderを実装してみた(C++)

• How to use Caffe as a autoencoder by raw-image data type?

• Denoising Autoencodersにおける確率的勾配降下法（数式の導出）

• Extracting and Composing Robust Features with Denoising Autoencoders

• Deep Learning Tutorial (LISA lab, U Montreal)

• UFLDL Deep Learning Tutorial: This tutorial will teach you the main ideas of Unsupervised Feature Learning and Deep Learning.

• 実装ディープラーニング(Yurie Oka)

• deep learning 日本語チュートリアル資料など

• Learning Deep Architectures for AI (Shohei Ohsawa)

Word2Vec周辺 †

• Mikelov PhD slides Statistical Language Models Based on Neural Networks
• Mikelov PhD thesis STATISTICAL LANGUAGE MODELS BASED ON NEURAL NETWORKS
• Distributed representations of words and phrases and their compositionality
• Efficient estimation of word representaitons in vector space
• Distributed representation of semantics and documents
• Linguistic Regularities in continuous space word representations
• Extensions of recurrent neural network language model
• Distirubed representations (Hinton, 1984)
• A neural probabilistic languate model (Bengio, 2003)
• Deriving adjectiveal scales from continuous space word representations (Kim)
• A univied archibecture for natural language processing (Colobert and Weston)

Learning Pipeline (UC Berkeley) †

• 2015-03-13 Machine Learning Pipelines
• ML Pipelines

強化学習 †

• 2015-05-14 CaffeでDeep Q-Networkを実装して深層強化学習してみた

• 2015-05-14 ウィキペディア　強化学習
• 2015-05-14 強化学習の基礎
• 2015-05-14 強化学習
• 2015-05-14 強化学習入門