Leading NLP Ninja

Leading NLP Ninja

lnlp.ninja
Leading NLP Ninjaでは最近のNLP (Natural Language Processing)に関連する論文をjojonkiが短く紹介します.気になったこと・質問・間違い等,フィードバック頂けると嬉しいです. 紹介する論文は,基本的に下記の論文まとめから取り上げる予定です. https://github.com/jojonki/arXivNotes/issues Support this podcast: https://anchor.fm/lnlp-ninja/support


ep52(ACL): A Two-Stage Masked LM Method for Term Set Expansion
May 16 • 31 min
Masked Language Modelingを活用して語彙拡張を行うTerm Set Expansionの手法を解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/409 サポーターの方も募集中です. https://www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep51 (arXiv): XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization
Apr 18 • 27 min
CMUとGoogle Researchによる40言語9タスクによるベンチマークXTREMEを解説しました.Cross-lingualな評価にとても良さそうです. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/400 サポーターも募集中です. https://www.patreon.com/jojonki —- Support this podcast:…
ep50 (ICLR): ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
Mar 14 • 28 min
ICLR 2020より,Replaced Token Detectionタスクによる事前学習によってGLUEとSQuADでSOTAを獲得したStanford x Googleのモデルを解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/391 サポーターも募集中です. https://www.patreon.com/jojonki —- Support this podcast:…
ep49 (ICASSP): Looking Enhances Listening: Recovering Missing Speech Using Images
Feb 21 • 22 min
ICASSP 2020より,ビジュアル情報を利用し,マスクされた音声信号を復元できるマルチモーダルASRを解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/384 サポーターも募集中です. https://www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep48 (AAAI): Emu: Enhancing Multilingual Sentence Embeddings with Semantic Specialization
Feb 8 • 38 min
AAAI 2020より,多言語文埋め込みフレームワークEMUを解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/371 サポーターも募集中です. https://www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep47 (ICLR): ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
Jan 12 • 25 min
ICLR 2020より,factorized embeddingとパラメタ共有によるパラメタ削減及び文順序予測タスクを採用したALBERTを解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/348 サポーターも募集中です. https://www.patreon.com/jojonki —- Support this podcast:…
ep46: FreeLB: Enhanced Adversarial Training for Language Understanding
Jan 1 • 24 min
ICLR 2020より,BERT/RoBERTaの埋め込み空間に,敵対摂動を入れるVirtual Adversarial Trainingによって,モデル性能を改善するFreeLBという手法を解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/347 サポーターも募集中です. https://www.patreon.com/jojonki —- Support this podcast:…
ep45: Episodic Memory in Lifelong Language Learning
Dec 1, 2019 • 36 min
NeurIPS 2019よりDeepMindが発表した,様々な異なるタスク(テキスト分類とQA)のデータセットをepisodic memoryを利用して1モデルで学習できる手法を解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/326 サポーターも募集中です. https://www.patreon.com/jojonki —- Support this podcast:…
ep44: 75 Languages, 1 Model: Parsing Universal Dependencies Universally
Nov 24, 2019 • 36 min
第44回では,多言語で事前学習されたBERTを用いて,多言語でUniversal Dependenciesのタスクを解くモデルを解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/322 サポーターも募集中です. https://www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep43: BPE-Dropout: Simple and Effective Subword Regularization
Nov 4, 2019 • 36 min
第43回では,Byte Pair Encodingを用いたサブワード正則化手法,BPE-dropoutを解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/302 サポーターも募集中です. https://www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep42: HuggingFace’s Transformers: State-of-the-art Natural Language Processing
Oct 20, 2019 • 19 min
第42回では,HuggingFace社のBERT, GPT-2, RoBERTaなどが気軽に利用できるTransformersフレームワークを紹介しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/295 サポーターも募集中です. https://www.patreon.com/jojonki —- Support this podcast:…
ep41: A Simple Theoretical Model of Importance for Summarization
Sep 15, 2019 • 45 min
第41回では,ACL 2019より要約タスクにおける”重要性”をモデル化して,Outstanding Paperを獲得した論文を説明しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/290 サポーターも募集中です. https://www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep40: OpenDialKG: Explainable Conversational Reasoning with Attention-based Walks over Knowledge Graphs
Sep 7, 2019 • 34 min
第40回では,ACL 2019よりFacebookのOpenDialKGという知識グラフを探索できる対話推論モデルを解説しました 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/287 サポーターも募集中です. https://www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep39: Conversational Response Re-ranking Based on Event Causality and Role Factored Tensor Event Embedding
Aug 20, 2019 • 26 min
第39回では,ACL 2019 NLP for Conversational AIのBest Paperから,対話応答生成タスクにおいて,対話履歴と応答候補の因果関係に着目したリランキング手法を提案したモデルを紹介しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/283 —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep38: Trends in Natural Language Processing: ACL 2019 In Review
Aug 9, 2019 • 23 min
第38回では,Amazonの方のACL 2019の参加レポートを解説しました 今回紹介した記事はこちらのissueで解説しています. github.com/jojonki/AI-Post-Notes/issues/2 Podcastのなかで紹介したarxivのメタ情報を簡単にコピペするChrome拡張 https://chrome.google.com/webstore/detail/arxiv-clip/enkadffnndphdjnpjamejdjlcbkkbpmp サポーターも募集中です.…
ep37: Multimodal Transformer Networks for End-to-End Video-Grounded Dialogue Systems
Jul 15, 2019 • 26 min
第37回では,ACL 2019から,ACL2019からDSTC7のマルチモーダル対話でSOTAを獲得したMulti-Modal Transformer Networksを紹介しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/272 サポーターも募集中です. www.patreon.com/jojonki —- Support this podcast:…
ep36: A Survey of Reinforcement Learning Informed by Natural Language
Jul 7, 2019 • 26 min
第36回では,IJCAI 2019から,自然言語処理を用いた最近のRLに関するサーベイ論文を紹介しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/267 —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep35: Modeling Semantic Relationship in Multi-turn Conversations with Hierarchical Latent Variables
Jun 30, 2019 • 26 min
第35回では,ACL 2019から,階層的にVAEを用いてマルチターン対話における言語生成を行う論文を紹介しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/261 —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep34: Do Neural Dialog Systems Use the Conversation History Effectively?
Jun 7, 2019 • 16 min
第34回では,ACL 2019から,ニューラル対話生成モデルが,対話履歴を効果的に活用しているか調査した論文を紹介しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/254 番組への支援は,こちらからお待ちしております. —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep33: Target-Guided Open-Domain Conversation
Jun 1, 2019 • 38 min
第33回では,ACL 2019から,目的のトピックにスムーズに対話遷移できるopen-domainの対話システムに関する論文を紹介しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/242 番組への支援は,こちらからお待ちしております. —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep32: We need to talk about standard splits
May 26, 2019 • 22 min
github上でご指摘いただきましたが,実験2のReproductionのシステムの優劣を完全に逆にして説明していることが判明しました.issueのコメント欄を御覧ください.他にも怪しくなってきた気がするのでお気付きの方はどんどんコメント頂けると嬉しいです。 第32回では,ACL 2019から,標準的なデータセットのsplitに起因するシステム比較手法の危険性を示す論文を解説しました. 今回紹介した論文はこちらのissueで解説しています.…
ep31: CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge
May 11, 2019 • 33 min
第30回では,NAACLのBest Short Paperに選ばれた,マルチモーダル機械翻訳におけるビジョンモダリティの貢献具合を調査した論文を紹介しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/229 番組への支援は,こちらからお待ちしております. —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep30: Probing the Need for Visual Context in Multimodal Machine Translation
Apr 30, 2019 • 25 min
第30回では,NAACLのBest Short Paperに選ばれた,マルチモーダル機械翻訳におけるビジョンモダリティの貢献具合を調査した論文を紹介しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/228 番組への支援は,こちらからお待ちしております. —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep29: What’s in a Name? Reducing Bias in Bios without Access to Protected Attributes
Apr 22, 2019 • 31 min
第29回では,NAACLのBest Thematic Paperに選ばれた,学習データに含まれるバイアスを軽減させる手法を紹介しました.名前の単語埋め込みと予測確率の相関関係にペナルティを与えるロス関数を提案しています. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/226 —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep28: Attention is not Explanation
Apr 13, 2019 • 24 min
第28回では,NAACLより学習した重みに対する透明性・説明性について一石を投じる論文を解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/221 —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep27: 今年度の振り返りとこれからについて
Mar 31, 2019 • 17 min
第27回では,2018年度の振り返りの特別回として,アンケート結果の共有,NLPのおすすめ勉強方法と教材,論文の読み方,期末の振り返りと今後について話しました. アンケートの振り返り NLPの勉強の仕方,論文の読み方 今期,来期のはなし 紹介した書籍やサイト 自然言語処理の基本と技術 Graham Neubig先生のNLPプログラミングチュートリアル 言語処理のための機械学習入門 番組への支援は,こちらからお待ちしております. —- Support this podcast:…
ep26: 大規模な自動解析データが形態素解析器をどこまで小さくできるか
Mar 22, 2019 • 16 min
第26回では,NLP2019のニューラルネットワークベースのシンプルな形態素解析器について解説しました. 今回紹介した論文は予稿集が公開され次第,issueを公開にします 現在視聴者の方へのアンケートを実施しているので,数分で終わりますのでぜひご協力ください. 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep25: サブワードに基づく単語分散表現の縮約モデリング
Mar 17, 2019 • 18 min
第25回では,NLP2019のサブワードを利用した単語分散表現のモデルについて解説しました. 今回紹介した論文は予稿集が公開され次第,issueを公開にします 現在視聴者の方へのアンケートを実施しているので,数分で終わりますのでぜひご協力ください. 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep24: BERT for Joint Intent Classification and Slot Filling
Mar 2, 2019 • 21 min
第24回では,BERTを利用してインテント分類とスロット抽出をjoint learningした手法を解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/210 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep23: End-to-End Knowledge-Routed Relational Dialogue System for Automatic Diagnosis
Feb 24, 2019 • 29 min
第23回では,患者との対話を通して医療診断を行う対話システムKR-DSの解説をしました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/206 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep22: What are the biases in my data?
Feb 17, 2019 • 13 min
第22回では,Microsoft Research Blogで解説された差別的バイアスの発見と分析に記事を解説しました.github.com/jojonki/AI-Post-Notes/issues/1 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep21: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Feb 3, 2019 • 32 min
第21回では,Googleによる双方向コンテキストを獲得した言語モデルBERTの解説をしました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/199 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep20: Comprehensive evaluation of statistical speech waveform synthesis
Jan 27, 2019 • 19 min
第20回では,Amazonが行った音声合成の知覚評価に関する論文を解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/194 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep19: SentencePiece: A simple and language independent subword tokenizer and detokenizer for NLP
Jan 20, 2019 • 37 min
第19回では,Googleが開発したサブワードによるTokenizer/DetokenizerであるSentencePieceを解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/186 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep18: PyText: A Seamless Path from NLP research to production
Jan 14, 2019 • 28 min
ep18: PyText: A Seamless Path from NLP research to production 第18回では,FacebookによるNLPのモデル化のためのフレームワーク,PyTextを解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/179 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki 今年もよろしくおねがいします! —-…
ep17: User Modeling for Task Oriented Dialogues
Dec 31, 2018 • 52 min
第17回では,Googleによるタスク指向対話におけるユーザーシミュレーターの論文について解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/180 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep16: Contextual Topic Modeling For Dialog Systems
Dec 9, 2018 • 29 min
第16回では,Amazonによるコンテキストを利用したトピック分類のモデルについて解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/162 番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep15: Another Diversity-Promoting Objective Function for Neural Dialogue Generation
Dec 2, 2018 • 31 min
第15回では,AAAI 2019 Deep Dialに採択された,ニューラル対話生成モデルの論文を解説しました.あのりょぼっとさんの論文でして恐縮しながら解説しました. 今回紹介した論文はこちらのissueで解説しています.理解が及ばず説明が曖昧な個所がありましたが,りょぼっとさん本人にissueで細くコメントもらっていますので是非見てみてください. github.com/jojonki/arXivNotes/issues/159 番組への支援は,こちらからお待ちしております.…
ep14: XNLI: Evaluating Cross-lingual Sentence Representations
Nov 25, 2018 • 37 min
第14回では,Facebook AI Researchによる多言語におけるNLIタスクの評価データセット及び多言語NLIにおけるベースラインを解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/155 番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki —- Support this podcast:…
ep13: You May Not Need Attention
Nov 4, 2018 • 25 min
第13回では,アテンションを使わず,エンコーダー・デコーダーを統合した,機械翻訳モデルの手法を解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/148 番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep12: Word Embedding based Edit Distance
Oct 28, 2018 • 30 min
第12回では,単語埋め込みを利用した編集距離を利用して,文の類似度を計算する手法を解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/145 番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep11: Query Tracking for E-commerce Conversational Search: A Machine Comprehension Perspective
Oct 21, 2018 • 40 min
第11回では,CIKMでAlibabaが発表した,Eコーマスの検索を対話的に行う対話検索のモデルをを解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/139 番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep10: Automatic Evaluation of Neural Personality-based Chatbots
Oct 7, 2018 • 36 min
第10回では,対話応答生成モデルが,個性を反映した応答を生成出来ているかを,自動評価する手法を提案したモデルを解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/138 番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep9: Learning and Evaluating Sparse Interpretable Sentence Embeddings
Oct 1, 2018 • 46 min
第9回では,文ベクトルをスパース化することで解釈性を与えることが出来ないか,という問題に挑戦した論文を解説しました. 今回紹介した論文はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/137 番組への支援は,こちらからお待ちしております. https://www.patreon.com/jojonki —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep8: Zero-Shot Adaptive Transfer for Conversational Language Understanding
Sep 24, 2018 • 24 min
第8回では,Microsoftのスロットタギングの論文を解説しました. 今回紹介した論文の解説はこちらにあります.https://github.com/jojonki/arXivNotes/issues/128 前々回のエピソードを予め聞いておくと,今回の内容は分かりやすいかもしれません.…
ep7: Training Millions of Personalized Dialogue Agents
Sep 11, 2018 • 27 min
第7回では,EMNLP 2018でFacebookが開発したペルソナデータセット及びそのペルソナに沿ったEnd-to-end雑談対話システムを解説しました. 今回紹介した論文の解説はこちらにあります.https://github.com/jojonki/arXivNotes/issues/130 —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep6: Bag of Experts Architectures for Model Reuse in Conversational Language Understanding
Sep 5, 2018 • 26 min
第6回では,NAACL-HLT 2018より,Microsoftのスロットタギングの論文を紹介しました. 今回紹介した論文の解説はこちらにあります. https://github.com/jojonki/arXivNotes/issues/129 —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep5: Analysing the potential of seq-to-seq models for incremental interpretation in task-oriented dialogue
Aug 30, 2018 • 31 min
第5回では,EMNLP2018から対話における非流暢性がSeq2Seqに及ぼす影響を調べた論文を紹介しました. https://github.com/jojonki/arXivNotes/issues/125 —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep4: CoQA: A Conversational Question Answering Challeng
Aug 27, 2018 • 22 min
第4回では,スタンフォード大から公開された対話的なQAのコーパスの論文を説明しました. https://github.com/jojonki/arXivNotes/issues/124 —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep3: Large-Scale Multi-Domain Belief Tracking with Knowledge Sharing
Aug 24, 2018 • 22 min
第3回ではACL 2018からBelief Trackingに関する論文を説明しました. 今回紹介した論文のまとめ github.com/jojonki/arXivNotes/issues/107 —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep2: Zero-Shot Dialog Generation with Cross-Domain Latent Actions
Aug 20, 2018 • 35 min
第2回ではSIGDIAL 2018でベストペーパーを獲得した,対話応答生成のモデルを説明しました.タスク指向型の対話における新しい応答生成モデルの提案になっていて面白いです. 今回紹介した論文のまとめ https://github.com/jojonki/arXivNotes/issues/123 —- Support this podcast: https://anchor.fm/lnlp-ninja/support
ep1: Joint Learning of Domain Classification and Out-of-Domain Detection with Dynamic Class Weighting for Satisficing False Acceptance Rates.
Aug 17, 2018 • 13 min
第1回ではInterspeech 2018から対話システムにおけるドメイン選択,ドメイン外発話棄却をテーマにした論文を紹介します. 今回紹介した論文のまとめ. https://github.com/jojonki/arXivNotes/issues/112 —- Support this podcast: https://anchor.fm/lnlp-ninja/support