どんなもの？

• ネットワーク正則化手法「virtual adversarial training (VAT)」と、クラスタリング手法「deep embedding clustering (DEC)」を統合したクラスタリング手法「regularized deep embedding clustering (RDEC)」を提案
• 不均衡データのクラスタリングに効果的で、教師なしの異常検知に応用できる

論文リンク

http://proceedings.mlr.press/v95/tao18a.html

プレスリリース

http://www.toshiba.co.jp/about/press/2018_11/pr_j1401.htm

著者/所属機関

Yaling Tao, Kentaro Takagi, Kouta Nakata / TOSHIBA

媒体

Proceedings of The 10th Asian Conference on Machine Learning, PMLR 95:49-64, 2018.

先行研究と比べてどこがすごい？

• 実アプリケーションで一般的に発生する不均衡なデータの問題に焦点を絞った研究はほとんどなかった

技術や手法のキモはどこ？

• ネットワーク正則化手法「virtual adversarial training (VAT)」と、クラスタリング手法「deep embedding clustering (DEC)」を統合

virtual adversarial training (VAT)

http://musyoku.github.io/2016/12/10/Distributional-Smoothing-with-Virtual-Adversarial-Training/

提案手法（以下VAT）は、予測分布p(y∣x)を最も狂わすノイズr_{v−adv}を計算により求め、p(y∣x+r_{v−adv})をp(y∣x)に近づけることでモデルの頑健性を高める手法です。

データxから求まる予測分布p(y∣x,θ)と、ノイズrを加えたデータx+rから求まる予測分布p(y∣x+r,θ)に対し、両者のKL距離を最小化します。

https://qiita.com/yuzupepper/items/e2d093f05adccbe1b7f1

各学習データ周辺における事後確率の分布を滑らかにすることでネットワークの汎化性能を向上させる手法です。Virtual Adversarial TrainingはAdversarial Trainingから派生した手法で、学習データの正解ラベルから計算した損失の代わりに事後確率同士の距離から計算した損失を用いることでラベルなしのデータも学習に活用する事ができます。

deep embedding clustering (DEC)

http://shunk031.me/paper-survey/summary/cv/Unsupervised-Deep-Embedding-for-Clustering-Analysis

高次元で規模の大きいデータセットに対しても効率的にクラスタリングできるよう特徴量を学習する

論文内での指摘

but it is sometimes sensitive to the initial location of centroids, especially in the case of imbalanced data, where the minor class has less chance to be assigned a good centroid.

• RDECは、VATによる正規化を導入して、データの局所性に対するモデルの堅牢性を保証
• VATは元の空間上で似ているデータを潜在空間上で近づけ、少数クラスのデータをまとめて分類を容易にする

どうやって有効だと検証した？

• 均衡データ・不均衡データの両方でState-of-the-artのパフォーマンスを達成
  • 精度は、MNISTデータセットで98.41％、MNISTから得られた不均衡なデータセットで85.45%

議論はある？

VATや各ハイパーパラメータの効果を検証している

次に読むべき論文は？

virtual adversarial training (VAT)

https://arxiv.org/abs/1507.00677

deep embedding clustering (DEC)

https://arxiv.org/abs/1511.06335

どんなもの？

end-to-endの方法で分散表現を使用する埋め込みベースのニュース推薦手法の提案

• オートエンコーダのノイズ除去の変形に基づく分散表現から
• ブラウジング履歴を入力としたRNNモデルでユーザ表現を生成し
• システム性能を考慮した内積操作に基づいて、各ユーザの記事を照合して一覧表示する

論文リンク

http://www.kdd.org/kdd2017/papers/view/embedding-based-news-recommendation-for-millions-of-users

著者/所属機関

Shumpei Okura (Yahoo! JAPAN);Yukihiro Tagami (Yahoo Japan Corporation);Shingo Ono (Yahoo Japan Corporation);Akira Tajima (Yahoo! Japan)

媒体

KDD2017

投稿日付

先行研究と比べてどこがすごい？

• コラボレーティブフィルタリングや低ランク分解などのIDベースの手法はよく知られているが、候補の記事は短期間で期限切れになり新しい記事に置き換えられるため、ニュースの推薦には適していない
• 単語ベースのアプローチは、システム性能の面で優れた候補であるが、同義語・表記ゆれ・固有名詞といったユーザ固有の特徴をどう扱うかなど、いくつかの課題がある
• 本論文では、埋め込みベースのアプローチで、従来より高い性能を示すモデルを作成した

技術や手法のキモはどこ？

RNNモデルを採用することで、ブラウジング履歴から各ユーザの特徴を表現し、高精度の推薦を可能にした

どうやって有効だと検証した？

• 過去のアクセスデータを用いたオフライン評価において良好な性能を示した
• CTRと合計期間は、単語ベースのアプローチと比較して個別に23％と10％向上
• 提案された方法を組み込んだサービスは、すでにすべてのユーザーに公開されており、1日に1,000万人以上のUUに推薦され、毎月数十億のアクセスが行われている

議論はある？

ニュース以外の分野（広告）などにも推薦技術を応用していきたい

次に読むべき論文は？

NULL

どんなもの？

• Machine Learning (ML)の「非専門家」が実際にMLソリューションを構築する方法を調査
• 非専門家特有の可能性と、陥りやすい落とし穴が明らかになった
  • 例えば、accuracyがパフォーマンスの単一の尺度として認識され、問題あるモデルがデプロイされた
• 調査結果から、初心者向けのMLツールを設計する上では簡便性だけでなくロバスト性も同様に重要な目標だと示唆された
• 非専門家がロバスト性のあるソリューションを容易に構築できるよう促すための設計理論を作成した

論文リンク

https://www.microsoft.com/en-us/research/publication/grounding-interactive-machine-learning-tool-design-non-experts-actually-build-models/

著者/所属機関

Qian Yang, Jina Suh, Nan-Chen Chen, Gonzalo Ramos

媒体

Proceeding of the 2018 Designing of Interactive Systems Conference

投稿日付

June 2018

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

• ウェブ上での情報収集の過程で、エコーチャンバーやフィルターバブルのような「確証バイアス(Confirmation Bias)」が存在すると知られている
  • エコーチャンバー: 閉じたコミュニティで、同じ意見の人々とのコミュニケーションを繰り返すことで、意見が増幅・強化されていく現象
  • フィルターバブル: インターネットの個人最適化アルゴリズムの影響で、自分が見たい情報しか見えなくなる現象
  • 確証バイアス: 自分が支持している考え世の中に広く受け入れられている考えなどを「正しい」という前提のもとで考えてしまいやすい人間の傾向のこと
• 本研究では、ニュース配信サービスの行動ログから、年齢や性別などのユーザの属性の違いによる情報収集の偏りを発見する

論文リンク

https://aminer.org/archive/analysis-of-bias-in-gathering-information-between-user-attributes-in-news-application/5bff525d28686d2064b2da24

著者/所属機関

Yoshifumi Seki (Gunosy Inc.), and Mitsuo Yoshida (Toyohashi University of Technology).

媒体

Analysis of Bias in Gathering Information Between User Attributes in News Application. 2018.

投稿日付

2018

先行研究と比べてどこがすごい？

• 確証バイアスに関する既存の研究の多くはアンケートで実施されており、ウェブサービスの行動ログを用いた研究はほとんどない

技術や手法のキモはどこ？

1. 各ユーザ属性に対するサービス内の行動を集計し、属性に応じたユーザ行動の違いを示した
2. ニュース記事のクリック回数と好き嫌い数が属性間で強く相関しており、属性間の差を比較できると示した
3. 属性間のキーワードの偏りを発見し、回帰分析を用いて属性間の振る舞いに偏りのあるキーワードを見つけ出した

どうやって有効だと検証した？

• これらの発見されたキーワードの大半は、当該期間内の大きなニュースの話題として定性的に説明可能だった

議論はある？

• 本稿では、偏ったキーワードの妥当性について議論しない
• 今後の展望として、この結果が社会科学的知識に基づいて有効かどうかを検証したい
• ユーザーの関心のクラスターなどによる強いバイアスのトピックも発見したい

次に読むべき論文は？

Null

どんなもの？

• 「コロケーション度合い」の計算は、単純に単語列の出現頻度だけを見ても上手くいかない
• 「C-value」という「コロケーション度合い」を尤もらしく計算する指標を提案
• 具体例含めて、ブログで日本語で解説されている
  • https://abicky.net/2015/03/08/120241/

論文リンク

https://www.aclweb.org/anthology/C96-1009

著者/所属機関

Katerina T. Franzi and Sophia Ananiadou

媒体

In Proceedings of the 16th International Conference on Computational Linguistics (COLING ‘96), pp. 41-46, 1996.

投稿日付

1996

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

日本語の科学ニュース記事では，研究成果がわかりやすく述べられるが，出典となる文献情報は明記されない傾向にある．このことは，読者が研究の詳細を知ることへの障壁となっている．一方，研究内容が掲載された雑誌名は記事中に明記されることが多く，雑誌名を自動抽出することで対象の文献情報を探索する手がかりが得られる．

• 日本語の科学ニュース記事からの雑誌名抽出に取り組み，得られた雑誌名をリスト化する
• 雑誌名が特定の文脈に出現しやすいという仮定を立て，雑誌名抽出に対してこの仮説を裏付けた

論文リンク

http://anlp.jp/proceedings/annual_meeting/2018/pdf_dir/P11-6.pdf

著者/所属機関

菊地真人, 吉田光男, 梅村恭司 (豊橋技科大)

媒体

言語処理学会第24回年次大会(NLP2018)

投稿日付

先行研究と比べてどこがすごい？

• 代表的な先行研究では，ブートストラップ法を採用しているが，固有表現抽出のパターンマッチに利用するパターンは左右の文脈のうち，どちらか一方である
• 本研究で提案する雑誌名抽出は，雑誌名の両側から学習した文脈をパターンとして利用するところが特徴である
  • 日本語ならではの特徴

技術や手法のキモはどこ？

• 雑誌名は多種多様で，外国語の雑誌名を日本語の記事で掲載する場合は外来語として扱わず，発音に文字を当てはめて翻訳することが多い
  • 記事を書いた著者によって雑誌名の表記ゆれが起こる
• ブートストラップ法[1, 2, 3] に基づいて科学ニュース記事からの雑誌名を抽出する
  • ブートストラップ法は，人手で付与したシードと呼ばれる少数の固有表現を教師データとして，固有表現の抽出と辞書の拡充を交互に繰り返す
  • 少数の固有表現をもとに多くの固有表現を抽出できる

どうやって有効だと検証した？

ウェブから収集した科学ニュース記事から雑誌名を抽出し，提案手法の性能を定量的に評価

• 反復の1回目では，適合率が 0.8 以上と高く，部分再現率も 0.5 を超えていた
  • 雑誌名を抽出する手がかりとして左右バイグラムを使うことは有効である
• 反復の 2 回目では新たに得られた雑誌名が半減し，適合率が 0.2 ほど低下したにもかかわらず部分再現率はほとんど向上しなかった
  • ブートストラップ法で高い F 値を維持したまま，雑誌名を抽出するためには工夫が必要ということが示唆された

議論はある？

次に読むべき論文は？

• ブートストラップ法
  • [1] E. Riloff and R. Jones. Learning dictionaries for information extraction by multi-level bootstrapping. In AAAI, pp. 474–479, 1999.

どんなもの？

Data2Vis: Automatic Generation of Data Visualizations Using Sequence to Sequence Recurrent Neural Networks

論文リンク

https://arxiv.org/abs/1804.03126

著者/所属機関

Victor Dibia, Çağatay Demiralp

媒体

投稿日付

どんなもの？

• 与えられたデータセットから「データ・ビジュアライゼーション」を自動的に生成するためのニューラル翻訳モデル「Data2Vis」を提案
• 「データ・ビジュアライゼーション」の生成を、sequence to sequence 変換問題として定式化
• LSTM（long-term-memory）ユニットを有する多層アテンションベースのリカレントニューラルネットワーク（RNN）を学習させた
  -- ビジュアライゼーション仕様のコーパスを使用

先行研究と比べてどこがすごい？

• 先行研究
  -- Bertin[7]は、データ・ビジュアライゼーションを"a language for the eye"として体系化した
  -- Mackinlay[43]は、データ・ビジュアライゼーションをグラフィカルな言語の文章と見なし、「表現性」と「有効性」の基準に基づいてモデルを定式化し、「形式言語」から概念を借用した
  -- その後の研究では、さまざまな「文法」も導入された
• 本研究
  -- 本研究では、これらの知見を拡張して、「データ・ビジュアライゼーション」の生成を、sequence to sequence 変換問題として定式化した

技術や手法のキモはどこ？

どうやって有効だと検証した？

• (生成モデルの定量的検証は一般に難しい)
• "R dataset repository"を利用した定性的検証
  -- Json形式
  -- 統計ソフトウェア環境Rとアドオン・パッケージの一部と共に最初に配布された1147個のデータセット
• 検証を通じて、モデルが以下を学習することが示された
  -- モデルが有効なビジュアライゼーション仕様
  -- 適切な変換（カウント、ビン、平均）
  -- 一般的なデータ選択パターンの使い方

議論はある？

• 学習データを増やしたい
• 現状は一つのインプットに対して一つのアウトプットしか生成しないが、あり得る複数のアウトプットを生成するモデルに拡張したい
• "ggplot2"など他のビジュアライゼーション仕様に対応するモデルも検討したい
• インプットにデータセットだけでなく自然言語も加えられるようにしたいし、自動キャプション生成の可能性も検討したい

次に読むべき論文は？

• [7] Jacques Bertin. 1983. Semiology of Graphics. University of Wisconsin Press.
• [43] Jock Mackinlay. 1986. Automating the design of graphical presentations of relational information. ACM Trans. Graphics 5, 2 (1986), 110–141.

どんなもの？

論文リンク

https://arxiv.org/abs/1805.07470

著者/所属機関

Stephen McAleer, Forest Agostinelli, Alexander Shmakov, Pierre Baldi

媒体

arXiv

投稿日付

[v1] Fri, 18 May 2018 23:07:31 GMT

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

• 検索ランキングはAirbnbで成功を収めた機械学習事例で、勾配ブースティング決定木モデルで実現したが、時間の経過とともに改善度合いは頭打ちになった
• この状況から脱却するべく、ニューラルネットワークを適用する際に行われた作業について説明
• 実プロダクトにニューラルネットワークを適用するのに役立つ要素を解説している

論文リンク

https://arxiv.org/abs/1810.09591

著者/所属機関

Malay Haldar, Mustafa Abdool, Prashant Ramanathan, Tao Xu, Shulin Yang, Huizhong Duan, Qing Zhang, Nick Barrow-Williams, Bradley C. Turnbull, Brendan M. Collins, Thomas Legrand

媒体

arXiv

投稿日付

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

• 深層学習を用いた画像識別タスクにおける識別精度を向上させるためのテクニックとしてData Augmentation，学習率スケジューリング，アンサンブル手法に注目
• サーベイを行うとともに網羅的な検証実験を実施

論文リンク

http://search.ieice.org/bin/summary.php?id=j102-d_2_34&category=-&lang=J&year=2019&abst=

著者/所属機関

矢野　正基, 大賀　隆裕, 大西　正輝,

媒体

電子情報通信学会論文誌 D Vol. J102–D No. 2 pp. 34–52

発行日

2019/02/01

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

論文の概要

• This paper advocates against permute-and-predict (PaP) methods for interpreting black box functions.
• However, numerous studies have found that these tools can produce diagnostics that are highly misleading, particularly when there is strong dependence among features.
• Here we seek to provide an explanation for the observed behavior.

理由

• We argue that breaking dependencies between features in hold-out data places undue emphasis on sparse regions of the feature space by forcing the original model to extrapolate to regions where there is little to no data.
• We explore these effects through various settings where a ground-truth is understood and find support for previous claims in the literature that PaP metrics tend to over-emphasize correlated features both in variable importance and partial dependence plots, even though applying permutation methods to the ground-truth models do not.

代替案

• As an alternative, we recommend more direct approaches that have proven successful in other settings:
  • explicitly removing features
  • conditional permutations
  • model distillation methods.

論文リンク

https://arxiv.org/abs/1905.03151

著者/所属機関

Giles Hooker, Lucas Mentch

媒体

arXiv

投稿日付

Submitted on 1 May 2019

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

論文リンク

https://www.semanticscholar.org/paper/Experience-Mining-Google's-Production-Console-Logs-Xu-Huang/7ea53599c80377c1d94fdb70d3ab7f78e1623199

著者/所属機関

媒体

投稿日付

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

• Yahoo! ニュース・トピックスの見出し（13.5文字以内）の候補を自動生成
• エンコーダ・デコーダの枠組みを利用
  • トピックスページ中の記事タイトルと記事リード文を同時に利用するため，エンコーダ・デコーダの枠組みを拡張し，複数のエンコーダ出力を用いてトピックス見出しを生成する手法を提案

論文リンク

http://anlp.jp/proceedings/annual_meeting/2018/pdf_dir/A1-3.pdf

著者/所属機関

小林健 (ヤフー), 小林隼人 (ヤフー/理研AIP), 村尾一真, 増山毅司 (ヤフー)

媒体

言語処理学会第24回年次大会(NLP2018)

投稿日付

先行研究と比べてどこがすごい？

• Multimodal Attention モデル
• Hori らによる動画の説明文生成に関する研究 [5]
• 映像用のエンコーダ，音声用のエンコーダ等を利用して動画の説明文をエンコーダ・デコーダの枠組みで生成
• エンコーダごとにスカラーの重みを動的に計算し，その重み付き和ベクトルを利用することで，精度が向上
• 重みをスカラー値で計算し，これを掛けることによって重み付き和を計算
• 本研究
  • 要素ごとに重みを計算できれば，より適切な特徴を表現できると予想し，複数エンコーダの出力を統合する手法を提案

技術や手法のキモはどこ？

• 複数エンコーダを利用する「Multimodal Attention モデル」の改良
• 入力
  • 記事リード文
  • 記事タイトル
• 出力
• トピックス見出し

どうやって有効だと検証した？

• Yahoo!ニュース・トピックスで掲載されたニュース記事を利用
• 要約タスクの評価指標として利用されている ROUGE値と、人手で評価（1記事当たり10人、平均を採用）

議論はある？

実験結果の細部について議論

次に読むべき論文は？

• Multimodal Attention モデル
  • [5] Chiori Hori, Takaaki Hori, Teng-Yok Lee, Ziming Zhang, Bret Harsham, John R. Hershey, Tim K. Marks, and Kazuhiko Sumi. Attention-Based Multimodal Fusion for Video Description. In ICCV, 2017.
• Query-based Attention モデル
  • [4] Preksha Nema, Mitesh M. Khapra, Anirban Laha, and Balaraman Ravindran. Diversity driven attention model for query-based abstractive summarization. In ACL, pp. 1063–1072, 2017.

どんなもの？

• ファクトチェックの必要性を示唆する情報（＝「端緒情報」）の探索を自動化し，人手による要検証記事探索作業を技術的に支援する仕組みを構築
  • Twitterの投稿を対象に，そこから端緒情報の可能性が高い投稿を自動抽出し，それらの情報に基づいてニュース記事を検証必要度の観点からランキングする

論文リンク

http://anlp.jp/proceedings/annual_meeting/2018/pdf_dir/B3-3.pdf

著者/所属機関

田上翼, 浅野広樹 (東北大), 楊井人文, 山下亮 (日本報道検証機構), 小宮篤史, 藤村厚夫 (スマートニュース), 町野明徳 (フリー), 乾健太郎 (東北大)

媒体

言語処理学会第24回年次大会(NLP2018)

投稿日付

先行研究と比べてどこがすごい？

インターネット上の誤情報を検出する研究は行われているものの [1, 2, 9]，幅広いドメインから端緒情報を抽出し，要検証記事を収集する研究は本研究が初

技術や手法のキモはどこ？

どうやって有効だと検証した？

データセット

• 朝日新聞デジタル，産経ニュース，日経電子版，毎日新聞のニュース・情報サイト，YOMIURI ONLINEのいずれかの媒体の記事 URL を含むツイートを 20,000 件抽出
  • 人手で各ツイートが端緒情報であるか判定
  • 正例：606 件（全体の 3.03%）
  • 負例：正例でなく，bot によるツイートや，記事の本文やタイトルを引用しているだけでないツイートのうち 2,851件

分類器（5種類）

議論はある？

1. 単なる皮肉
2. 指摘の対象が記事でなく政府
3. 「嘘」は日常で使いやすい

次に読むべき論文は？

NULL

どんなもの？

論文リンク

https://arxiv.org/abs/1802.07398

著者/所属機関

媒体

投稿日付

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

眼底写真を用いた糖尿病性網膜症の診断を、deep learningアルゴリズムで自動化。2種類のデータセットでの実験を通じて、高精度で検知できると分かった。

論文リンク

https://jamanetwork.com/journals/jama/fullarticle/2588763

著者/所属機関

Varun Gulshan et al.

媒体

JAMA. 2016;316(22):2402-2410. doi:10.1001/jama.2016.17216

投稿日付

December 13, 2016

先行研究と比べてどこがすごい？

（データセットが違うので単純な比較はできないが）sensitibityとspecificityが高い。

技術や手法のキモはどこ？

deep convolutional neural network

• 糖尿病性網膜症の診断に用いられた眼底写真128175枚を訓練データに
• 写真は3~7人の医師や研修医が診断し、多数決でラベル付け
• 出力は0~1の値（糖尿病性網膜症でありそうな度合い）

どうやって有効だと検証した？

• 2種類のデータセットで、sensitibityとspecificityを調べた。両指標とも約90%以上の値が出た。
• 以下引用(https://en.wikipedia.org/wiki/Sensitivity_and_specificity)

Sensitivity and specificity are statistical measures of the performance of a binary classification test, also known in statistics as classification function:

• Sensitivity (also called the true positive rate, the recall, or probability of detection[1] in some fields) measures the proportion of positives that are correctly identified as such (e.g. the percentage of sick people who are correctly identified as having the condition).
• Specificity (also called the true negative rate) measures the proportion of negatives that are correctly identified as such (e.g. the percentage of healthy people who are correctly identified as not having the condition).

議論はある？

• 同システムの利点
  1. consistency of interpretation
  2. high sensitivity and specificity
  3. instantaneous reporting of results
  4. sensitivity and specificityを目的に応じて調整できる
• 今後の展望
  1. より豊富な訓練データ
  2. より多角的なシステム評価
• システムの限界
  1. 医師の判断に基づきラベル付けしているため医師が見つけられないものは見つけられない
  2. neural newworkのブラックボックス性
  • "Hence, this algorithm is not a replacement for a comprehensive eye examination"

次に読むべき論文は？

NULL

どんなもの？

論文リンク

https://arxiv.org/abs/1712.07136v2

著者/所属機関

媒体

投稿日付

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

• EC サイトに来訪する顧客の商品閲覧と商品選択との関係に着目
• 各期間の商品閲覧数の時系列（閲覧数列）に対して商品選択確率を推定する手法を提案

論文リンク

http://www.orsj.or.jp/~nc2019s/wp-content/uploads/2019/02/2019s-2-A-1.pdf

著者/所属機関

• 株式会社リクルートライフスタイル 西村 直樹
• 東京理科大学 魚生川 矩義
• 筑波大学 高野 祐一
• Retty 株式会社 岩永 二郎

媒体

日本オペレーションズ・リサーチ学会 2019年 春季研究発表会

投稿日付

先行研究と比べてどこがすごい？

先行研究 [1]では，商品閲覧履歴から各顧客の閲覧商品に対する「最新度」と「頻度」を数量化し，形状制約のもとで最新度と頻度の組に対して閲覧商品が購買される確率（商品選択確率）を推定する手法が提案された．しかし，この手法では顧客の閲覧履歴が最新度と頻度の 2 次元に縮約されるため，商品閲覧に関する多くの情報が失われてしまう．

提案手法の長所：先行研究の手法よりも詳細な情報を保持できる
短所：学習データの不足により過剰適合を生じやすい

技術や手法のキモはどこ？

過剰適合抑制のため，閲覧数列の順序関係に基づく推定値の補正方法を提案

どうやって有効だと検証した？

• 提案手法により推定した選択確率を用いて，ECサイトTmallにおける顧客の再閲覧商品を予測
• 特に標本数が多い場合に提案手法の予測精度が優れていることが分かった．

議論はある？

次に読むべき論文は？

[1] Iwanaga, J., Nishimura, N., Sukegawa, N., & Takano, Y. (2016). Estimating product-choice
probabilities from recency and frequency of page views. Knowledge-Based Systems, 99,
157–167.

どんなもの？

決算短信特有の言語的な特徴を考慮した「事業セグメント情報抽出手法」を提案し、その有用性について実データを用いて評価

• 決算情報は一般的に事業セグメント（企業の構成単位）ごとに記載されている
• 「事業セグメント名」及び「事業セグメントの内容」の抽出は重要
  -「事業セグメント別の売上情報」を組み合わせることで各企業の経営状態が可視化できる可能性がある

論文リンク

• http://anlp.jp/proceedings/annual_meeting/2018/pdf_dir/D1-3.pdf
• 訂正：http://anlp.jp/proceedings/annual_meeting/2018/pdf_dir/D1-3_errata.pdf

著者/所属機関

伊藤友貴 (東大), 小林暁雄, 関根聡 (理研AIP)

媒体

言語処理学会第24回年次大会(NLP2018)

投稿日付

先行研究と比べてどこがすごい？

• 「事業セグメント名」及び「事業セグメントの内容」の情報は投資判断の上で重要であるが，「事業セグメント名」及び「事業セグメント内容」の決算短信からの自動抽出手法については確立されていない
• 現状，決算短信特有の言語的な特徴に関する知見はあまり共有されていない

技術や手法のキモはどこ？

事業セグメント名抽出

• 事業セグメント情報段落の各単語をBidirectional Bag of Words (BBOW)でベクトル化
  • 各単語の前10語、後10語の頻度でベクトル[tex: v_f, v_b]を作成し、[tex: [v_f, v_b]]を単語ベクトルとして与える
• 事業セグメント名であれば正、そうでなければ負として予測モデルを作成（ロジスティック回帰）
• 決算短信特有の言語的な特徴に基づいた手法である
  • 各企業は似た言い回しでセグメント情報を記述する
  • 各単語について単語の前に出現する単語の頻度分布と単語の後に出現する単語の頻度分布は異なる

事業セグメント説明文抽出

• 訓練データセット内の事業セグメントを含む文についてセグメント説明を含む文を正例，含まない文を負例としてラベルを与え，訓練データセット内の文を用いて予測モデル (ロジスティック回帰モデル) を学習
  • 文の素性にはbag of words

事業セグメント内容抽出

各事業セグメントに関する説明を記載している文は以下に分類できる

数＝検証データ320文書中のセグメント説明を含む分580文のうちの数

この性質を踏まえて、以下のように抽出する

• 抽出済の事業セグメント名を用いて単一型かを判断し、その場合はその文中の説明を「事業セグメント内容」とする
• 単一型でない場合は「Forward型」と「Backward型」かを分類する予測モデル（ロジスティック回帰）
  • 文の素性にはbag of words

どうやって有効だと検証した？

• 「セグメント情報」を決算短信に記載している320企業の決算短信を対象に実験
• 事業セグメント名抽出では、BBOWの有用性が示唆された
• 事業セグメント説明文抽出と事業セグメント内容抽出でも、交叉検証のF値が0.9弱と、まずまずの性能を発揮した

• 最後に、一連の処理を通して事業セグメント説明文抽出を実施した場合には、Precisionが35/48=0.73、Recallが35/65=0.54という結果だった

議論はある？

一連の処理を通した事業セグメント説明文抽出の精度を改善したい

次に読むべき論文は？

NULL

どんなもの？

Microsoft Azure, Amazon AWSといったMachine Learning as a Service (MLaaS)の利便性が増しているが、ユーザのプライバシー保護の観点からMLaaSのサーバへのアップロードがはばかられる場合も多く、プライバシー保護のため暗号化されたデータを用いるとDNNモデルの性能を十分に発揮できない。

本研究では、"Paillier homomorphic cryptosystem"という暗号化の仕組みを用いた Privacy-Preserving Deep Neural Networks (2P-DNN) を提案。暗号化したMNISTデータセットでの分類性能が97%を示し、既存のプライバシー保護DNNよりも高い性能を発揮した。

論文リンク

https://arxiv.org/abs/1807.08459

著者/所属機関

Qiang Zhu, Xixiang Lv / School of Cyber Engineering, Xidian University, Xian 710071, China

媒体

arXiv

投稿日付

[v1] Mon, 23 Jul 2018 07:32:12 GMT (563kb)

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

• In particular we will propose a theoretical analysis specifying under which conditions undersampling is recommended and expected to be effective.
• It emerges that the impact of undersam-pling depends on:
  • the number of samples
  • the variance of the classifier
  • the degree of imbalance
• and more specifically on the value of the posterior probability.

論文リンク

https://link.springer.com/chapter/10.1007/978-3-319-23528-8_13

著者/所属機関

Dal Pozzolo, Andrea & Caelen, Olivier & Bontempi, Gianluca

媒体

Novel Decompositions of Proper Scoring Rules for Classification: Score Adjustment as Precursor to Calibration

投稿日付

September 2015

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

論文リンク

https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=48498&item_no=1&page_id=13&block_id=8

著者/所属機関

媒体

投稿日付

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

• 会話によるニュース記事伝達において，割り込みを許容しながら快適なリズムで会話を進行させるための間の調整について検討
  • ユーザーが理解しやすく，発話中でも割り込みやすい間の実現を目指す

論文リンク

http://anlp.jp/proceedings/annual_meeting/2018/pdf_dir/P1-25.pdf

著者/所属機関

高津弘明, 横山勝矢 (早大), 本田裕 (本田技研), 藤江真也 (千葉工大), 林良彦, 小林哲則 (早大)

媒体

言語処理学会第24回年次大会(NLP2018)

投稿日付

先行研究と比べてどこがすごい？

システム発話の工夫によって相互行為を活性化させようとする観点では，聞き手からの相槌やうなずきなどを誘発する研究が行われているが，これも韻律制御に留まっており，間の制御までは扱っていない [3]

技術や手法のキモはどこ？

• コーパスの作成
  • テクノロジー系のニュース記事 100 個を人手で要約・口語化し，発話のシナリオを作成した．このシナリオを女性声優に発話させ，その発話音声を収録した
• 発話内文節間の間の推定
  • 双方向 LSTMで学習
• 発話間の間の推定
  • BayesianRidgeモデル

どうやって有効だと検証した？

• 音声合成器として AITalk（話者：のぞみ）を使用し，間の調整を行ったときと行わなかったときでどちらが「質問しやすかったか」「相槌を打ちやすかったか」「頭に入りやすかったか」について評価を行った
• どちらについても調整を行った間の方が良いという結果が得られた

議論はある？

• 個人ごとの間の調整や多重タスク下での間の取り方について検討
• 抑揚の付け方や話速といった韻律情報を総合的に制御できる仕組みについても検討

次に読むべき論文は？

NULL

どんなもの？

ニュースコーパスからトピック (知りたい事柄) に関連するテーマを抽出し，そのテーマに関連する文が時系列順に並んだ文集合 (ストーリーライン) を出力するシステムを提案

論文リンク

http://anlp.jp/proceedings/annual_meeting/2018/pdf_dir/P7-14.pdf

著者/所属機関

谷口祐太郎, 小林哲則, 林良彦 (早大)

媒体

言語処理学会第24回年次大会(NLP2018)

投稿日付

先行研究と比べてどこがすごい？

• 複数の文からなる文書に対して，あるキーワードに基づいて重要文抽出を行う [5] 試みはあるが，出力される文集合は 1 つのみである
• 知りたい事柄についての情報の中には様々なテーマがあるため，テーマを自動で抽出し，文集合を複数出力することが望ましい

技術や手法のキモはどこ？

文集合からの重要語の抽出方法

単語の重要度（文集合におけるある単語の出現頻度を，コーパス全体における出現頻度で正規化したもの）

どうやって有効だと検証した？

• 人による評価と比較
• 予備実験では筆者と別の3人の計4人で実施し、Precision, Recall, F値に個人差がないと確認
• 本実験では筆者のみで実施

議論はある？

• 適切な文集合が一定の Precision で得られることを示し，Recall を改善する課題を明確化した
• 本稿では触れていない「タイトル生成」の手法を提案しシステム全体を実装

次に読むべき論文は？

NULL

どんなもの？

論文リンク

http://anlp.jp/proceedings/annual_meeting/2018/pdf_dir/C7-2.pdf

著者/所属機関

中島寛人, 山田剛(日本経済新聞社)

媒体

投稿日付

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

Yahoo!の方の言語処理学会2019の論文。Yahoo!ニュースのコメント欄で上位に表示するコメントの決め方を工夫。今は単純に「いいね」順にしているが、初速が大事になったりバイアスがかかったりで不健全。コメントの「建設度」を提唱して、この建設度を用いた表示方法を検証。「返信コメントを更に見る」ボタンのCTRが上がったとのこと。

論文リンク

http://anlp.jp/proceedings/annual_meeting/2019/pdf_dir/P7-33.pdf

著者/所属機関

媒体

言語処理学会2019

投稿日付

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

グノシーにおけるユーザ行動履歴を用い、政治に関するニュース記事の閲覧傾向が世代によってどのように異なるのかを分析。最初に世代ごとのPVランキングを作成し、後に順位の差分が大きい記事を取り上げることで、若い世代は政策に中高年は政局に関心があるといった世代ごとの傾向が示唆された。

論文リンク

https://confit.atlas.jp/guide/event-img/jsai2018/3O2-OS-1b-04/public/pdf?type=in

著者/所属機関

関 喜史1 (1. 株式会社Gunosy)

媒体

2018年度人工知能学会全国大会

投稿日付

先行研究と比べてどこがすごい？

アンケートを用いたような調査は存在するものの，若年層の政治的関心がどのように他の世代と異なるのかについて，実際の行動に基づいた調査はほとんど行われていない

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

今回の分析はあくまでグノシー内の行動であり，一般化できるものではない．

次に読むべき論文は？

どんなもの？

• 広告の基礎的特徴＋高次元の画像・テキストをDeep Neural Networkに学習させ、Facebook広告のCTR予測性能と配信影響について議論
• 画像・テキスト単体よりも、広告の基礎的特徴を付与することで性能改善が見られた

論文リンク

https://confit.atlas.jp/guide/event/jsai2018/subject/4Pin1-14/advanced

著者/所属機関

岩崎 祐貴1 (1. (株) サイバーエージェント)

媒体

2018年度人工知能学会全国大会（第32回）

投稿日付

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

• encoder-decoderモデルを用いたニュースの見出し生成タスクにおいて、先行研究では文章の第一文を使うことが多い
• 本研究では、トピックセンテンス（文章内の重要な文章）を使った場合の影響を調べる
  • 第一文よりもトピックセンテンスの方が有用か否か
  • 第一文に加えてトピックセンテンスも使った場合にも有用か否か

論文リンク

http://anlp.jp/proceedings/annual_meeting/2018/pdf_dir/A1-2.pdf

著者/所属機関

Jan Wira Gotama Putra (東工大), Hayato Kobayashi (ヤフー/理研AIP), Nobuyuki Shimizu (ヤフー)

媒体

言語処理学会第24回年次大会(NLP2018)

投稿日付

先行研究と比べてどこがすごい？

上記に記載

技術や手法のキモはどこ？

「トピックセンテンス」の定義

文献[14]に基づき、以下のように定義する

Topic sentence contains the core elements ⟨subject, verb, object⟩ and at least one subordinate element time or location

どうやって有効だと検証した？

議論はある？

• 「トピックセンテンス」以外の重要文抽出アルゴリズムについても検討したい

次に読むべき論文は？

NULL

どんなもの？

• 経済記事を「不祥事」か否かで二値分類するための実務的な End-to-End のシステムを設計・構築
  • 分類システムを実運用に向けてデザインする上では精度は重要な指標の一つに過ぎず、解釈性、頑健性等に関する課題および解決策に関する研究を行なった
  • 時間の経過とともに正のクラスの定義が変化する実環境の難しさにも対応するため、再学習の仕組みも取り入れた

論文リンク

http://anlp.jp/proceedings/annual_meeting/2018/pdf_dir/B6-3.pdf

著者/所属機関

Jason Bennett, 野原崇史 (三井住友アセットマネジメント), Fei Cheng (NII), ○石田隆 (三井住友アセットマネジメント), 宮尾祐介 (NII)

媒体

言語処理学会第24回年次大会(NLP2018)

投稿日付

実務的背景

• 資産運用実務において近年、非財務情報として環境(Environment)・社会(Social)・企業統治(Governance)への取組姿勢を評価に取り入れる「ESG投資」に注目が集まっている
• 企業の不祥事イベントを早期に認識し、株価・財務内容への影響分析や投資分析を行う重要性が増加している

先行研究と比べてどこがすごい？

経済記事の分類に関する研究はセンチメント分類やイベント検出など様々あるが、不祥事検知については前例がない

技術や手法のキモはどこ？

実務上の目的に向けて、精度の向上だけでなく「解釈性の担保」「頑健性」「再学習の必要性」などの課題に取り組んでいる

• 解釈性の担保
  • ロジスティクス回帰とN-gram
• 頑健性
  • 特定期間のみに対して有効な特徴が多く、固有名詞を除外するなどの汎化性能対策をした
• 再学習の必要性
  • "我々の経済社会では、時間の経過とともに、絶えず新たな種類の不祥事が報道され社会的関心を集めている"
  • ある記事に対するシステムの分類結果が誤っているとユーザが判断した場合は、それをユーザインターフェース（UI）から変更し、分類器の学習に再度用いる仕組みを構築

どうやって有効だと検証した？

第5章 再学習に関する実験

過去のデータのみを使って学習させた場合、時が経つにつれて適合率や再現率が低下していくと分かった

※ このグラフの凡例が合っているか分からない。学習期間の月数が少ないほど精度が低いのは何故だ。。。

議論はある？

• 半教師あり学習の手法も検討してみたい

次に読むべき論文は？

NULL

どんなもの？

• 「Yahoo!知恵袋」でユーザが投稿した質問文から、自動的に見出し用の一文を抽出する仕組みの提案
• 「Yahoo!クラウドソーシング」で教師あり学習のための訓練用データを作成
• 既存手法を上回る性能を示した

論文リンク

https://research-lab.yahoo.co.jp/nlp/20180606_higurashi.html

著者/所属機関

日暮 立、小林 隼人、村尾 一真、増山 毅司

媒体

2018年度 人工知能学会全国大会（第32回）(JSAI2018), 2018/6

投稿日付

2018/6

先行研究と比べてどこがすごい？

• Q&A サイトのようにユーザーが自由に記述できるデータに対して要約技術を適用したものは少ない
• 今回の課題は、単なる文抽出の要約ではなく、スマホ通知を念頭に置いた文字数制限がある
• 生成型要約モデルは致命的な誤りを含む見出しを生成する可能性があるため、採用しなかった

技術や手法のキモはどこ？

課題をランク学習の枠組みに落とし込んで、クラウドソーシングによる訓練用データ生成を可能にした

どうやって有効だと検証した？

議論はある？

今後は, ランク学習の他にも深層学習を取り入れた手法の検討を行なっていく予定である. また, ランク学習によって生成した見出しのユーザーの回答率やクリック率への影響をオンラインで検証していくことも検討している

次に読むべき論文は？

ランク学習（Learning to Rank） Advent Calendar 2018

どんなもの？

アダルトサイトの広告画像の世界で adversarial example が使われているという話 from S&P19。
画像を見た人にはそれと認識できる（つまり広告として有効である）が、アダルトコンテンツ検知から逃れられるよう画像を加工するというもの（まだ概要を斜め読みしただけ）。https://t.co/jE8SqUpisH

— Tatsuya Mori (@valdzone) January 10, 2019

論文リンク

• https://www.computer.org/csdl/proceedings/sp/2019/6660/00/666000a530-abs.html
• https://csdl.computer.org/csdl/proceedings/sp/2019/6660/00/666000a530.pdf

著者/所属機関

• Kan Yuan , Indiana University Bloomington
• Di Tang , Chinese University of Hong Kong
• Xiaojing Liao , Indiana University Bloomington
• XiaoFeng Wang , Indiana University Bloomington
• Xuan Feng , Indiana University Bloomington/Chinese Academy of Sciences
• Yi Chen , Indiana University Bloomington/Chinese Academy of Sciences
• Menghan Sun , Chinese University of Hong Kong
• Haoran Lu , Indiana University Bloomington
• Kehuan Zhang , Chinese University of Hong Kong

媒体

• 2019 2019 IEEE Symposium on Security and Privacy (SP) (2019)
• San Fransisco, CA, US
• May 20, 2019 to May 22, 2019
• ISSN: CFP19020-ART
• ISBN: 978-1-5386-6660-9
• pp: 530-544

投稿日付

• May 20, 2019 to May 22, 2019

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

• 機械学習を用いたフェイクニュース自動検出の研究が盛んになりつつあるが，未だフェイクニュース検出タスクのための実用的なデータセットが豊富にあるとは言いがたい
• 有用なデータセットの作成を目的として，人間が実際に行うフェイクニュース検出の過程を模倣して，検索エンジンを利用して収集した外部ソースからの情報を用いてフェイクニュース検出を行う方式により，フェイクニュース検出タスク用のデータセットを作成する手法を提案し，その手法を用いて実際に小規模データセットを作成した

論文リンク

http://anlp.jp/proceedings/annual_meeting/2018/pdf_dir/E5-4.pdf

著者/所属機関

尾崎諒介, 前田竜冶 (福井大), 宇津呂武仁 (筑波大), 村瀬一之 (福井大)

媒体

言語処理学会第24回年次大会(NLP2018)

投稿日付

先行研究と比べてどこがすごい？

• 「含意関係認識」タスクのデータセットは存在するが、データ内の語彙に大きな偏りがありデータ作成時にバイアスを含んでいる
• フェイクニュース検出のためのデータセットも存在するが、ラベルの不均衡問題がある

技術や手法のキモはどこ？

• 人間によるフェイクニュース判定の手順を模倣する方式を採用

1. ステートメントを検索エンジンで検索する
2. 検索結果ページ一つ一つの本文の主張とステートメント間の含意関係を True，False，関連するが判定不可，無関係の4値に分類する

• 4人の分類判断の多数決でステートメント・検索結果ページ間のラベルを決定する

3. それぞれの分類をもとに最終的にステートメントがフェイクニュースかそうでないか判断をする

どうやって有効だと検証した？

• PolitiFact ラベル (True か Pants on fire)との一致具合で評価
  • PolitiFactは主にアメリカの政治にまつわる発言や事柄 (ステートメント) についての信憑性の事実確認を行うサイト
• 38ステートメントの検索結果ページ間多数決ラベルの内，35ステートメントがPolitiFactラベルと一致した

議論はある？

• できなかった3ステートメントについて分析
  • 検索された結果ページにフェイクニュースの記事のほうが多く存在してしまう場合
  • 2つの立場から真偽を判定でき，1 つの立場では真であり，もうひとつの立場では偽である場合

次に読むべき論文は？

NULL

どんなもの？

• （1969年の東大入試が安田講堂事件の影響で中止され、本来なら東大を受験していた学生が他の大学に入学していたという）異常な状況を利用し、東大の卒業生が雇用と昇進の優遇措置を受けているかどうかを調べる自然実験を実施
• 採用段階ではどこの大学に通っていたかが効果的であると分かったが、その後の段階で同様の優遇措置が得られるという有意な結果は確認できなかった

論文リンク

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=635861

著者/所属機関

Taejong Kim
KDI School of Public Policy and Management

Yoichi Okita
National Graduate Institute for Policy Studies

媒体

KDI School of Pub Policy & Management Paper No. 04-18

投稿日付

June 30, 2004

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

論文リンク

https://rss.onlinelibrary.wiley.com/doi/abs/10.1111/rssb.12243

著者/所属機関

媒体

投稿日付

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

Deep Neural Networkの特徴量の重要度を推定する手法の評価ベンチマーク「ROAR, RemOve And Retrain」を提唱。下図の通り、各推定器に基づいて最も重要と思われる特徴量の一部を削除し、再学習したときのモデルの精度の変化を測定する。

Findings

1. とある特徴量が「情報価値がない」と見なすためには、Trainingが重要である
2. ROARはランダムに並び替える手法よりも一般に精度が低いが、ノイズの多い推定器については圧倒的に効果的である

Limitations

1. 単一のモデル、単一のデータセットを想定しており、計算上の制約のために現存する一部の推定器しか考慮できていない

論文リンク

https://arxiv.org/abs/1806.10758

著者/所属機関

Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim / Google Brain

媒体

投稿日付

[v1] Thu, 28 Jun 2018 03:46:57

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

29グループ（計61人）のデータアナリストに、同じデータセットと同じ質問を与えたときの分析アプローチのバラツキを分析。質問は「サッカーの主審は、肌の白い選手に比べて肌の黒い選手にレッドカードを与える可能性が高いですか？」。

分析アプローチはチーム間で大きく異なり、オッズ比で0.89から2.93の範囲だった（**値は1.31）。20チーム（69％）が統計的に有意な正の結果を示した一方で、9チーム（31％）は有意な関係を示さなかった。

これらの知見は、たとえ真摯な専門家集団であっても、複雑なデータの分析結果に主観的な要素が入り込むのは避け難いことを示唆している。 分析を透明化する手段として、同じ研究課題を同時に調査するために多数の研究チームを採用する「クラウドソーシング」が有用であると提言している。

論文リンク

http://journals.sagepub.com/doi/10.1177/2515245917747646
https://www.researchgate.net/publication/320041452_Many_analysts_one_dataset_Making_transparent_how_variations_in_analytical_choices_affect_results

著者/所属機関

R. Silberzahn et.al

媒体

SAGE Journals

投稿日付

First Published August 23, 2018

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

• Jリーグを題材に、得点や失点の起点となった攻守の切り替え地点に着目
• 切り替え位置ゴールまでの攻撃経過時間の比較と上位チームと下位チームの違いについて考察
• チームの上位進出にはどのような戦術を用いたら良いか提案

データセット

• 日本統計学会・スポーツ統計分科会提供の第 8 回スポーツデータ解析コンペティション用データ
• 2017 年度 J1 リーグ第 30 節～第 34 節の全 45 試合を対象
• ボールタッチデータ内のプレーデータ項目,「チーム名」「攻撃方向」「攻撃開始履歴 No.」「ボール X」「ボール Y」「攻撃経過時間」「F_ゴール」「F_ボールゲイン」の変数を利用

ボール奪取位置をクラスタリング

• クラスター1（ミドルサード）でのボール奪取から得点に繋げているうち7割近くが下位チーム
  が得点
• クラスター2（アタッキングサード）でのボール奪取からの得点のうち9 割近くが上位チーム

提案

上位チームの傾向が遅攻スタイル,サッカー用語を使うとポゼッションサッカーと呼ばれる
パスを繋ぎ,ボールを相手に渡さずに攻めるチームが多いと見られる為,下位チームは素早く攻撃を行うカウンターサッカーの傾向からポゼッションサッカーにスタイル変更を行うことが上位進出への手掛かりになると見られる

（所感：スタイル変更→上位進出の手がかりという因果方向で良いのか？）

論文リンク

http://www.orsj.or.jp/~nc2019s/wp-content/uploads/2019/02/2019s-1-B-3.pdf

著者/所属機関

東海大学

媒体

日本オペレーションズ・リサーチ学会 2019年 春季研究発表会

投稿日付

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

特徴を一つずつ外した時に全体の誤差がどの程度変化するかを見ることで重要度を見いだす

To select proper features tailored for particular network, we decided to use a well known sensitivity based method developed by Moody [4]. It is called Sensitivity based Pruning (SBP) algorithm. It evaluates a change in training mean squared error (MSE) that would be obtained if ith input’s influence was removed from the network. The removal of influence of input is simply modeled by replacing it by its average value.

論文リンク

• https://link.springer.com/chapter/10.1007/978-3-319-11298-5_2
• https://pdfs.semanticscholar.org/adb0/6f817bf17006d01442131c31f7d2fcadecfa.pdf

著者/所属機関

媒体

International Conference on Adaptive and Intelligent Systems 2014: Adaptive and Intelligent Systems pp 11-19 | Cite as

投稿日付

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

大学機関に所属する100以上のTwitterユーザを分析したところ、フォロワー1000人以上のユーザは、フォロワーの科学者以外の割合が高く研究のアウトリーチに効果的な状況になっていると分かった。

論文リンク

https://doi.org/10.1139/facets-2018-0002

著者/所属機関

Isabelle M. Côté, Emily S. Darling

媒体

FACETS, published by Canadian Science Publishing.

投稿日付

28 June 2018

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

Twitterのオンラインプロフィール情報をもとに、ユーザの各フォロワーの属性（科学者、メディア関係者、意思決定者など）を予想した。

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

論文リンク

https://www.jstage.jst.go.jp/article/jnlp/24/1/24_95/_pdf/-char/ja

著者/所属機関

媒体

投稿日付

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

フェイクニュースの検出に関して、例えば「○○議員が××と発言した」というニュースの真偽を判断するためには、一次情報である議会会議録などを用いて○○議員の実際の発言を調査すればよい。本研究では、新聞記事で引用されている箇所をどのように探せばよいか検討するため、地方議会会議録コーパスを利用し、会議録の発言がどのように新聞記事に記述されているかを明らかにする。具体的には、日経電子版の記事から「豊洲問題」に関する記事 67 点を収集し、そのうち発言文 (会議録要約文) が載る 32 点の記事から 150 の対応関係を抽出し、分析を行った。引用箇所の約95%はBoWなどの語句レベルの一致により推定できると示唆された。

論文リンク

http://anlp.jp/proceedings/annual_meeting/2018/pdf_dir/B3-2.pdf

著者/所属機関

木村泰知, 戸嶋咲穂, 渋木英潔

媒体

言語処理学会 第24回年次大会 発表論文集 (2018年3月)

投稿日付

先行研究と比べてどこがすごい？

我々は，従来から，全国の自治体の地方議会会議録を収集・整理する手法を確立し，「地方議会会議録コーパス」の構築を進めてきた

技術や手法のキモはどこ？

特になし。

どうやって有効だと検証した？

特になし。

議論はある？

対応箇所を自動的に推定する難しさの観点から、32記事における 150 文を以下のように分類した。

1. 新聞記事の引用箇所と都議会会議録の発言箇所の表現が完全に一致する．
2. 新聞記事の引用箇所と都議会会議録の発言箇所の表現がほぼ一致する．

• (2a) 一致しない箇所は，敬語を常態語 (普通語)に直していたり，敬体を常体に直している．
• (2b) 一致しない箇所は，助詞，接続詞，形式名詞などの実質的な意味を表さない語句を言い換えている．
• (2c) (2a) と (2b) に当てはまらない，実質的な意味を表す語句を言い換えている．

1. 新聞記事の引用箇所と都議会会議録の発言箇所の表現が大きく異なる．

(1) は語句が連続しているかどうかの問題はあるが、引用箇所に該当する表現が全て発言箇所に存在しており、exact match により推定できると考えられる。(1) は最も簡単に対応関係を推定できる場合であり、調査対象の 22.7%（34/150 文）を占めた。

(2) は、引用箇所をBag of Words（BoW）として表現することで対応関係が推定できそうなものである。

(3) は、対応関係にある箇所全体の意味を考慮しなくてはならず、語句レベルの対応関係を超えているため最も難しい推定となる。しかしながら(3) は調査対象の 5.3%（8/150文）と少なかった。

次に読むべき論文は？

特になし。検出に向けた続報が出たら読みたい。

どんなもの？

• 以前に報道された事柄を前提とする「続報記事」について、関連記事を自動判定する仕組みを作成したい
  • 学習データを用意して直接学習させるのは現実的ではない
    • 多岐にわたる内容の記事に対して学習データを用意するのが困難
    • 学習時に存在しなかった新規の話題が次々と現れ判定器がすぐに劣化すると想定される
  • そこで、教師なしのキーフレーズ抽出法を用いて記事の主題を抽出し、そのフレーズを関連記事抽出に応用する
• キーフレーズには「文書の内容を端的に表現」「文書の検索を容易にする」の役割がある
  • 本稿の文脈では後者の役割が大切で、特に関連記事が同一のキーフレーズを共有しているという性質（キーフレーズ共有性）が重要である
• 本稿では、キーフレーズ共有性に着目した、明示的な正解を用いないキーフレーズ抽出法と評価尺度を提案
  • 提案する評価尺度によると従来の抽出法には課題があると示す
  • その課題を改善する新しい抽出法を提案

論文リンク

http://www.anlp.jp/proceedings/annual_meeting/2018/pdf_dir/A7-4.pdf

著者/所属機関

大倉俊平, 小野真吾 (ヤフー)

媒体

言語処理学会第24回年次大会(NLP2018)

投稿日付

先行研究と比べてどこがすごい？

• 従来のキーフレーズ抽出手法は、著者などが設定したキーフレーズの再現性で評価されることが多い[3]
  • 著者らが付与するキーフレーズはキーフレーズ共有性を重要視していない
  • 特に内容を端的に表現することを重視してキーフレーズをつけた場合、関連する文書同士でも選ばれるキーフレーズが異なる場合が多く、本稿の目的にはそぐわない

第2章 キーフレーズ共有性の評価

• データセット：Yahoo!トピックス
  • Yahoo!ニュースに入稿される記事から、編集者が毎日100件前後抽出して作成（例：「トランプ大統領来日」「台風21号」「衆議院選挙」）
  • 2017年10〜12月の記事のうち、2記事以上を含む66トピック1716記事を利用
• あるキーフレーズ抽出法で各記事にそれぞれキーフレーズを付与した時、同一トピックの記事が同じキーフレーズを共有していれば、その抽出法は関連記事抽出に使いやすいフレーズを出力できていると見なす

既存の六つの教師なしキーフレーズ抽出法

|*抽出法|説明|
|TF-All|全ての品詞を含む全単語から，記事中の出現頻度が高い順にキーフレーズとする|
|TF-Noun|TF-Allで品詞を名詞だけに制限|
|TF-IDF-Noun|各名詞の出現頻度に逆記事頻度(IDF)をかけ，値が高い順にキーフレーズとする|
|TF-IDF-Phrase|キーフレーズ候補を連続する名詞からなるフレーズとする．フレーズを構成する各名詞毎に TF-IDF を計算しその和をスコアとし、高い順にキーフレーズとする|
|PosRank|グラフベースの教師なしキーフレーズ抽出法である PositionPank[1] を用いたもの．キーフレーズ候補は「[形容詞][名詞]+」の形をしたフレーズである．ウィンドウサイズは5とした|
|PosRank-Noun|PosRank において，キーフレーズ候補を名詞 1 単語のみとしたもの|

評価結果

K: 抽出キーフレーズ数, P: Precision, R: Recall, F: F値

技術や手法のキモはどこ？

• Recallが低くなる問題を解決するため、類似記事を参照する方法として、TF-IDFを改良した手法を提案
  • 記事内の単語の出現頻度(TF)に変えて、類似記事での出現記事数(Neighborhood Frequency, NF)を用いる
  • この変更で、著者特有の表現などその記事においてのみ使用される表現がフレーズとして抽出されることを避けられる
• 一方で、1記事のキーフレーズ抽出にD全体の情報が必要になるため、計算コストは高くなる
  • RNNを用いて事前にD全体の情報を用いてモデルを構成しておき、抽出時には対象記事dのみを用いてNF-IDFを推定する手法も実装した(BiGRU-CRF)
    • 学習用記事群Dに対して，NF-IDFを用いて記事毎に各10フレーズを抽出
    • それぞれの記事でフレーズとして抽出された箇所に，固有表現抽出の学習で用いられるBIESOタグ[5]を用いてタギング
    • 2で得られたタグを学習データとし，入力単語列からタグ列を推定するモデルを学習
    • フレーズ抽出時には，学習されたモデルに文章を入力し，キーフレーズとしてタギングされる確率が高い箇所から順にキーフレーズとして出力

どうやって有効だと検証した？

• 評価用の記事とは別のニュース記事50万件でRNNを学習
• 第2章と同様の評価を実施
  • NF-IDFで、既存手法に対してRecallもPrecisionも大きく向上した
  • BiGRU-CRFでは、NF-IDFも上回る結果を示した

議論はある？

• BiGRU-CRFでは、NF-IDFと同様の性能を期待していたが、大きく上回る結果を示した
  • フレーズの周辺情報による汎化と，CRFの確率モデルの部分がNF-IDFの不安定さを吸収できたためではないかと考えられる

次に読むべき論文は？

[1] C. Florescu and C. Caragea. Positionrank: An unsupervised approach to keyphrase extraction from scholarly documents. In Proceedings of the 55th Annual Meeting of the ACL, volume 1, pages 1105–1115, 2017.

どんなもの？

サッカー選手のプレイデータから速報テキストを生成

論文リンク

http://anlp.jp/proceedings/annual_meeting/2018/pdf_dir/A3-2.pdf

著者/所属機関

谷口泰史 (東工大), 高村大也 (東工大/産総研), 奥村学 (東工大)

媒体

言語処理学会第24回年次大会(NLP2018)

投稿日付

どんなもの？

先行研究と比べてどこがすごい？

• テキスト生成課題で広く用いられる encoder-decoder[6]モデルは， 選手名やチーム名のような低頻度な単語に強く影響を受け，プレイデータについて正しく言及するようなテキストが出力できないという問題点があった
• 提案手法では出力となる速報テキストにおける言語表現を汎化した上で学習し，それらの復元方法も同時に学習することで，プレイデータにより即した出力結果を得た

技術や手法のキモはどこ？

• encoder-decoder[6]モデルを拡張
  • 選手名やチーム名といった多様な入力を，速報テキスト中での出現順に番号付けし汎化タグに変換
  • 過学習を避けるため，学習データセット中の頻度が上位 100 件の単語 bigram を 1 つの単語として扱う

どうやって有効だと検証した？

• Premier League1の 15/16 シーズンの全試合のデータを利用

• 議論はある？

汎化タグに変換するだけでなく，単語の結合も行うことで，生成文の質が上がっていた

次に読むべき論文は？

• encoder-decoder[6]モデル
  • [6] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. arXiv:1409.3215, 2014.

どんなもの？

• 二値分類タスクの一般的な指標であるAUCについて、正解ラベルに対して"推測"のn次元ベクトルからどのように計算されるか、数学的構造を調べる
• AUCから正例の数を効率的に推定するアルゴリズムを導出

論文リンク

https://arxiv.org/abs/1709.02418

著者/所属機関

Whitehill, J.

媒体

投稿日付

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

• 人々の流れや人口動態を予測する課題に取り組むために、Yahoo!のルート検索ログを利用
• イベントが近づくにつれて、未来のイベントに関連するルート検索ログが繰り返され、累積される
• このデータを分析し、イベントの混雑を1週間前に予想
• 370,000,000件を超えるログを使用して実験を行った

論文リンク

https://dl.acm.org/citation.cfm?id=2971718

著者/所属機関

• Tatsuya Konishi The University of Tokyo, Tokyo, Japan
• Mikiya Maruyama Yahoo Japan Corporation, Tokyo, Japan
• Kota Tsubouchi Yahoo Japan Corporation, Tokyo, Japan
• Masamichi Shimosaka Tokyo Institute of Technology, Tokyo, Japan

媒体

Proceeding
UbiComp '16 Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing
Pages 752-757

投稿日付

September 12 - 16, 2016

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

どんなもの？

• 強化学習を使用しないGANによる文生成モデル「LaTextGAN (latent-space GAN for text)」を提案
• オートエンコーダを利用して文の低次元表現を学習させて生成器に伝播させることで、現実的な文生成を実現

論文リンク

https://arxiv.org/abs/1810.06640

著者/所属機関

David Donahue, Anna Rumshisky / University of Massachusetts Lowell

媒体

arxiv

投稿日付

[v1] Thu, 11 Oct 2018 22:50:38 GMT

先行研究と比べてどこがすごい？

• テキストのシーケンスが離散的で勾配が識別器から生成器に伝播できないため、GANの訓練は自然言語処理の限られた範囲でしか成功しかなかった
• 近年は解決法として、強化学習を使用して近似勾配を生成器に伝播させているが、これは訓練が非効率的
• 本研究では、オートエンコーダを利用して文の低次元表現の学習させ、生成器に伝播させている

技術や手法のキモはどこ？

• オートエンコーダを利用して文の低次元表現を学習させて生成器に伝播させることで、GANが独自のベクトルを生成するように訓練され、現実的な文生成を実現

どうやって有効だと検証した？

• 文ベクトルを可視化することで、提案モデルがオートエンコーダーの潜在空間を正しく学習していると示した
• 人による評価とBLEUスコアの両方で、提案モデルが競合するベースラインに対して現実的なテキスト生成ができると示した

議論はある？

• 強化学習を用いることは、文生成タスクへGANを適用するに当たって大きな障壁となる
• 提案モデルを通じて、コンピュータビジョン以外でのGANの普及促進を目指しています

次に読むべき論文は？

Null