【機械学習】【日本語モデル付き】2020年に自然言語処理をする人にお勧めしたい文ベクトルモデル | プロマリ | プログラミング教室 | リモートワーク | 港区

N自然言語処理を学習されている方、必見です。

`（日本語において）品質の高い、つまり、字面ではなく文脈を踏まえた文の意味が近いほど近いベクトルになるという性質を持ったベクトルを作る話です。

趣味や実務で意味が近い文を探すなどの目的で、文ベクトルを作るということをしている人は一定数いると思います。

しかし、単語ベクトルの平均でも悪くはないけれども、いまいちな場面が出てきて、気がつくとヒューリスティクスという名の迷路に迷い込んだりしていないでしょうか（特定の単語や品詞をストップワードにしてみたり、謎の重み付けを加えてみたり。え、根拠は？と）。
他にも、単語ベクトルの平均では多義語が扱えずに困ったり、文脈が考慮されないため「そこじゃない」という単語に着目した類似文検索になったり。
一方、Universal Sentence Encoderのような既存の深層ニューラルネットワークを用いた文ベクトルモデルの学習は計算コストが高すぎて、自分で学習させるのは辛かったりも。

こういう悩みを抱えている同志向けに、論文 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networksで提案された手法を使い高品質な日本語文ベクトルモデルを作り、公開します。`

出典：Qiita 【日本語モデル付き】2020年に自然言語処理をする人にお勧めしたい文ベクトルモデル

以下の記事は、Qiita @sonoisaさんの紹介記事です。

• 【日本語モデル付き】2020年に自然言語処理をする人にお勧めしたい文ベクトルモデル