様々な資料から収集した世界と日本の自然言語処理の歴史年表をまとめました。 もし間違いがありましたらお詫びすると共に、ご指摘いただければ訂正します。
より良いTransformerをつくる
Transcript ΑΓྑ͍TransformerΛͭ͘Δ ཧݚAIP ਗ਼ ॢ ँࣙ • খྛᰜհࢯˏPreferred Networks / ౦େ • ߴᠳࢯˏ౦େ • ླ५ઌੜˏ౦େ ʹຊߨԋͷςʔϚઃఆεϥΠυͷਪᏏʹ͝ڠྗ͍͖ͨͩ·ͨ͠ɻ ͜ͷΛआΓͯਂ͘ײँ͍ͨ͠·͢ɻ ໊ݹ۠NLPηϛφʔ 2022/06/07 3 ͓͞Β͍ɿTransformer [Vaswani+2017] • Attention→FeedforwardΛͨ͘͞ΜੵΉ+৭ʑ • ܥྻมϞσϧࣄલ܇࿅ࡁΈݴޠϞσϧͷࠜװ • ࠷ۙԻɾը૾Ͱ׆ൃ • ∴ TransformerࣗମͷվྑΠϯύΫτେ • Change the worldͰ͖ΔՄೳੑ͕͋Δ ໊ݹ۠NLP…
東京大学深層学習（Deep Learning基礎講座2022）深層学習と自然言語処理
東京大学深層学習（Deep Learning基礎講座2022）https://deeplearning.jp/lectures/dlb2022/ 「深層学習と自然言語処理」の講義資料です。
頻出単語表示、わずか9KBのAI日本語単語分割ライブラリ「TinySegmenter」をESモジュール化
自由入力された文章をデータ化する形態素解析ですが、巨大な辞書が必要になったり次々登場する単語に対応することなどなかなか大変そうなイメージでしたが、機械学習を使った、単語分割するコンパクトな実装「TinySegmenter」を発見。ブラウザやDenoでいい感じに使えるESモジュール版にしてみました。 「頻出単語表示 by…
Yoshipon on Twitter: “なんやこの資料… やばすぎる… 全人類が読むべきことが詰まっている… 脳汁がやばい… Increasing number of attempts ver. 2021 https://t.co/pnu9shGUTg”
なんやこの資料… やばすぎる… 全人類が読むべきことが詰まっている… 脳汁がやばい… Increasing number of attempts ver. 2021 https://t.co/pnu9shGUTg
メタ、「GPT-3並み」の大規模言語モデルを研究者向けに無償提供
メタ（旧フェイスブック）AIラボは、自社開発した大規模言語モデル「OPT」を研究者向けに無償で提供を開始した。オープンAIの「GPT-3」と同じパラメーター数を持つ。同モデルの構築方法や訓練方法の詳細も公開しており、巨大テック企業の取り組みとしては異例だ。 by Will Douglas Heaven2022.05.09 24 18 2 1 メタ（旧…
BERTのレイヤー数削減による多言語キーフレーズ抽出モデルの軽量化・高精度化 – Beatrust techBlog
こんにちは、Beatrust で Machine Learning Lead をしている Tatsuya （白川 達也）です。 以前、下記の記事でキーフレーズ抽出機能のご紹介をしましたが、その後の試行錯誤をした結果、以前に比べて軽量化・高精度化に成功したので、これまでにどのような工夫をしたのかをご紹介しようと思います。 tech.beatrust.com …
Pathwaysの恐るべき威力、ベールを脱いだグーグルの万能AIが目指す究極形とは
米Google（グーグル）が数年にわたって開発を進めてきた万能AI（人工知能）、「Pathways」の実力が明らかになった。Pathwaysは1つの機械学習モデルが最大数百万種類のタスクに対応できるという「万能」もしくは「汎用」のAIだ。従来のAIが1モデル1タスクの専用品であるにもかかわらず、タスクを処理する性能は汎用である…
Stanford CS 224N | Natural Language Processing with Deep Learning
Logistics Lectures: are on Tuesday/Thursday 4:30-5:50pm Pacific Time (Remote, Zoom link is posted on Canvas). Lecture videos for enrolled students: are posted on Canvas (requires login) shortly after each lecture ends. Unfortunately, it is not possible to make these videos viewable by non-enrolle…