より良いTransformerをつくる

より良いTransformerをつくる

Transcript ΑΓྑ͍TransformerΛͭ͘Δ ཧݚAIP ਗ਼໺ ॢ ँࣙ • খྛᰜհࢯˏPreferred Networks / ౦๺େ • ߴ੉ᠳࢯˏ౦޻େ • ླ໦५ઌੜˏ౦๺େ ʹ͸ຊߨԋͷςʔϚઃఆ΍εϥΠυͷਪᏏʹ͝ڠྗ͍͖ͨͩ·ͨ͠ɻ ͜ͷ৔ΛआΓͯਂ͘ײँ͍ͨ͠·͢ɻ ໊ݹ԰஍۠NLPηϛφʔ 2022/06/07 3 ͓͞Β͍ɿTransformer [Vaswani+2017] • Attention→FeedforwardΛͨ͘͞ΜੵΉ+৭ʑ޻෉ • ܥྻม׵Ϟσϧ΍ࣄલ܇࿅ࡁΈݴޠϞσϧͷࠜװ • ࠷ۙ͸Ի੠ɾը૾෼໺Ͱ΋׆ൃ • ∴ Transformerࣗମͷվྑ͸ΠϯύΫτେ • Change the worldͰ͖ΔՄೳੑ͕͋Δ ໊ݹ԰஍۠NLP…