Tensor2Tensor – co to je?

Společnost Google nedávno oznámila vydání knihovny Tensor2Tensor. Hlavním cílem T2T je urychlit výzkum v oblasti hlubokého učení (deepl learning) tím, že všem poskytne přístup k nejmodernějším modelům. V tuto chvíli se zaměřuje hlavně na problémy NLP (zpracování přirozeného jazyka) a obecně na sekvenční analýzu. Je však postaven nad Tensorflow a modulární struktura Tensor2Tensor umožňuje vývojářům a výzkumníkům jednoduše přidávat nové modely.

Tato pythonovská knihovna poskytuje jednoduché API pro generování datových sad, trénování a ladění hyperparametrů. Obsahuje:

  • Populární nástroj pro generování datových sad sekvencí
  • Modely pro práci s různými vstupními/výstupními modalitami: symbolickými, obrazovými, zvukovými, se štítky.
  • Předem vyladěné sady hyperparametrů pro modely a jejich optimalizátory.
  • Trenažér s jednoduchým rozhraním CLI
  • Modely SOTA, jako jsou ByteNet, MultiModel(paper), SliceNet, Transformer(paper) a Xception.

Architektura

Nejvíce fascinující vlastností této sítě je, že se dokáže naučit řešit několik různých problémů najednou. Výzkumníci vycvičili stejnou neuronovou síť pro klasifikaci obrázků, tvorbu popisků k obrázkům, rozbor textu, rozpoznávání řeči, překlad z angličtiny do němčiny a z angličtiny do francouzštiny. A v každém z nich odvedla skvělou práci!

Jedná se o obrovský úspěch v oblasti transferového učení a v blízké budoucnosti se pravděpodobně dočkáme mnoha článků a vylepšení této architektury.

Transformer je také docela v pohodě, zatímco používá mechanismy pozornosti místo rekurentních vrstev a dosahuje dobrých výsledků. Přitom potřebuje jen 1 až 10 procent výpočetního výkonu oproti svým konkurentům.

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna.