Společnost Google nedávno oznámila vydání knihovny Tensor2Tensor. Hlavním cílem T2T je urychlit výzkum v oblasti hlubokého učení (deepl learning) tím, že všem poskytne přístup k nejmodernějším modelům. V tuto chvíli se zaměřuje hlavně na problémy NLP (zpracování přirozeného jazyka) a obecně na sekvenční analýzu. Je však postaven nad Tensorflow a modulární struktura Tensor2Tensor umožňuje vývojářům a výzkumníkům jednoduše přidávat nové modely.
Tato pythonovská knihovna poskytuje jednoduché API pro generování datových sad, trénování a ladění hyperparametrů. Obsahuje:
- Populární nástroj pro generování datových sad sekvencí
- Modely pro práci s různými vstupními/výstupními modalitami: symbolickými, obrazovými, zvukovými, se štítky.
- Předem vyladěné sady hyperparametrů pro modely a jejich optimalizátory.
- Trenažér s jednoduchým rozhraním CLI
- Modely SOTA, jako jsou ByteNet, MultiModel(paper), SliceNet, Transformer(paper) a Xception.
Architektura
Nejvíce fascinující vlastností této sítě je, že se dokáže naučit řešit několik různých problémů najednou. Výzkumníci vycvičili stejnou neuronovou síť pro klasifikaci obrázků, tvorbu popisků k obrázkům, rozbor textu, rozpoznávání řeči, překlad z angličtiny do němčiny a z angličtiny do francouzštiny. A v každém z nich odvedla skvělou práci!
Jedná se o obrovský úspěch v oblasti transferového učení a v blízké budoucnosti se pravděpodobně dočkáme mnoha článků a vylepšení této architektury.
Transformer je také docela v pohodě, zatímco používá mechanismy pozornosti místo rekurentních vrstev a dosahuje dobrých výsledků. Přitom potřebuje jen 1 až 10 procent výpočetního výkonu oproti svým konkurentům.