Processamento de Linguagem Natural com o FAIRSeq - Facebook AI Research Sequence-to-Sequence Toolkit

No post recente do Facebook Code foi apresentado o FAIRSeq, acrônimo para Facebook AI Research Sequence-to-Sequence Toolkit em que os pesquisadores conseguiram ter bons resultados misturando uma abordagem com CNN (convolutional neural network) juntamente com sequence to sequence learning; abordagem essa que além de ter uma acurácia maior do que abordagens com RNN (recurrent neural networks) tem um poder de processamento muito maior. Apesar dos resultados, e da abordagem; o mais interessante é ver como que aspectos básicos da ciência observacional tem uma grande influência na inovação; em outras palavras, como que a observação simples pode levar a ótimos resultados. Para entender melhor, vejam a inspiração na qual o mecanismo principal da arquitetura que faz a tradução foi pensado:

“A distinguishing component of our architecture is multi-hop attention. An attention mechanism is similar to the way a person would break down a sentence when translating it: Instead of looking at the sentence only once and then writing down the full translation without looking back, the network takes repeated “glimpses” at the sentence to choose which words it will translate next, much like a human occasionally looks back at specific keywords when writing down a translation.3 Multi-hop attention is an enhanced version of this mechanism, which allows the network to make multiple such glimpses to produce better translations. These glimpses also depend on each other. For example, the first glimpse could focus on a verb and the second glimpse on the associated auxiliary verb.”

Para quem interessar há uma versão do código disponível no Github e o paper original com os resultados está aqui.