E quase sempre os dados chegam nessa plataforma através de um dos storages das principais clouds do mercado:

• AWS S3.
• Google Cloud Storage.
• Azure Data Lake.

E em todas conseguimos utilizar o Knime, nesse artigo iremos trazer como ler arquivos parquet do S3 com o Knime.

E para isso é necessário seguir alguns passos:

• Autenticar na conta da Amazon.
• Escolher qual Bucket do S3 iremos utilizar.
• Quais arquivos iremos ler do S3.

Começando pela autenticação do S3.

É importante ter um usuário criado na AWS e suas credenciais, para informar o Access Key ID e Secret Key.

E informar a região

E depois clicar em Test Connection.

Uma vez que conectamos neste primeiro node, agora iremos utilizar o node: Amazon S3 Connector.

Que é o mais simples, basta informar o nome do bucket.

E para fechar, iremos utilizar o node Parquet Reader, e basta informarmos o diretório aonde está o arquivo

E dessa forma temos os dados de clientes que estão no S3 prontos para podermos criar os nossos fluxos de dados.

Espero que tenha gostado.

Conheça o nosso Ebook do Knime Troopers.

Muito Obrigado.

Rafael Arruda