Atualmente muitas empresas tem adotado plataformas de dados renomadas no mercado como Snowflake, Databricks entre outras.
E quase sempre os dados chegam nessa plataforma através de um dos storages das principais clouds do mercado:
- AWS S3.
- Google Cloud Storage.
- Azure Data Lake.
E em todas conseguimos utilizar o Knime, nesse artigo iremos trazer como ler arquivos parquet do S3 com o Knime.
E para isso é necessário seguir alguns passos:
- Autenticar na conta da Amazon.
- Escolher qual Bucket do S3 iremos utilizar.
- Quais arquivos iremos ler do S3.
Começando pela autenticação do S3.
É importante ter um usuário criado na AWS e suas credenciais, para informar o Access Key ID e Secret Key.
E informar a região
E depois clicar em Test Connection.
Uma vez que conectamos neste primeiro node, agora iremos utilizar o node: Amazon S3 Connector.
Que é o mais simples, basta informar o nome do bucket.
E para fechar, iremos utilizar o node Parquet Reader, e basta informarmos o diretório aonde está o arquivo
E dessa forma temos os dados de clientes que estão no S3 prontos para podermos criar os nossos fluxos de dados.
Espero que tenha gostado.
Conheça o nosso Ebook do Knime Troopers.
Muito Obrigado.
Rafael Arruda