it-swarm-ja.com

Azureでs3バケットにアクセスする際のAWSアクセスキーの問題VM

Azure HDInsight ClusterVMからAWSs3バケットにアクセスしようとしています。新しいキーを生成し、.aws/credentialsに追加しました。 「awss3ls」は、AzureVMで正常に機能しています。 hadoop distcpを実行するか、spark-Shellでs3ファイルを読み取ると、「指定したAWSアクセスキーIDがレコードに存在しません」という403エラーが発生します。 AWS_SESSION_TOKEN、AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEYをエクスポートしてみました。しかし、運がありません。この問題の解決にご協力ください。

1
Sathish_P

この問題の修正を見つけました。 core-site.xmlに次のプロパティを追加しました。

プロパティ1:

名前:fs.s3a.aws.credentials.provider

値:org.Apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider

プロパティ2:

名前:fs.s3a.access.key

値:XXXXXXXXX

プロパティ3:

名前:fs.s3a.secret.key

値:XXXXXXX

プロパティ4:

名前:fs.s3a.session.token

値:XXXXX

当初、私はspark-Shellのプロパティ「fs.s3a.aws.credentials.provider」なしでs3にアクセスしようとしていました。

0
Sathish_P