Updating pipeline: 04 - Upload - From Metadata
This commit is contained in:
parent
101c565807
commit
25a0c81d5e
@ -145,6 +145,84 @@
|
|||||||
]
|
]
|
||||||
}
|
}
|
||||||
]
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"value": "parquet",
|
||||||
|
"activities": [
|
||||||
|
{
|
||||||
|
"name": "Parquet Copy",
|
||||||
|
"type": "Copy",
|
||||||
|
"dependsOn": [],
|
||||||
|
"policy": {
|
||||||
|
"timeout": "7.00:00:00",
|
||||||
|
"retry": 0,
|
||||||
|
"retryIntervalInSeconds": 30,
|
||||||
|
"secureOutput": false,
|
||||||
|
"secureInput": false
|
||||||
|
},
|
||||||
|
"userProperties": [],
|
||||||
|
"typeProperties": {
|
||||||
|
"source": {
|
||||||
|
"type": "ParquetSource",
|
||||||
|
"storeSettings": {
|
||||||
|
"type": "FileServerReadSettings",
|
||||||
|
"recursive": false,
|
||||||
|
"enablePartitionDiscovery": false
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"sink": {
|
||||||
|
"type": "ParquetSink",
|
||||||
|
"storeSettings": {
|
||||||
|
"type": "AzureBlobFSWriteSettings"
|
||||||
|
},
|
||||||
|
"formatSettings": {
|
||||||
|
"type": "ParquetWriteSettings"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"enableStaging": false,
|
||||||
|
"translator": {
|
||||||
|
"type": "TabularTranslator",
|
||||||
|
"typeConversion": true,
|
||||||
|
"typeConversionSettings": {
|
||||||
|
"allowDataTruncation": true,
|
||||||
|
"treatBooleanAsNumber": false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"inputs": [
|
||||||
|
{
|
||||||
|
"referenceName": "LaptopFilesParquet",
|
||||||
|
"type": "DatasetReference",
|
||||||
|
"parameters": {
|
||||||
|
"Directory": {
|
||||||
|
"value": "@item().SourceDirectory",
|
||||||
|
"type": "Expression"
|
||||||
|
},
|
||||||
|
"File": {
|
||||||
|
"value": "@item().FileName",
|
||||||
|
"type": "Expression"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"outputs": [
|
||||||
|
{
|
||||||
|
"referenceName": "LakeFileParquet",
|
||||||
|
"type": "DatasetReference",
|
||||||
|
"parameters": {
|
||||||
|
"Directory": {
|
||||||
|
"value": "@item().TargetDirectory",
|
||||||
|
"type": "Expression"
|
||||||
|
},
|
||||||
|
"File": {
|
||||||
|
"value": "@item().FileName",
|
||||||
|
"type": "Expression"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
}
|
}
|
||||||
],
|
],
|
||||||
"defaultActivities": [
|
"defaultActivities": [
|
||||||
|
|||||||
Loading…
x
Reference in New Issue
Block a user