Azure data factory copies subnode parent of json files to another blob storage

I have multiple JSON files, and I am searching for the specific elements of the file’s content. If there is a match, copy the parent node and children nodes inside the {metadata} to another storage.
So far, it copies the entire JSON file to another blob storage if it matches the criteria.

Sample.json:

{
"record": {
    "org":{
        "name": "School",
         "postalCode": "40121"
    },
    "metadata": {
         "an": "file6.json",
         "markings": {
              "document": {
                 "distribution": {
                    "code": "A"
                  }
               }     
          },
         "publicationDate": {
               "date": "2022-11-25"
          }
     }
  }
}

if condition match then result sample.json only have metadata{..} will be copy to another storage:

    "metadata": {
         "an": "file6.json",
         "markings": {
              "document": {
                 "distribution": {
                    "code": "A"
                  }
               }     
          },
         "publicationDate": {
               "date": "2022-11-25"
          }
     }
  

But my ADF copies entire json to another storage.

3

You can achieve your requirement by using a temporary csv file.

Create a temporary csv file like below.

one
1

After checking your condition, create a set variable activity with below expression inside your if activity True activities. Enable the firstRow in the lookup activity

@concat('{"metadata":',activity('Lookup1').output.firstRow.record.metadata,'}')

Here, I have skipped the if activity.

Then take a copy activity with the above temporary CSV dataset as source. In the additional columns, create a new column new and give the above variable in the dynamic expression like below.

In the sink, create a CSV dataset and you can use dataset parameter for the filename. Give the below configurations so that it creates a JSON file using csv dataset.

Give your required target file name as <fiename>.json to the above parameter.

Now, go to the mapping of the copy activity and give the below expression as dynamic content.

@json('{
                                    "type": "TabularTranslator",
                                    "mappings": [
                                        {
                                            "source": {
                                                "name": "new",
                                                "type": "String"
                                            },
                                            "sink": {
                                                "type": "String",
                                                "physicalType": "String",
                                                "ordinal": 1
                                            }
                                        }
                                    ],
                                    "typeConversion": true,
                                    "typeConversionSettings": {
                                        "allowDataTruncation": true,
                                        "treatBooleanAsNumber": false
                                    }
                                }')

Now, run the pipeline and it will create the required JSON files for each iteration like below.

Recognized by Microsoft Azure Collective

Trang chủ Giới thiệu Sinh nhật bé trai Sinh nhật bé gái Tổ chức sự kiện Biểu diễn giải trí Dịch vụ khác Trang trí tiệc cưới Tổ chức khai trương Tư vấn dịch vụ Thư viện ảnh Tin tức - sự kiện Liên hệ Chú hề sinh nhật Trang trí YEAR END PARTY công ty Trang trí tất niên cuối năm Trang trí tất niên xu hướng mới nhất Trang trí sinh nhật bé trai Hải Đăng Trang trí sinh nhật bé Khánh Vân Trang trí sinh nhật Bích Ngân Trang trí sinh nhật bé Thanh Trang Thuê ông già Noel phát quà Biểu diễn xiếc khỉ Xiếc quay đĩa Dịch vụ tổ chức sự kiện 5 sao Thông tin về chúng tôi Dịch vụ sinh nhật bé trai Dịch vụ sinh nhật bé gái Sự kiện trọn gói Các tiết mục giải trí Dịch vụ bổ trợ Tiệc cưới sang trọng Dịch vụ khai trương Tư vấn tổ chức sự kiện Hình ảnh sự kiện Cập nhật tin tức Liên hệ ngay Thuê chú hề chuyên nghiệp Tiệc tất niên cho công ty Trang trí tiệc cuối năm Tiệc tất niên độc đáo Sinh nhật bé Hải Đăng Sinh nhật đáng yêu bé Khánh Vân Sinh nhật sang trọng Bích Ngân Tiệc sinh nhật bé Thanh Trang Dịch vụ ông già Noel Xiếc thú vui nhộn Biểu diễn xiếc quay đĩa Dịch vụ tổ chức tiệc uy tín Khám phá dịch vụ của chúng tôi Tiệc sinh nhật cho bé trai Trang trí tiệc cho bé gái Gói sự kiện chuyên nghiệp Chương trình giải trí hấp dẫn Dịch vụ hỗ trợ sự kiện Trang trí tiệc cưới đẹp Khởi đầu thành công với khai trương Chuyên gia tư vấn sự kiện Xem ảnh các sự kiện đẹp Tin mới về sự kiện Kết nối với đội ngũ chuyên gia Chú hề vui nhộn cho tiệc sinh nhật Ý tưởng tiệc cuối năm Tất niên độc đáo Trang trí tiệc hiện đại Tổ chức sinh nhật cho Hải Đăng Sinh nhật độc quyền Khánh Vân Phong cách tiệc Bích Ngân Trang trí tiệc bé Thanh Trang Thuê dịch vụ ông già Noel chuyên nghiệp Xem xiếc khỉ đặc sắc Xiếc quay đĩa thú vị
Trang chủ Giới thiệu Sinh nhật bé trai Sinh nhật bé gái Tổ chức sự kiện Biểu diễn giải trí Dịch vụ khác Trang trí tiệc cưới Tổ chức khai trương Tư vấn dịch vụ Thư viện ảnh Tin tức - sự kiện Liên hệ Chú hề sinh nhật Trang trí YEAR END PARTY công ty Trang trí tất niên cuối năm Trang trí tất niên xu hướng mới nhất Trang trí sinh nhật bé trai Hải Đăng Trang trí sinh nhật bé Khánh Vân Trang trí sinh nhật Bích Ngân Trang trí sinh nhật bé Thanh Trang Thuê ông già Noel phát quà Biểu diễn xiếc khỉ Xiếc quay đĩa
Thiết kế website Thiết kế website Thiết kế website Cách kháng tài khoản quảng cáo Mua bán Fanpage Facebook Dịch vụ SEO Tổ chức sinh nhật