Dapatkah azure data factory membaca file excel?

Dalam skenario ini lapisan penyimpanan bertindak sebagai danau data Gen2 saya dan Database Azure SQL adalah gudang data saya. Data sumber disalin ke SharePoint untuk meniru file data yang disimpan di SharePoint/Teams Server perusahaan

Untuk menguji solusinya, sediakan sumber daya ini sendiri di akun Anda atau sebagai alternatif Buat akun gratis Azure Anda sekarang juga

Posting hari ini adalah sebagai tanggapan atas pertanyaan yang baru-baru ini saya tanyakan. Ini tentang menggunakan Azure Data Lake Store dengan Azure Data Factory, khususnya tentang Copy Activity di dalam Data Factory untuk membaca data dari Azure Data Lake.  

Seseorang bertanya, Jika saya memiliki beberapa file Excel yang disimpan di Azure Data Lake, dapatkah saya menggunakan Pabrik Data dan Aktivitas Salin untuk membaca data dari file Excel dan memuatnya ke kumpulan data sinkronisasi lainnya (dalam hal ini database)?

Jawaban singkatnya – tidak. Ini mungkin agak membingungkan karena kami tahu bahwa Anda dapat menyimpan hampir semua jenis file di Data Lake. Namun, itu tidak berarti bahwa Pabrik Data dapat membaca atau menggunakan file dalam format apa pun dari Data Lake

Saya ingin menjelaskan perbedaan utama itu hari ini sebagai sesuatu yang harus diperhatikan. Untuk lebih spesifik, Pabrik Data dapat menggunakan file dari Data Lake jika dalam format JSON, teks yang dibatasi, seperti file CSV, atau salah satu dari 3 struktur file Hadoop, yaitu file AVRO, ORC, atau Parquet. Dengan salah satu format ini, Anda dapat menggunakan Azure Data Factory untuk membacanya dari Data Lake

File Excel dapat disimpan di Data Lake, tetapi Pabrik Data tidak dapat digunakan untuk membaca data tersebut

Jadi, itulah tip singkat saya yang saya harap berguna bagi Anda saat bekerja di Azure Data Factory dan Data Lake. Jika Anda memiliki pertanyaan tentang komponen Azure ini atau komponen atau layanan lainnya di Azure, kami adalah sumber daya terbaik Anda. Klik tautan di bawah atau hubungi kami untuk mendiskusikan apa pun terkait Azure – kami siap membantu

Di tempat kerja kita saat ini, adalah umum untuk memiliki banyak sumber informasi dari beberapa jenis. Bagaimana Anda menangani mereka adalah kunci untuk membuat keputusan yang tepat. Juga umum untuk memiliki beberapa data dalam spreadsheet Excel. Kita semua menggunakannya dan terkadang itu adalah sumber informasi penting yang tidak terdapat di tempat lain

Mengapa menggunakan Azure Data Factory penting bagi perusahaan Anda?

Mampu mengumpulkan data tersebut dan menggabungkannya dengan beberapa data terstruktur lainnya dapat memberikan beberapa wawasan penting tentang bisnis Anda. Salah satu cara melakukannya adalah dengan menggunakan Azure Data Factory. Ini terdiri dari platform tempat pengguna dapat membuat jaringan pipa data

Di blog ini kami akan menjelaskan cara menggunakan Azure Data Factory untuk mengumpulkan data dari spreadsheet Excel dan menyimpannya di tabel atau tabel server SQL, sehingga kami dapat menggunakan alat ETL (Extract-Transform-Load) atau perangkat lunak pelaporan untuk menggabungkan

Blog Terkait

Sumber Data Power BI. Pandangan Mendetail tentang Memuat Data Anda ke Power BI

Memaksimalkan Aliran Data MS Power BI

9 Tip untuk Membangun Proyek Kecerdasan Bisnis Anda

Bagaimana cara mengimpor file Excel ke database SQL?

Langkah pertama yang perlu kita lakukan adalah menyimpan spreadsheet Excel di mana Azure Data Factory (ADF) dapat mengaksesnya. Ada banyak konektor yang sudah dibuat untuk Pabrik Data Azure. Dalam contoh ini kita akan menggunakan salah satu layanan yang lebih murah di Azure yang disebut Blob Storage. Ada proses untuk menyimpan dan mengganti file di Penyimpanan Blob setiap kali data baru ditambahkan. Setelah file diunggah di sana, kami dapat memulai proses di Azure Data Factory.

Langkah 1. Pertama kita perlu membuat layanan tertaut ke sumber (Blob Storage)

Langkah 2. Kemudian kita harus membuat layanan tertaut ke target, itu akan menjadi database Azure SQL dalam contoh ini, .

Opsi pertama yang disebut Nama akan cocok dengan nama yang ditentukan dengan nama di lembar dalam file. Jika nama sheet berubah karena alasan apa pun, pipeline tidak akan mengambil data di sheet tersebut

Opsi kedua yang disebut Indeks akan dimulai dari 0 (Selalu berupa angka inkremental yang dimulai dari 0) dari kiri ke kanan menugaskan indeks ke setiap lembar. Tidak masalah jika namanya berubah, itu akan selalu memilih lembar yang sama berdasarkan indeks

Langkah 5. Jika file memiliki beberapa sheet, Anda harus mengulangi proses ini dan membuat kumpulan data per sheet yang ingin Anda akses datanya

Pengaturan penting lainnya untuk ditentukan adalah rentang Sel, ini akan menentukan subset sel mana yang akan diambil dari lembar. Jika lembar memiliki data di lebih dari satu rentang, diperlukan untuk menentukan kumpulan data lain

Saat kumpulan data dibuat, impor skema yang akan terlihat seperti ini

Langkah 10. Pada tab Source kita akan memilih dataset Excel yang dibuat sebelumnya. Di tab Sink kita harus memilih database SQL yang kita buat. Di tab pemetaan adalah tempat kita akan menentukan kolom mana dari spreadsheet Excel yang akan dipetakan ke kolom mana pada tabel SQL

Langkah 11. Kami hanya perlu menyimpan pipa dan menjalankannya secara manual atau menentukan pemicu berkala. Hasilnya akan terlihat seperti di bawah ini

Jika ada transformasi yang perlu dilakukan pada data di spreadsheet Excel, kami juga dapat menggunakan aktivitas lain atau mengubah data menggunakan Dataflow

Sebagai sebuah perusahaan, Anda akan memiliki data yang tersebar di berbagai sistem. Dengan menggunakan Azure Data Factory untuk memuat spreadsheet Excel ke dalam database terstruktur dan menganalisis informasi untuk wawasan, tim Anda dapat lebih produktif dengan menemukan semua informasi yang relevan di satu tempat

Bagaimana cara mengimpor file Excel ke Azure?

Bagaimana cara membuat file Excel di Azure Data Factory?

Apa batasan Azure Data Factory?

Bagaimana cara mengimpor data dari Excel ke Azure SQL Database?