Impor data dari excel ke azure sql database menggunakan azure data factory

Dalam skenario ini lapisan penyimpanan bertindak sebagai danau data Gen2 saya dan Database Azure SQL adalah gudang data saya. Data sumber disalin ke SharePoint untuk meniru file data yang disimpan di SharePoint/Teams Server perusahaan

Untuk menguji solusinya, sediakan sumber daya ini sendiri di akun Anda atau sebagai alternatif Buat akun gratis Azure Anda sekarang juga

One51 membantu Organisasi dengan kebutuhan penyerapan data dan integrasi data mereka dengan menggunakan pendekatan dan teknologi yang membuat jenis solusi ini mudah diterapkan dan alternatif yang lebih hemat biaya untuk pengembangan ETL kustom tradisional

Di tempat kerja kita saat ini, adalah umum untuk memiliki banyak sumber informasi dari beberapa jenis. Bagaimana Anda menangani mereka adalah kunci untuk membuat keputusan yang tepat. Juga umum untuk memiliki beberapa data dalam spreadsheet Excel. Kita semua menggunakannya dan terkadang itu adalah sumber informasi penting yang tidak terdapat di tempat lain

 

Mengapa menggunakan Azure Data Factory penting bagi perusahaan Anda?

Mampu mengumpulkan data tersebut dan menggabungkannya dengan beberapa data terstruktur lainnya dapat memberikan beberapa wawasan penting tentang bisnis Anda. Salah satu cara melakukannya adalah dengan menggunakan Azure Data Factory. Ini terdiri dari platform tempat pengguna dapat membuat jaringan pipa data

 

Di blog ini kami akan menjelaskan cara menggunakan Azure Data Factory untuk mengumpulkan data dari spreadsheet Excel dan menyimpannya di tabel atau tabel server SQL, sehingga kami dapat menggunakan alat ETL (Extract-Transform-Load) atau perangkat lunak pelaporan untuk menggabungkan

 

Blog Terkait

Sumber Data Power BI. Pandangan Mendetail tentang Memuat Data Anda ke Power BI

Memaksimalkan Aliran Data MS Power BI

9 Tip untuk Membangun Proyek Kecerdasan Bisnis Anda

 

Bagaimana cara mengimpor file Excel ke database SQL?

Langkah pertama yang perlu kita lakukan adalah menyimpan spreadsheet Excel di mana Azure Data Factory (ADF) dapat mengaksesnya. Ada banyak konektor yang sudah dibuat untuk Pabrik Data Azure. Dalam contoh ini kita akan menggunakan salah satu layanan yang lebih murah di Azure yang disebut Blob Storage. Ada proses untuk menyimpan dan mengganti file di Penyimpanan Blob setiap kali data baru ditambahkan. Setelah file diunggah di sana, kami dapat memulai proses di Azure Data Factory.

 

Langkah 1. Pertama kita perlu membuat layanan tertaut ke sumber (Blob Storage)

Impor data dari excel ke azure sql database menggunakan azure data factory

Langkah 2. Kemudian kita harus membuat layanan tertaut ke target, itu akan menjadi database Azure SQL dalam contoh ini, .

Impor data dari excel ke azure sql database menggunakan azure data factory

Langkah 3. Saat kita membuat dataset untuk sumbernya, kita harus memilih Excel sebagai formatnya

Impor data dari excel ke azure sql database menggunakan azure data factory
Langkah 4. Dalam pengaturan koneksi dataset, kami memiliki 2 opsi untuk mengelola lembar di dalam spreadsheet, opsi ini disebut Mode Lembar Kerja. Opsi mana yang dipilih akan tergantung pada bagaimana nama lembar file dapat bervariasi dari waktu ke waktu

Opsi pertama yang disebut Nama akan cocok dengan nama yang ditentukan dengan nama di lembar dalam file. Jika nama sheet berubah karena alasan apa pun, pipeline tidak akan mengambil data di sheet tersebut

 

Impor data dari excel ke azure sql database menggunakan azure data factory

Opsi kedua yang disebut Indeks akan dimulai dari 0 (Selalu berupa angka inkremental yang dimulai dari 0) dari kiri ke kanan menugaskan indeks ke setiap lembar. Tidak masalah jika namanya berubah, itu akan selalu memilih lembar yang sama berdasarkan indeks


Impor data dari excel ke azure sql database menggunakan azure data factory

Langkah 5. Jika file memiliki beberapa lembar, Anda harus mengulangi proses ini dan membuat kumpulan data per lembar yang ingin Anda akses datanya

Pengaturan penting lainnya untuk ditentukan adalah rentang Sel, ini akan menentukan subset sel mana yang akan diambil dari lembar. Jika lembar memiliki data di lebih dari satu rentang, diperlukan untuk menentukan kumpulan data lain

 

Impor data dari excel ke azure sql database menggunakan azure data factory
Langkah 6. Satu langkah terakhir untuk membuat kumpulan data adalah mengimpor skema. Dalam contoh ini kita akan menggunakan baris pertama sebagai header

Impor data dari excel ke azure sql database menggunakan azure data factory
Langkah 7. Setelah pembuatan kumpulan data sumber, kita harus membuat kumpulan data target. Dalam contoh ini kita akan membuat satu tabel langsung di database SQL. Tabel yang dibuat akan memiliki kolom yang sama dengan file excel dalam contoh ini, tetapi Anda dapat memetakan hasilnya ke tabel atau kolom apa pun yang Anda tentukan

Impor data dari excel ke azure sql database menggunakan azure data factory

Saat kumpulan data dibuat, impor skema yang akan terlihat seperti ini

 

Impor data dari excel ke azure sql database menggunakan azure data factory
Langkah 9. Sekarang kita memiliki kedua dataset, kita akan melanjutkan untuk membuat Pipeline baru. Dalam pipeline kita akan menambahkan aktivitas Copy seperti gambar di bawah ini

Impor data dari excel ke azure sql database menggunakan azure data factory

Langkah 10. Pada tab Source kita akan memilih dataset Excel yang dibuat sebelumnya. Di tab Sink kita harus memilih database SQL yang kita buat. Di tab pemetaan adalah tempat kita akan menentukan kolom mana dari spreadsheet Excel yang akan dipetakan ke kolom mana pada tabel SQL


Impor data dari excel ke azure sql database menggunakan azure data factory

Langkah 11. Kami hanya perlu menyimpan pipa dan menjalankannya secara manual atau menentukan pemicu berkala. Hasilnya akan terlihat seperti di bawah ini

Impor data dari excel ke azure sql database menggunakan azure data factory

Jika ada transformasi yang perlu dilakukan pada data di spreadsheet Excel, kami juga dapat menggunakan aktivitas lain atau mengubah data menggunakan Dataflow


Sebagai sebuah perusahaan, Anda akan memiliki data yang tersebar di berbagai sistem. Dengan menggunakan Azure Data Factory untuk memuat spreadsheet Excel ke dalam database terstruktur dan menganalisis informasi untuk wawasan, tim Anda dapat lebih produktif dengan menemukan semua informasi yang relevan di satu tempat

Bagaimana cara mengimpor data dari Excel ke Azure SQL Database?

Di Azure SQL Database, Anda tidak dapat mengimpor langsung dari Excel. Anda harus mengekspor data terlebih dahulu ke file teks (CSV) . Penyedia ACE (sebelumnya penyedia Jet) yang terhubung ke sumber data Excel ditujukan untuk penggunaan sisi klien yang interaktif.

Bisakah Azure data Factory membaca file Excel?

Layanan ini mendukung ". xls" dan ". xlsx" . Format Excel didukung untuk konektor berikut. Amazon S3, Penyimpanan Kompatibel Amazon S3, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, File Azure, Sistem File, FTP, Google Cloud Storage, HDFS, HTTP, Oracle Cloud Storage, dan SFTP.

Bagaimana cara mengimpor data ke Pabrik data Azure?

Pilih ubin Database Azure SQL dan pilih lanjutkan. Di panel konfigurasi SQL DB, masukkan 'SQLDB' sebagai nama layanan tertaut Anda. Masukkan kredensial Anda untuk mengizinkan pabrik data terhubung ke database Anda. Jika Anda menggunakan autentikasi SQL, masukkan nama server, database, nama pengguna, dan kata sandi Anda

Bagaimana cara mengonversi Excel ke CSV di Pabrik data Azure?

Menggunakan Excel packager API dengan Azure Data Factory .
Langkah 1. Buat satu file csv di penyimpanan gumpalan untuk setiap tab dengan jalur /EXCELFILENAME/SheetName. csv
Langkah 2. Panggil API dengan detail di atas menggunakan blok Web atau Webhook
Langkah 3. Baca dan/atau pindahkan file excel ke tujuan yang dituju
Langkah 4. File pembersihan