Hướng dẫn how do i transfer data from python to sql? - làm cách nào để chuyển dữ liệu từ python sang sql?

Ngày nay, hầu hết các nhà phát triển mới đều thích Python hơn các ngôn ngữ lập trình khác do các chức năng đơn giản nhưng tiên tiến của nó. Phát triển ứng dụng, học máy, trí tuệ nhân tạo, chơi game và nhiều lĩnh vực như vậy đang thúc đẩy việc sử dụng môi trường Python, để xây dựng các sản phẩm mới. Hơn nữa, các doanh nghiệp trên toàn thế giới đang tận dụng các thư viện Python phong phú để tự động hóa các nhiệm vụ hàng ngày của họ để đạt được hiệu quả cao hơn. & NBSP; & NBSP;Python over other Programming Languages due to its simple yet advanced functionalities. Application Development, Machine Learning, Artificial Intelligence, Gaming, and many more such fields are promoting the use of Python’s environment to build new products. Moreover, Businesses across the world are leveraging the rich Python Libraries to automate their daily tasks to achieve higher efficiency.  

Microsoft SQL Server là lựa chọn đầu tiên cho giải pháp RDBMS (Hệ thống quản lý cơ sở dữ liệu quan hệ) trong hầu hết mọi công ty hiện nay. Việc tích hợp dễ sử dụng và xử lý dữ liệu mạnh mẽ của nó đã khiến nhiều tổ chức dựa vào các dịch vụ của mình cho các nhiệm vụ có ý định cao của họ. Trong thời gian gần đây, các doanh nghiệp này đang tìm cách kết hợp giải pháp RDBM này với ngôn ngữ lập trình Python để tăng cường hơn nữa khả năng sử dụng của nó. is the first choice for an RDBMS (Relational Database Management System) solution in almost every company today. Its easy-to-use integrations and robust data processing have led many organizations to rely on its services for their high intent tasks. In recent times, these businesses are seeking ways to combine this RDBMS solution with Python Programming Language to further enhance its usability.

Bài viết này sẽ giới thiệu cho bạn cả máy chủ Python và SQL và liệt kê các tính năng chính của họ. Nó cũng sẽ xây dựng cách tiếp cận từng bước để thiết lập tích hợp máy chủ SQL Python cho doanh nghiệp của bạn. Đọc cùng để làm chủ các bước này và tìm hiểu về lợi ích của việc kết nối Python với máy chủ SQL của bạn!Python SQL Server Integration for your business. Read along to master these steps and learn about the benefits of connecting Python with your SQL Servers!

Mục lục

• Điều kiện tiên quyết
• Python là gì?
  • Các tính năng chính của Python
• SQL Server là gì?
  • Các tính năng chính của SQL Server
• Các bước để thiết lập tích hợp máy chủ Python SQL
  • Bước 1: Thiết lập kết nối SQL Server: Establish the SQL Server Connection
  • Bước 2: Chạy truy vấn SQL
  • Bước 3: Trích xuất kết quả truy vấn vào Python
  • Bước 4: Áp dụng sửa đổi trong SQL Server
  • Bước 5: Tự động hóa chức năng của máy chủ SQL Python & NBSP;
• Lợi ích của tích hợp máy chủ Python SQL
• Sự kết luận

Điều kiện tiên quyết

Python là gì?

• Các tính năng chính của Python
• SQL Server là gì?
• Các tính năng chính của SQL Server

Python là gì?

SQL Server là gì?

Các tính năng chính của SQL Server

Các bước để thiết lập tích hợp máy chủ Python SQL

SQL Server là gì?

• Các tính năng chính của SQL Server: The Python Programming Language offers a hassle-free environment for developers. Its straightforward workflow is suitable for everyone and entry-level coders are drawn to it. Moreover, you can use and distribute its open-source codes for commercial purposes free of cost.
• Các bước để thiết lập tích hợp máy chủ Python SQL: Its simple syntax operates on natural human-readable language making it the go-to choice of projects on Python Programming Language, which is faster as compared to other Programming Languages. Furthermore, its versatile nature makes it the ideal choice for Web Development and Machine Learning projects.
• Bước 1: Thiết lập kết nối SQL Server: Due to Python’s immense popularity, a huge active community of programmers is available online that contributes to this language’s modules and libraries. Moreover, this vast support community is ready to help in case you or any other coder gets stuck in a programming issue. You can easily get suggestions and solutions by posting your issue on these community pages.

Bước 2: Chạy truy vấn SQL

SQL Server là gì?

SQL Server là gì?

Các tính năng chính của SQL Server

Các tính năng chính của Microsoft SQL Server

Các tính năng chính của Microsoft SQL Server như sau:

• Phục hồi dữ liệu được tăng tốc: Microsoft SQL Server có cơ chế phục hồi và rollback đặc biệt, tự động bật trong khi gặp sự cố máy chủ. Quá trình phục hồi cơ sở dữ liệu tận dụng nhật ký giao dịch làm giảm đáng kể thời gian trễ. Microsoft SQL Server has an exceptional recovery and rollback mechanism that automatically switches on during a server crash. The process of database recovery leverages Transaction Logs which drastically decreases the delay time.
• Mã hóa nâng cao: Xem xét rằng các doanh nghiệp lưu trữ thông tin phân loại trong cơ sở dữ liệu, đảm bảo quyền riêng tư là điều cần thiết cho các nhà cung cấp cơ sở dữ liệu. Kể từ năm 2016, Microsoft SQL Server dựa vào công nghệ mã hóa mới được gọi là luôn luôn được cung cấp mã hóa cột trong suốt mà không cung cấp cho quản trị viên cơ sở dữ liệu bất kỳ khóa giải mã nào.Considering that businesses store classified information in databases, ensuring privacy is essential for Database Providers. Since 2016, Microsoft SQL Server relies on a new Encryption Technology known as AlwaysEncrypted that offers transparent Column Encryption without providing Database Administrators any access to Decryption Keys.
• Xử lý truy vấn thông minh: Microsoft SQL Server lưu trữ trình tối ưu hóa truy vấn được xây dựng hoạt động trên kế hoạch thực thi. Kế hoạch này đã được tối ưu hóa để cung cấp các cải tiến hiệu suất về các khoản tài trợ bộ nhớ động, chế độ hàng loạt, Biến số Biến đã thu nhập lại, v.v. Microsoft SQL Server hosts an in-built Query Optimizer that operates on an execution plan. This plan has been optimized to provide performance enhancements in terms of Dynamic Memory Grants, Batch Mode, Table Variable Deferred Compilation, etc.
• Phân tích nâng cao: Bạn có thể dễ dàng tận dụng dữ liệu được lưu trữ trong Microsoft SQL Server để thực hiện phân tích toàn diện theo yêu cầu của bạn. Hơn nữa, bạn có thể sử dụng Dịch vụ phân tích Microsoft SQL Server (SSA) để vượt trội trong các tác vụ khai thác dữ liệu. You can easily leverage the data stored in Microsoft SQL Server to implement a comprehensive analysis as per your requirements. Moreover, you can make use of Microsoft SQL Server Analysis Service (SSAS) which to excel at Data Mining tasks.

Dữ liệu HEVO, đường ống dữ liệu không mã hóa giúp tải dữ liệu từ bất kỳ nguồn dữ liệu nào như Microsoft SQL, ứng dụng SaaS, lưu trữ đám mây, SDK, S và truyền phát dịch vụ và đơn giản hóa quy trình ETL. Nó hỗ trợ hơn 100 nguồn dữ liệu và tải dữ liệu vào kho dữ liệu mong muốn, làm phong phú dữ liệu và biến nó thành một biểu mẫu sẵn sàng phân tích mà không cần viết một dòng mã duy nhất.Microsoft SQL, SaaS applications, Cloud Storage, SDK,s, and Streaming Services and simplifies the ETL process. It supports 100+ data sources and loads the data onto the desired Data Warehouse, enriches the data, and transforms it into an analysis-ready form without writing a single line of code.

Đường ống hoàn toàn tự động của nó cung cấp dữ liệu được cung cấp trong thời gian thực mà không mất bất kỳ tổn thất nào từ nguồn đến đích. Kiến trúc chịu lỗi và có thể mở rộng của nó đảm bảo rằng dữ liệu được xử lý một cách an toàn, nhất quán với mất dữ liệu bằng không và hỗ trợ các hình thức dữ liệu khác nhau. Các giải pháp được cung cấp là nhất quán và làm việc với các công cụ kinh doanh (BI) khác nhau.

Bắt đầu với Hevo miễn phí

Kiểm tra lý do tại sao Hevo là tốt nhất:

• An toàn: HEVO có kiến ​​trúc chịu lỗi, đảm bảo rằng dữ liệu được xử lý một cách an toàn, nhất quán với mất dữ liệu bằng không.: Hevo has a fault-tolerant architecture that ensures that the data is handled in a secure, consistent manner with zero data loss.
• Quản lý lược đồ: Hevo lấy đi nhiệm vụ tẻ nhạt của quản lý lược đồ và tự động phát hiện lược đồ của dữ liệu đến và ánh xạ nó đến lược đồ đích.: Hevo takes away the tedious task of schema management & automatically detects the schema of incoming data and maps it to the destination schema.
• Học tối thiểu: Hevo, với giao diện người dùng đơn giản và tương tác, cực kỳ đơn giản để khách hàng mới làm việc và thực hiện các hoạt động.: Hevo, with its simple and interactive UI, is extremely simple for new customers to work on and perform operations.
• HEVO được xây dựng theo tỷ lệ: Khi số lượng nguồn và khối lượng dữ liệu của bạn tăng lên, Hevo tỷ lệ theo chiều ngang, xử lý hàng triệu hồ sơ mỗi phút với độ trễ rất ít.: As the number of sources and the volume of your data grows, Hevo scales horizontally, handling millions of records per minute with very little latency.
• Tải dữ liệu gia tăng: HEVO cho phép chuyển dữ liệu đã được sửa đổi trong thời gian thực. Điều này đảm bảo sử dụng hiệu quả băng thông ở cả hai đầu.: Hevo allows the transfer of data that has been modified in real-time. This ensures efficient utilization of bandwidth on both ends.
• Hỗ trợ trực tiếp: Nhóm HEVO có sẵn vòng quanh để mở rộng hỗ trợ đặc biệt cho khách hàng của mình thông qua trò chuyện, email và các cuộc gọi hỗ trợ.: The Hevo team is available round the clock to extend exceptional support to its customers through chat, email, and support calls.
• Giám sát trực tiếp: HEVO cho phép bạn theo dõi luồng dữ liệu và kiểm tra nơi dữ liệu của bạn tại một thời điểm cụ thể.: Hevo allows you to monitor the data flow and check where your data is at a particular point in time.

Đăng ký tại đây để dùng thử miễn phí 14 ngày!

Phương pháp này dựa trên thư viện của PYODBC, để thiết lập tích hợp máy chủ SQL Python. Thư viện PYODBC cung cấp cho các nhà phát triển Python dễ dàng truy cập vào cơ sở dữ liệu ODBC (kết nối cơ sở dữ liệu mở). Do đó, bạn có thể thực hiện phương thức được đưa ra trong phần này để thiết lập tích hợp Python ODBC với bất kỳ nền tảng nào như MS Access, MySQL, IBM DB2, v.v. & NBSP;pyodbc” library to set up the Python SQL Server Integration. The pyodbc library provides Python developers with easy access to ODBC (Open Database Connectivity) databases. Therefore, you can implement the method given in this section to set up Python ODBC integrations with any platforms such as MS Access, MySQL, IBM Db2, etc. 

Các bước sau đây sẽ cho phép bạn dễ dàng thiết lập tích hợp máy chủ SQL Python:

• Bước 1: Thiết lập kết nối SQL Server: Establish the SQL Server Connection
• Bước 2: Chạy truy vấn SQL
• Bước 3: Trích xuất kết quả truy vấn vào Python
• Bước 4: Áp dụng sửa đổi trong SQL Server
• Bước 5: Tự động hóa chức năng của máy chủ SQL Python & NBSP;

Bước 1: Thiết lập kết nối máy chủ SQL Python

Bước đầu tiên để thiết lập tích hợp máy chủ SQL Python yêu cầu bạn xây dựng kết nối giữa Python và SQL Server bằng cách sử dụng hàm pyodbc.connect và chuyển chuỗi kết nối. Chuỗi kết nối MSSQL Python sẽ xác định trình điều khiển DBMS, cài đặt kết nối, máy chủ và cơ sở dữ liệu cụ thể. pyodbc.connect function and pass a connection string. The Python MsSQL Connection string will define the DBMS Driver, connection settings, the Server, and a specific Database.

Bây giờ, ví dụ, bạn muốn kết nối với máy chủ USXXX00345.67800 và cơ sở dữ liệu DB02 bằng máy khách gốc SQL Server 11.0.

Có 2 cách để thiết lập kết nối máy chủ SQL Python này:

• Cách tiếp cận 1 để thiết lập kết nối máy chủ SQL Python SQL: Bạn có thể phụ thuộc vào kết nối nội bộ đáng tin cậy bằng cách sử dụng mã sau: to Setup Python SQL Server Connection: You can depend on a trusted internal connection using the following code:

cnxn_str = ("Driver={SQL Server Native Client 11.0};"
            "Server=USXXX00345,67800;"
            "Database=DB02;"
            "Trusted_Connection=yes;")
cnxn = pyodbc.connect(cnxn_str)

• Cách tiếp cận 2to Setup Python SQL Server Kết nối: Bạn không có kết nối nội bộ đáng tin cậy và muốn thiết lập kết nối SQL Server cần thiết bằng SQL Server Management Studio (SSMS). Điều này sẽ yêu cầu bạn nhập tên người dùng của mình (giả sử, Alex) và mật khẩu (Alex123) như được hiển thị trong mã sau: to Setup Python SQL Server Connection: You don’t have a trusted internal connection and wish to set up the required SQL Server connection using SQL Server Management Studio (SSMS). This will require you to enter your username (say, Alex) and password(Alex123) as shown in the following code:

cnxn_str = ("Driver={SQL Server Native Client 11.0};"
            "Server=USXXX00345,67800;"
            "Database=DB02;"
            "UID=Alex;"
            "PWD=Alex123;")
cnxn = pyodbc.connect(cnxn_str)

Bây giờ, khi kết nối cơ sở dữ liệu Python của bạn được đặt đúng chỗ, bạn có thể thực hiện các truy vấn SQL thông qua Python.

Bước 2: Chạy truy vấn SQL

Bây giờ, mọi truy vấn mà bạn sẽ thực hiện trên SQL Server sẽ liên quan đến chuỗi thực thi truy vấn và khởi tạo con trỏ. Hơn nữa, bất kỳ thay đổi nào được thực hiện bên trong máy chủ SQL cũng phải phản ánh trong Python (được đề cập trong bước 3 của tích hợp máy chủ SQL MS SQL).

Bạn có thể khởi tạo một con trỏ thông qua:

cursor = cnxn.cursor()

Bây giờ, nếu bạn muốn thực hiện một truy vấn, hãy gọi đối tượng con trỏ này. Ví dụ: truy vấn sau sẽ chọn 100 hàng hàng đầu từ tên bảng SQL Associates:

cursor.execute("SELECT TOP(100) * FROM associates")

Truy vấn này sẽ cung cấp cho bạn kết quả mong muốn, tuy nhiên, không có dữ liệu nào được trả lại cho Python. Để đảm bảo rằng các thay đổi SQL của bạn được phản ánh trong Python, hãy chuyển sang bước tiếp theo của tích hợp máy chủ SQL Python.

Bước 3: Trích xuất kết quả truy vấn vào Python

Để trích xuất dữ liệu của bạn từ SQL Server vào Python, bạn sẽ cần thư viện Pandas. Pandas chứa chức năng read_sql, rất hữu ích cho việc đọc dữ liệu từ SQL vào Python. Read_SQL yêu cầu truy vấn và cũng là phiên bản kết nối CNXN để trích xuất dữ liệu đã cho như sau:Pandas library. Pandas contain the “read_sql” function which is useful for reading data from SQL into Python. The read_sql requires a query and also the connection instance cnxn to extract the given data as follows:

data = pd.read_sql("SELECT TOP(100) * FROM associates", cnxn)

Điều này sẽ trả về một khung dữ liệu bao gồm 100 hàng hàng đầu từ bảng cộng sự của bạn.

Bước 4: Áp dụng sửa đổi trong SQL Server

Tiếp theo, nếu bạn muốn thay đổi dữ liệu SQL, bạn phải thêm một bước khác vào quy trình thực thi truy vấn. Điều này là do khi bạn thực hiện các truy vấn SQL, các thay đổi được lưu trữ trong một không gian tạm thời thay vì sửa đổi trực tiếp dữ liệu được lưu trữ của bạn.

Để làm cho những sửa đổi như vậy vĩnh viễn, bạn phải cam kết chúng. Chẳng hạn, nếu bạn muốn hợp nhất các cột FirstName và LastName, hãy tạo một cột FullName bằng mã bên dưới:commit them. For instance, if you wish to merge the firstName and lastName columns, generate a fullName column using the below code:

cursor = cnxn.cursor()
# first alter the table, adding a column
cursor.execute("ALTER TABLE associates " +
               "ADD fullName VARCHAR(20)")
# now update that column to contain firstName + lastName
cursor.execute("UPDATE associate " +
               "SET fullName = firstName + " " + lastName")

Ngay cả sau khi thực thi mã này, bạn đã giành được bất kỳ cột FullName nào trong cơ sở dữ liệu liên kết của bạn. Bạn cần phải thực hiện các thay đổi trên và làm cho chúng vĩnh viễn thông qua lệnh sau:fullName column in your associate database. You need to commit the above changes and make them permanent via the following command:

cnxn.commit()

Bước 5: Tự động hóa hoạt động của máy chủ SQL Python

Các bước trên đã thảo luận về cách bạn có thể sửa đổi dữ liệu SQL của mình và trích xuất nó thành Python hoặc, trước tiên, bạn có thể trích xuất dữ liệu vào Python và sau đó thực hiện các thao tác. Khi thiết lập này đã sẵn sàng, bạn có thể sử dụng tích hợp Python SQL Server để tự động hóa vô số tác vụ. & NBSP;

Ví dụ: bạn có thể cần thực hiện báo cáo hàng ngày liên quan đến việc truy vấn lô dữ liệu mới nhất trong máy chủ SQL, tính toán số liệu thống kê cơ bản và gửi kết quả qua email đến ban quản lý. Bạn có thể tự động hóa quy trình dài này bằng cách tận dụng tích hợp máy chủ SQL Python như sau:

# imports for SQL data part
import pyodbc
from datetime import datetime, timedelta
import pandas as pd

# imports for sending email
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
import smtplib

date = datetime.today() - timedelta(days=7)  # get the date 7 days ago

date = date.strftime("%Y-%m-%d")  # convert to format yyyy-mm-dd

cnxn = pyodbc.connect(cnxn_str)  # initialise connection (assume we have already defined cnxn_str)

# build up our query string
query = ("SELECT * FROM associates "
         f"WHERE joinDate > '{date}'")

# execute the query and read to a dataframe in Python
data = pd.read_sql(query, cnxn)

del cnxn  # close the connection

# make a few calculations
mean_payment = data['payment'].mean()
std_payment = data['payment'].std()

# get max payment and product details
max_vals = data[['product', 'payment']].sort_values(by=['payment'], ascending=False).iloc[0]

# write an email message
txt = (f"Customer reporting for period {date} - {datetime.today().strftime('%Y-%m-%d')}.nn"
       f"Mean payment amounts received: {mean_payment}n"
       f"Standard deviation of payment amounts: {std_payments}n"
       f"Highest payment amount of {max_vals['payment']} "
       f"received from {max_vals['product']} product.")

# we will built the message using the email library and send using smtplib
msg = MIMEMultipart()
msg['Subject'] = "Automated customer report"  # set email subject
msg.attach(MIMEText(txt))  # add text contents
       
# we will send via outlook, first we initialise connection to mail server
smtp = smtplib.SMTP('smtp-mail.outlook.com', '587')
smtp.ehlo()  # say hello to the server
smtp.starttls()  # we will communicate using TLS encryption
       
# login to outlook server, using generic email and password
smtp.login('', 'Alex123')
       
# send email to our boss
smtp.sendmail('', '', msg.as_string())
       
# finally, disconnect from the mail server
smtp.quit()

Mã này bây giờ sẽ trích xuất dữ liệu tuần trước, tính toán các số liệu chính của bạn và gửi tóm tắt về ID email của ông chủ của bạn.

Đó là nó! Tích hợp máy chủ SQL Python của bạn được đưa ra và đang hoạt động thành công.

Lợi ích của tích hợp máy chủ Python SQL

Thiết lập tích hợp Python SQL Server, đó là thời gian để tìm hiểu lợi thế mà nó có thể cung cấp cho doanh nghiệp của bạn. Kết hợp ngôn ngữ lập trình Python với các máy chủ SQL sẽ nâng cao doanh nghiệp của bạn theo những cách sau: & NBSP;

• Do tính đơn giản của nó, ngôn ngữ lập trình Python đã trở thành lựa chọn lý tưởng cho các nhà phát triển để xây dựng các dự án AI. Do đó, tích hợp máy chủ SQL Python sẽ cho phép các nhà phát triển AI này tận dụng chức năng SQL Server trực tiếp từ mã Python của họ. Điều này sẽ giúp các nhà phát triển này dễ dàng nhúng phân tích dữ liệu, chức năng AI và các tính năng học máy vào mã ứng dụng hiện có. & NBSP;
• Kết nối máy chủ Python SQL cung cấp một lợi thế đáng kể cho công việc phát triển. Các ngôn ngữ khác như R khi được tích hợp với SQL Server, sẽ chỉ tăng cường khía cạnh phân tích của lập trình. Tuy nhiên, Python khi được sử dụng cùng với các máy chủ SQL, cho phép các nhà phát triển thực hiện truyền phát dữ liệu thời gian thực và hoạt động theo cách dễ dàng hơn nhiều.
• Thiết lập tích hợp máy chủ Python SQL cung cấp xử lý dữ liệu nhanh hơn so với việc sử dụng hệ thống dựa trên mạng trên TCP, HTTP, v.v. Điều này là do nó sử dụng các tài nguyên nền tảng cục bộ bao gồm hệ thống tệp, GPU, v.v. dựa vào các định dạng dữ liệu phổ quát như JSON và XML.

Sự kết luận

Bài báo đã giới thiệu cho bạn về ngôn ngữ lập trình Python và các máy chủ SQL cùng với các tính năng độc đáo của chúng. Sau đó, nó cung cấp một hướng dẫn từng bước bằng cách sử dụng mà bạn có thể thiết lập tích hợp Python SQL Server của mình một cách liền mạch. Bài viết cũng thảo luận về nhiều lợi ích mà việc kết hợp 2 công cụ này có thể cung cấp cho doanh nghiệp của bạn. Sau khi đọc bài viết này, bạn có thể thử và dễ dàng thực hiện tích hợp máy chủ Python SQL cho cơ sở dữ liệu của bạn.

Ghé thăm trang web của chúng tôi để khám phá Hevo

Bây giờ, để chạy các truy vấn SQL hoặc thực hiện phân tích dữ liệu trên dữ liệu SQL Server của bạn, trước tiên bạn cần xuất dữ liệu này sang kho dữ liệu. Điều này sẽ yêu cầu bạn tùy chỉnh các tập lệnh phức tạp mã để phát triển các quy trình ETL. Dữ liệu HEVO có thể tự động hóa quy trình truyền dữ liệu của bạn, do đó cho phép bạn tập trung vào các khía cạnh khác của doanh nghiệp như phân tích, quản lý khách hàng, v.v. Amazon Redshift, Snowflake, Google BigQuery, v.v ... Nó sẽ cung cấp cho bạn trải nghiệm không rắc rối và làm cho cuộc sống công việc của bạn dễ dàng hơn nhiều.Microsoft SQL to Cloud-based Data Warehouses like Amazon Redshift, Snowflake, Google BigQuery, etc. It will provide you with a hassle-free experience and make your work life much easier.

Bạn muốn đưa Hevo cho một vòng quay? Đăng ký dùng thử miễn phí trong 14 ngày và trải nghiệm bộ dụng cụ Hevo giàu tính năng.

Chia sẻ sự hiểu biết của bạn về chức năng tích hợp máy chủ SQL Python trong các bình luận bên dưới!Python SQL Server Integration function in the comments below!

Làm cách nào để chèn dữ liệu vào cơ sở dữ liệu SQL bằng Python?

Bạn có thể kết nối Python với SQL không?

Làm cách nào để lấy dữ liệu SQL từ Python?

Làm thế nào để Python lưu trữ dữ liệu trong SQL?