Airflow là gì

Airflow, một căn nguyên mối cung cấp mngơi nghỉ, được sử dụng nhằm thu xếp các luồng các bước bên dưới dạng biểu vật chu kỳ luân hồi theo hướng (DAG) của những tác vụ theo cách xây dựng. Một kế hoạch trình luồng bầu không khí được thực hiện đặt lên trên định kỳ các tiến trình công việc và con đường ống xử lý tài liệu. Giao diện người dùng Airflow cho phép tiện lợi hình dung những mặt đường ống chạy trong môi trường xung quanh chế tạo, tính toán tiến trình của quá trình công việc với xử lý sự chũm khi yêu cầu. Các ứng dụng chiếc lệnh nhiều chủng loại được sử dụng nhằm tiến hành những ca phẫu thuật phức tạp bên trên DAG.quý khách đang xem: Airflow là gì

Trong blog này, hãy trao đổi về lập kế hoạch cùng thực hiện các công việc Talkết thúc với Airflow.

Bạn đang xem: Airflow là gì

Điều kiện tiên quyết

Luồng khí 1.7 trsống lên Pynhỏ nhắn 2.7 Studio msinh hoạt Talover (Tích hòa hợp tài liệu béo hoặc dữ liệu)

Ca sử dụng

Lập lịch cùng triển khai các công việc Talend ETL cùng với Airflow.

Tóm tắc

Tác mang Talover vấn đề làm Lịch trình công việc Talend Gigiết hại quá trình công việc vào Web UI

Mô tả công việc

Việc làm cho Talkết thúc ETL được sản xuất bởi:

Tđắm say gia application_id trường đoản cú applicant_loan_info và loan_info như miêu tả vào sơ trang bị dưới đây:

Đang mua dữ liệu trùng khớp vào loan_application_analysis bảng. Áp dụng một cỗ thanh lọc trên LoanDecisionType nghành vào  các loan_application_analysis bảng nhằm cô lập những quý giá nhỏng Approved , bị từ chối , và bị thu hồi . Áp dụng một bộ thanh lọc khác trên các quý hiếm được tách riêng rẽ sống bên trên nhằm tách riêng biệt LoanType thành Cá nhân , Tự động , Tín dụng với Nhà .

Công câu hỏi Talover đang tạo nên xây dựng và dịch chuyển đến vị trí máy chủ. Một DAG có tên Loan_Application_Analysis.py được chế tạo với đường truyền tương ứng của những tập lệnh nhằm thực hiện luồng theo thử khám phá.

Tạo thỏng mục DAG cùng khởi rượu cồn lại sever website luồng ko khí

Sau Lúc setup Airflow, hãy tiến hành như sau:

Tạo thư mục DAG ( / trang chủ / ubfox / airflow / dags ) trong băng thông Airflow. Di đưa tất cả những .py tập tin vào thư mục DAG. Khởi rượu cồn lại sever website Airflow bằng mã tiếp sau đây giúp thấy DAG này trong danh sách UI: Loginkhổng lồ the AIRFLOW_HOME path-- eg.(/home/ubuntu/airflow) To restart webVPS ---> airflow webserver To restart scheduler ---> airflow scheduler

Sau Khi khởi cồn lại máy chủ website, tất cả .py các tệp hoặc DAG trong thỏng mục sẽ tiến hành tđắm say chiếu cùng sở hữu vào list DAG UI web.

Lập planer công việc

Các công việc Talover sẽ sinh sản hoàn toàn có thể được lên định kỳ bằng phương pháp thực hiện bộ lập định kỳ Airflow. Để biết mã, xem phần Tài liệu tham khảo .

Xem thêm:

Lưu ý : Công Việc có thể được kích hoạt thủ công bằng tay bằng cách nhấp vào nút ít Run dưới cột Liên kết như hình bên dưới đây:

Cả nhị công việc được lên kế hoạch tự động hóa cùng được kích hoạt thủ công có thể được coi như trong hình ảnh người dùng nhỏng sau:

Gisát hại công việc

Xem biểu đồ

Các tâm trạng của các các bước được biểu thị bên dưới dạng bối cảnh nlỗi dưới đây:

Chế độ xem cây

Các tinh thần của các các bước cùng với ngày thực hiện của các quá trình được bộc lộ bên dưới dạng cây hệt như dưới đây:

Xem Gannt

Các trạng thái của những các bước với ngày triển khai của những công việc được diễn tả theo định hình Gannt như dưới đây:

Xem thời lượng tác vụ

lúc nhấp vào tab Thời lượng tác vụ , chúng ta có thể coi thời lượng tác vụ của toàn bộ quá trình hoặc DAG theo định hình hình ảnh nhỏng dưới đây:

Xem trường thích hợp nhiệm vụ

Bằng cách nhấp vào Duyệt > Trường hợp tác và ký kết vụ , chúng ta cũng có thể coi các trường hợp mà các tác vụ đang hoạt động, nhỏng được hiển thị bên dưới:

Xem công việc

Bằng giải pháp nhấp vào Duyệt > Công việc , bạn có thể coi chi tiết nlỗi thời gian bắt đầu, thời hạn xong xuôi cùng bạn triển khai công việc, nhỏng được hiển thị vào sơ thiết bị bên dưới:

Xem nhật ký

Bằng cách nhấp vào Duyệt > ViewLog , chúng ta có thể xem cụ thể của nhật ký, nhỏng được hiển thị vào sơ vật dụng bên dưới:

Hồ sơ dữ liệu

Airflow cung ứng giao diện truy vấn vấn Squốc lộ đơn giản dễ dàng nhằm tầm nã vấn tài liệu và đồ họa người dùng biểu trang bị nhằm trực quan tiền hóa các tác vụ.

Để cấu hình dữ liệu của khách hàng, nhấp vào Quản trị viên > Kết nối để chọn các loại kết nối cơ sở tài liệu, như được hiển thị trong sơ vật bên dưới:

Biểu đồ

Các nhiều loại trực quan hóa khác nhau hoàn toàn có thể được tạo cho thời hạn tác vụ và tâm lý nhiệm vụ bằng biểu thứ.

Để chế tạo các biểu vật nlỗi thanh, con đường, Khu Vực, v.v. cho 1 DAG ví dụ bằng truy vấn vấn Squốc lộ, nhấp vào Cấu hình dữ liệu > Biểu đồ > DAG_id , nhỏng được hiển thị trong sơ đồ bên dưới:

thông báo hiện có email

Thông báo qua email như email_on_failure, email_on_successvới email_on_retries rất có thể được đặt để tìm hiểu tâm trạng quá trình.

Để bật thông báo, hãy thực hiện như sau:

Định thông số kỹ thuật cài đặt trong airflow.cfg tệp trong airflow_home đường dẫn, như hiển thị mặt dưới:

Đặt lại cài đặt tin nhắn của chúng ta thành thiết đặt Gmail >  allow_less safe_apps > ON để dấn thông tin qua email từ Airflow.

Lưu ý : quý khách hàng có thể nhận được authentication_error giả dụ thiết lập gmail ko được cấu hình đúng. Để hạn chế và khắc phục sự nắm này, hãy đồng ý lắp thêm đăng nhập có tác dụng lắp thêm của chúng tôi vào thứ Gmail xem xét là Có Đó là Tôi .

Một gmail thua cuộc công việc được hiển thị bên dưới đây:

Phần kết luận

Trong blog này, Shop chúng tôi đã bàn thảo về người sáng tác, lập kế hoạch với giám sát và đo lường tiến trình các bước từ hình ảnh người dùng website, cũng tương tự kích hoạt các công việc Talover thẳng từ bỏ đồ họa người tiêu dùng website theo yêu cầu bằng phương pháp thực hiện bash tân oán tử. Bạn cũng hoàn toàn có thể chuyển tài liệu từ bỏ cửa hàng tài liệu này quý phái đại lý dữ liệu không giống bằng generic_transfer toán tử.