Thiết kế mạng công nghiệp dễ khắc phục sự cố

Sự cố Ethernet công nghiệp hiếm khi bắt nguồn từ một lỗi thiết kế nghiêm trọng duy nhất. Thường thì một nhà máy tích lũy những thỏa hiệp nhỏ: một switch không quản lý được bổ sung trong thời gian dừng máy, các địa chỉ trùng lặp không được ghi chép, một vòng mạng chưa từng được kiểm tra sau khi mở rộng, hoặc lưu lượng sản xuất được phép dùng chung đường truyền với hoạt động thu thập dữ liệu khối lượng lớn. Mạng có thể vận hành trong nhiều năm, rồi trở nên khó chẩn đoán khi một dây cáp, switch hoặc cấu hình cuối cùng cũng thay đổi.

Vì vậy, một mạng dễ bảo trì không chỉ là sơ đồ các kết nối. Đó là một mô hình vận hành làm cho các đường đi của lưu lượng, quyền sở hữu, ranh giới sự cố và quy trình khôi phục trở nên rõ ràng. Mục tiêu không phải là sự phức tạp tối đa. Đó là một thiết kế giúp kỹ thuật viên nhanh chóng trả lời ba câu hỏi: điều gì đã thay đổi, những gì bị ảnh hưởng, và nên bắt đầu kiểm tra ở đâu?

Bắt đầu từ hệ quả đối với điều khiển

Trước khi chọn VLAN, định tuyến hoặc giao thức dự phòng, hãy xác định mất liên lạc có ý nghĩa gì đối với quy trình. Một cell đóng gói có thể dừng an toàn nếu HMI mất kết nối. Một dây chuyền phối hợp có thể tạo ra sản phẩm hỏng khi số lượng sản phẩm được sản xuất và tiêu thụ bị chênh lệch. Một cụm quy trình có thể tiếp tục điều khiển cục bộ trong khi mất khả năng giám sát. Những hệ quả này quyết định kết nối nào cần dự phòng, cảnh báo nào cần được xử lý cục bộ và luồng dữ liệu nào có thể chịu được độ trễ.

Hãy lập tài liệu về bên tạo và bên nhận cho mọi kết nối quan trọng. Bao gồm lưu lượng PLC đến I/O, thông báo giữa các bộ điều khiển, điều khiển biến tần, truyền thông liên quan đến an toàn, hoạt động truy vấn HMI, thu thập dữ liệu lịch sử, quyền truy cập kỹ thuật, đồng bộ thời gian và hỗ trợ từ xa. Bản kiểm kê này hữu ích hơn một bản vẽ chỉ thể hiện các cổng switch.

Phân đoạn theo chức năng và ranh giới sự cố

Phân đoạn nên làm giảm cả phạm vi phát quảng bá lẫn tác động vận hành. Một điểm khởi đầu phổ biến là tách các cell máy, khu vực quy trình, dịch vụ hạ tầng và ứng dụng cấp nhà máy. Ranh giới phải phù hợp với cách nhà máy được vận hành và bảo trì. Nếu một đội bảo trì phụ trách toàn bộ một dây chuyền, vùng cấp dây chuyền có thể rõ ràng hơn hàng chục mạng con tùy ý. Nếu một skid được cung cấp và bảo dưỡng độc lập, ranh giới của nó vẫn phải được nhận diện rõ.

Phân đoạn tự thân không phải là bảo mật. Lưu lượng giữa các vùng vẫn cần có quy tắc rõ ràng, đường truyền được giám sát và hoạt động quản trị được kiểm soát. Hướng dẫn hiện hành của NIST về bảo mật công nghệ vận hành nhấn mạnh các kiến trúc tôn trọng yêu cầu về hiệu năng, độ tin cậy và an toàn của OT. Trên thực tế, điều đó có nghĩa là các biện pháp bảo mật phải được thiết kế xoay quanh quy trình, thay vì sao chép máy móc từ CNTT văn phòng.

Phân đoạn hữu ích phải tuân theo quyền sở hữu quy trình và giới hạn khu vực bị ảnh hưởng bởi sự cố hoặc thay đổi trái phép.

Xây dựng các đường truyền liên vùng có tính dự đoán

Các bộ điều khiển ở những phân đoạn khác nhau vẫn cần trao đổi dữ liệu được chọn lọc. Việc định tuyến phải khiến các đường truyền đó trở nên có chủ đích. Tránh tạo nhiều cổng kết nối không được ghi chép giữa cùng một cặp vùng. Mỗi đường truyền bổ sung khiến việc bắt gói tin, kiểm soát truy cập và phân tích sự cố khó khăn hơn. Hãy sử dụng hạ tầng được quản lý, có bản sao lưu cấu hình, quy tắc đặt tên nhất quán và quy định rõ nơi thực hiện định tuyến.

Cần lựa chọn switch công nghiệp phù hợp với môi trường và công việc chẩn đoán dự kiến. Bộ đếm cổng, tính năng phát hiện cấu trúc liên kết, tiếp điểm cảnh báo, đồng bộ thời gian, xuất cấu hình và ghi nhật ký sự kiện thường quan trọng hơn tốc độ chuyển tiếp được quảng bá trong quá trình xảy ra sự cố. Danh mục truyền thông và kết nối mạng của PLC ProTech cung cấp các ví dụ về những mô-đun và switch được quản lý thường dùng để xây dựng các đường truyền này.

Dự phòng cũng cần có mục đích rõ ràng. Một vòng mạng có thể bảo vệ trước sự cố đứt một dây cáp, nhưng có thể che giấu các liên kết hỏng nếu không ai giám sát trạng thái vòng. Hai đường uplink có thể cải thiện tính sẵn sàng, nhưng chỉ khi đã hiểu rõ cách chuyển mạch và định tuyến hoạt động. Mọi thiết kế dự phòng đều phải có quy trình kiểm tra khi mất cáp, mất nguồn switch, khởi động lại bộ điều khiển và khôi phục hệ thống.

Kiểm soát địa chỉ và cấu hình

Sơ đồ địa chỉ phải được xem là dữ liệu kỹ thuật được kiểm soát. Ghi lại tên thiết bị, địa chỉ IP, mạng con, cổng gateway, cổng switch, phiên bản firmware, người phụ trách và vị trí tủ. Dành riêng các dải địa chỉ cho hạ tầng, bộ điều khiển, biến tần, HMI, I/O từ xa và thiết bị chạy thử tạm thời. Không nên dựa vào trí nhớ hoặc một bảng tính mà chỉ một người có thể truy cập.

Địa chỉ trùng lặp thường xuất hiện sau khi một thiết bị thay thế được nạp cấu hình cũ. Hãy ngăn ngừa tình trạng này bằng cách gắn bản ghi mạng đã phê duyệt vào quy trình thay đổi. Sau khi thay thế, hãy kiểm tra không chỉ phản hồi ping mà còn cả danh tính thiết bị, thông tin thiết bị lân cận, các kết nối đang hoạt động và chẩn đoán của bộ điều khiển. Ping thành công hầu như không chứng minh được gì về đường truyền ứng dụng chính xác.

Thiết kế chẩn đoán trước khi xảy ra sự cố

Việc xử lý sự cố nhanh nhất bắt đầu trước khi hoạt động sản xuất bị gián đoạn. Hãy thiết lập đường cơ sở ở trạng thái tốt cho lỗi cổng switch, mức sử dụng, tốc độ lưu lượng multicast, trạng thái vòng, số lượng kết nối bộ điều khiển và độ trễ mạng. Lưu bản sao lưu cấu hình và ghi lại ngày khôi phục được xác minh gần nhất. Nếu có thể, hãy cung cấp một điểm truy cập được giám sát để bắt gói tin, nhờ đó kỹ sư không phải chèn thêm switch trong thời gian mất dịch vụ.

Một mạng trục được lập tài liệu giúp mỗi vùng điều khiển có tuyến đường xác định và vị trí xác định để quan sát lưu lượng.

Trình tự xử lý sự cố có kỷ luật

Bắt đầu từ triệu chứng của quy trình và các thiết bị bị ảnh hưởng. Xác nhận nguồn điện, trạng thái liên kết và những thay đổi gần đây. So sánh cấu trúc liên kết và bộ đếm hiện tại với đường cơ sở. Kiểm tra cục bộ trước khi kiểm tra qua bộ định tuyến hoặc tường lửa. Nếu nhiều thiết bị cùng gặp sự cố, hãy tìm switch, nguồn điện, đường uplink hoặc phụ thuộc định tuyến dùng chung của chúng. Thu thập bằng chứng trước khi khởi động lại thiết bị, vì việc khởi động lại có thể xóa những nhật ký hữu ích nhất.

Làm rõ trách nhiệm giữa CNTT và OT

CNTT và OT cần một kiến trúc chung nhưng có các giả định vận hành khác nhau. Đội CNTT mang đến khả năng quản lý danh tính, xử lý lỗ hổng, quản trị tường lửa và giám sát cấp doanh nghiệp. Đội OT hiểu về thời gian quét, hệ quả an toàn, thời gian bảo trì, hỗ trợ của nhà cung cấp và các hạn chế khôi phục. Cần xác định rõ người phụ trách switch, tường lửa, máy chủ thời gian, bản sao lưu, chứng chỉ và tài khoản truy cập từ xa.

Kiểm soát thay đổi là điểm giao nhau. Một quy tắc tường lửa, bản cập nhật firmware hoặc việc thay switch có thể ảnh hưởng đến sản xuất, ngay cả khi đó là thay đổi thường lệ ở nơi khác. Hãy yêu cầu kế hoạch quay lui và bước xác minh sản xuất. Vẫn phải duy trì khả năng truy cập khẩn cấp, nhưng cần ghi nhật ký và xem xét việc sử dụng quyền này.

Lập kế hoạch dung lượng mà không cần dự đoán mọi thứ

Không thiết kế nào có thể dự đoán mọi máy móc trong tương lai, nhưng thiết kế có thể duy trì các phương án mở rộng. Hãy dành sẵn dung lượng địa chỉ được ghi chép, các cổng switch được quản lý dự phòng, các sợi quang dự phòng ở những nơi có khả năng mở rộng và không gian tủ cho hạ tầng mới. Tách lưu lượng điều khiển khỏi hoạt động phân tích tiêu tốn nhiều dữ liệu để hệ thống lưu trữ lịch sử, camera và hệ thống biên có thể phát triển mà không tiêu thụ cùng ngân sách sự cố với I/O xác định.

Bài học tổng quát rất rõ ràng: một mạng công nghiệp tốt không phải là mạng có nhiều tính năng nhất. Đó là mạng có hành vi vẫn dễ giải thích sau nhiều năm mở rộng. Ranh giới rõ ràng, cấu hình có thể khôi phục, đường cơ sở được đo lường và quyền sở hữu chung biến Ethernet từ một phụ thuộc vô hình thành tài sản nhà máy được thiết kế bài bản.