Tại sao máy ảnh AI đang thay đổi cách thiết kế ống kính

Trong một thời gian dài, việc phát triển máy ảnh tuân theo một logic khá đơn giản:

Cảm biến tốt hơn → độ phân giải cao hơn → camera tốt hơn.

Sau đó AI đã vào cuộc.

Đột nhiên, camera không còn chỉ ghi lại những gì đã xảy ra nữa.

Nó đã được mong đợi để hiểu nó.

Một camera an ninh có thể cần phân biệt một người với một chiếc xe. Một robot có thể cần phải nhận ra một chướng ngại vật. Máy bay không người lái có thể cần phải hiểu môi trường xung quanh khi di chuyển ở tốc độ cao.

Và điều này tạo ra một vấn đề không được chú ý đầy đủ:

AI chỉ có thể hoạt động với thông tin hình ảnh mà camera cung cấp cho nó.

Một thuật toán xuất sắc không thể khôi phục những chi tiết mà hệ thống quang học không bao giờ ghi lại được.

Đây là lý do tại sao AI đang âm thầm thay đổi cách thiết kế ống kính máy ảnh.

AI không làm biến mất quang học kém

Thật hấp dẫn khi nghĩ rằng các mô hình AI ngày càng mạnh mẽ sẽ bù đắp cho những chiếc máy ảnh tầm thường.

Đôi khi nhiếp ảnh tính toán có thể giúp ích.

Giảm nhiễu có thể cải thiện hình ảnh.

Làm sắc nét có thể làm cho các cạnh trông mạnh mẽ hơn.

Cải tiến AI có thể tái tạo lại các chi tiết hợp lý về mặt trực quan.

Nhưng có sự khác biệt giữa việc làm cho hình ảnh trông đẹp hơn và thu được nhiều thông tin chân thực hơn.

Nếu một vật thể bị mờ nghiêm trọng do độ phân giải quang học kém, phần mềm không thể tái tạo lại các chi tiết đẹp ban đầu một cách đáng tin cậy.

Nếu hình ảnh ban đêm hầu như không có tín hiệu có thể sử dụng được thì thuật toán không thể đơn giản tạo ra bằng chứng trực quan đáng tin cậy.

Điều này đặc biệt quan trọng đối với các ứng dụng công nghiệp và bảo mật nơi hình ảnh không được xem để giải trí.

Nó đang được sử dụng để đưa ra quyết định.

Hiệu suất ánh sáng yếu đang trở thành một yêu cầu của AI

Một trong những thách thức lớn nhất đối với camera AI là ánh sáng yếu.

Con người thường có thể đưa ra những đánh giá hợp lý trong môi trường thiếu sáng.

Hệ thống thị giác máy tính ít tha thứ hơn.

Khi độ sáng giảm, máy ảnh thường phải đối mặt với:

 Tăng tiếng ồn cảm biến

 Độ tương phản thấp hơn

Chuyển động mờ

Mất thông tin màu sắc

Giảm định nghĩa cạnh

Những vấn đề này có thể ảnh hưởng trực tiếp đến việc phát hiện và phân loại AI.

Hãy xem xét một người đi bộ qua bãi đậu xe vào ban đêm.

Trong khung cảnh sáng sủa, AI có thể có thông tin rõ ràng về hình dáng, quần áo, chuyển động và môi trường xung quanh của người đó.

Trong một khung cảnh thiếu sáng, chính người đó có thể trở thành một cái bóng ồn ào.

Thuật toán không đột nhiên trở nên ngu ngốc.

Đơn giản là đầu vào trở nên khó diễn giải hơn nhiều.

Đây là một lý do khiến các thiết kế quang học khẩu độ lớn và ánh sáng yếu ngày càng trở nên phù hợp với các hệ thống thị giác AI.

Điểm ảnh nhỏ hơn tạo ra nhu cầu quang học lớn hơn

Cảm biến hiện đại tiếp tục tăng mật độ điểm ảnh.

Điều đó tạo ra nhiều dữ liệu hình ảnh hơn nhưng cũng đặt ra yêu cầu lớn hơn đối với ống kính.

Các pixel nhỏ hơn có thể yêu cầu hệ thống quang học phân giải chi tiết không gian tốt hơn.

Nếu ống kính không thể theo kịp, việc thêm pixel sẽ tạo ra hiệu ứng giảm dần.

Điều này đặc biệt quan trọng đối với camera AI vì hệ thống có thể phụ thuộc vào các tính năng hình ảnh tương đối nhỏ.

Con người có thể nhận ra một vật thể từ hình dạng chung của nó.

Mô hình AI có thể dựa vào các mẫu, cạnh, kết cấu hoặc mối quan hệ màu sắc tinh tế.

Do đó, ống kính cần cung cấp hình ảnh đủ rõ ràng để các tính năng này tồn tại trong toàn bộ quy trình tạo ảnh.

Đây là một lý do khiến việc thiết kế quang học và lựa chọn cảm biến ngày càng cần phải diễn ra đồng thời.

Ống kính góc rộng tạo ra sự đánh đổi thú vị về AI

Camera AI thường cần góc nhìn rộng.

Robot cần hiểu được môi trường xung quanh.

Máy bay không người lái cần nhận thức tình huống.

Camera an ninh cần bao quát các khu vực rộng lớn.

Vậy tại sao không đơn giản là làm cho ống kính rộng hơn?

Bởi vì quang học góc rộng đặt ra những thách thức riêng.

Khi trường nhìn tăng lên, nhà thiết kế phải quản lý:

Biến dạng

 Độ phân giải cạnh

 Chiếu sáng tương đối

 Quang sai màu

Hình học hình ảnh

Một ống kính rất rộng có thể chụp được nhiều môi trường hơn nhưng tạo ra chất lượng hình ảnh yếu hơn ở gần các cạnh.

Đối với việc xem của con người, điều đó có thể chấp nhận được.

Đối với AI, nó có thể trở nên phức tạp hơn.

Nếu các vật thể ở gần rìa hình ảnh bị biến dạng hoặc mờ nhiều, thuật toán sẽ được yêu cầu giải thích thông tin hình ảnh đã bị giảm chất lượng.

Điều này tạo ra sự cân bằng trong thiết kế cơ bản:

Nhiều trường nhìn hơn so với nhiều chi tiết có thể sử dụng hơn.

Câu trả lời đúng phụ thuộc vào ứng dụng.

Robotics: Ống kính đang trở thành một phần của hệ thống nhận thức

Sự nổi lên của AI hiện thân đang đẩy vấn đề này đi xa hơn.

Một robot không có khả năng hỏi:

“Ai đó có thể vui lòng bật đèn lên được không?”

Nó phải hoạt động trong môi trường mà nó được cung cấp.

Môi trường đó có thể chứa:

Bóng tối

 Chiếu sáng không đồng đều

 Bề mặt phản chiếu

Không gian hẹp

 Di chuyển người

 Vật ở các khoảng cách khác nhau

Do đó, máy ảnh là một phần của hệ thống nhận thức của robot.

Đối với tầm nhìn của robot, thiết kế ống kính cần xem xét:

 Trường nhìn

Biến dạng

Hiệu suất ánh sáng yếu

Độ phân giải

Yêu cầu về nhận thức sâu sắc

 Kích thước và trọng lượng

Một ống kính tạo ra hình ảnh đẹp trong phòng thí nghiệm có thể không nhất thiết phải là ống kính phù hợp cho robot chuyển động.

Độ tin cậy trong thế giới thực quan trọng hơn một bản demo hoàn hảo.

UAV và Drone cần một sự cân bằng quang học khác nhau

Máy bay không người lái tạo ra một thử thách thú vị khác.

Một máy ảnh drone có thể cần:

Trường nhìn rộng + trọng lượng nhẹ + độ phân giải tốt + khả năng chụp thiếu sáng.

Đó là một sự kết hợp khó khăn.

Trường nhìn rộng giúp máy bay không người lái hiểu được môi trường của nó.

Trọng lượng thấp giúp chuyến bay hiệu quả.

Độ phân giải tốt giúp nhận diện đồ vật.

Hiệu suất ánh sáng yếu trở nên quan trọng đối với bình minh, hoàng hôn, chuyến bay trong nhà hoặc điều kiện thời tiết khó khăn.

Hệ thống FPV bổ sung thêm một yêu cầu khác:

Hình ảnh cần có cảm giác ngay lập tức.

Chuyển động mờ, phơi sáng kém hoặc biến dạng hình ảnh quá mức có thể ảnh hưởng tiêu cực đến nhận thức thị giác của phi công.

Đây là lý do tại sao thiết kế ống kính máy bay không người lái ngày càng trở thành một vấn đề tối ưu hóa thay vì chỉ đơn giản là lựa chọn tiêu cự.

Giám sát AI đang chuyển từ phát hiện sang hiểu biết

Camera an ninh cung cấp một trong những ví dụ rõ ràng nhất về quá trình chuyển đổi này.

Giám sát truyền thống hỏi:

“Có thứ gì đó chuyển động à?”

Giám sát AI hiện đại hỏi:

Ai đã di chuyển?

Đây là phương tiện gì?

Nó đang di chuyển theo hướng nào?

 Mang vật gì?

 Hành vi đó có bất thường không?

 Điều gì đã xảy ra trước và sau sự kiện?

Phân tích càng nâng cao thì hình ảnh gốc càng có giá trị.

Đây là lý do tại sao hình ảnh đầy đủ màu sắc trong điều kiện ánh sáng yếu đang thu hút sự chú ý.

Màu sắc có thể cung cấp thông tin hữu ích cho:

 Phân loại xe

Nhận dạng quần áo

 Nhận dạng đối tượng

Hiểu biết cảnh

Hồng ngoại vẫn cực kỳ hữu ích trong môi trường rất tối, nhưng khi có ánh sáng xung quanh nhìn thấy được, hệ thống quang học khẩu độ lớn có thể giúp lưu giữ thông tin sẽ biến mất khi máy ảnh chuyển sang chế độ nhìn đêm đơn sắc.

Ống kính đang trở thành một thành phần chất lượng dữ liệu

Đây có lẽ là thay đổi lớn nhất mà AI mang lại cho kỹ thuật quang học.

Trong lịch sử, thấu kính thường được coi là thành phần hình ảnh.

Bây giờ chúng ngày càng được coi là thành phần chất lượng dữ liệu.

Camera ghi lại dữ liệu.

Ống kính xác định lượng thông tin quang học hữu ích đến được cảm biến.

Cảm biến chuyển đổi thông tin đó thành tín hiệu điện.

ISP xử lý nó.

Mô hình AI diễn giải nó.

Giai đoạn đầu yếu thì các giai đoạn sau phải nỗ lực hơn.

Đó không phải lúc nào cũng là một chiến lược tốt.

Thông thường, việc nắm bắt thông tin tốt ngay từ đầu thường tốt hơn là dành nguồn lực tính toán khổng lồ để cố gắng sửa chữa nó sau đó.

Điều này có ý nghĩa gì đối với thiết kế ống kính?

Các ống kính máy ảnh AI trong tương lai có thể sẽ được thiết kế ngày càng xoay quanh các yêu cầu ứng dụng hơn là các thông số kỹ thuật riêng biệt.

Các kỹ sư có thể cần phải xem xét:

Thiết kế quang học dành riêng cho cảm biến

Thay vì chỉ hỗ trợ định dạng cảm biến, ống kính cần phải phù hợp với đặc điểm cảm biến thực tế.

Hiệu suất ánh sáng yếu tốt hơn

Hệ thống AI cần thông tin hình ảnh có thể sử dụng ngay cả khi ánh sáng bị hạn chế.

Hiệu suất cạnh ổn định hơn

Hệ thống góc rộng cần thông tin có thể sử dụng được trên toàn bộ hình ảnh chứ không chỉ ở trung tâm.

Kiểm soátsự bóp méo

Một số ứng dụng có thể chịu được sự biến dạng. Những người khác thì không thể.

Độ ổn định nhiệt

Robot, xe cộ, máy bay không người lái và camera ngoài trời có thể hoạt động trong phạm vi nhiệt độ lớn.

Tối ưu hóa dành riêng cho ứng dụng

Lăng kính bảo mật lý tưởng không nhất thiết phải là lăng kính robot lý tưởng.

Tương lai thuộc về các hệ thống quang học được thiết kế xoay quanh công việc mà chúng cần thực hiện.

Những gì chúng tôi đang học tại Quang học Boshi

TạiQuang học Boshi, chúng tôi hoạt động trong lĩnh vực giám sát an ninh, chụp ảnh ô tô, chụp ảnh y tế, thiết bị thông minh và các ứng dụng quang học khác. Phạm vi ứng dụng này làm cho một điều đặc biệt rõ ràng:

Không có định nghĩa chung về “ống kính tốt”.

Một ống kính góc rộng có thể rất phù hợp với máy ảnh này nhưng lại hoàn toàn không phù hợp với máy ảnh khác.

Ống kính có độ phân giải cao có thể không cần thiết đối với hệ thống giám sát chi phí thấp nhưng lại cần thiết cho thị giác máy.

Ống kính khẩu độ lớn có thể rất quan trọng đối với ứng dụng giám sát ban đêm nhưng ít quan trọng hơn trong môi trường công nghiệp được kiểm soát.

Cách tiếp cận ưu tiên ứng dụng này ngày càng quan trọng khi máy ảnh trở thành một phần của hệ thống AI.

Ống kính phải được thiết kế xoay quanh thông tin mà AI cần nhận—không chỉ xoay quanh các thông số kỹ thuật trông ấn tượng trên tờ sản phẩm.

Tương lai: Từ “nhìn rõ ràng” đến “nhìn một cách hữu ích”

AI đang thay đổi mục đích của máy ảnh.

Máy ảnh không còn tồn tại chỉ để tạo ra một hình ảnh hấp dẫn nữa.

Nó tồn tại để cung cấp thông tin.

Điều đó thay đổi các ưu tiên quang học.

Câu hỏi không còn chỉ là:

“Ống kính này sắc nét đến mức nào?”

Nó trở thành:

“Ống kính này có cung cấp thông tin hình ảnh đáng tin cậy cho tác vụ thực tế của hệ thống không?”

Vì lý do an ninh, điều đó có thể có nghĩa là giữ gìn diện mạo của một người vào ban đêm.

Đối với robot, điều đó có thể có nghĩa là duy trì khả năng nhận dạng đối tượng trên một phạm vi quan sát rộng.

Đối với máy bay không người lái, điều đó có thể có nghĩa là cân bằng nhận thức góc rộng với hiệu suất trong điều kiện ánh sáng yếu.

Đối với tầm nhìn công nghiệp, nó có thể có nghĩa là giải quyết các lỗi nhỏ một cách nhất quán.

Cuộc cách mạng AI có thể được thúc đẩy bởi các thuật toán, nhưng các thuật toán vẫn cần xem xét điều gì đó.

Và đó là lý do tại sao tương lai của tầm nhìn AI cũng sẽ được định hình bằng quang học.