機器人的傳感系統包括視覺系統、聽覺系統、觸覺系統、嗅覺系統以及味覺系統等。這些傳感系統由一些對圖像、光線、聲音、壓力、氣味、味道敏感的交換器即傳感器組成。

　　人所獲得外界信息的80%是靠視覺得到的，機器也類似。機器視覺本質上是為機器植入“眼睛”，利用環境和物體對光的反射來獲取和感知信息。

　　視覺傳感器是一種使用光電傳感器件來獲取物體圖像的設備，它能夠將物體圖像轉化為數字信號，并且對圖像進行處理和分析。視覺傳感器的工作過程包含檢測、分析、描繪和識別四部分：視覺檢測主要利用圖像信號輸入設備，將視覺信息轉換成電信號;視覺圖像分析是把攝取到的所有信號去掉雜波及無價值像素，重新把有價值的像素按線段或區域等排列成有像素集合;視覺描繪和識別是從物體圖像中提取特征，給予標志。

　　根據圖像信息獲取維度、處理數據類型的不同，機器視覺可劃分為 2D 視覺與 3D 視覺。2D 視覺通過工業相機來獲取平面圖片，主要基于物體的一個平面特征進行后續分析，無法獲取物體的空間坐標信息。3D 視覺能夠采集視野內空間每個點位的三維坐標信息，通過算法獲取三維立體成像，并根據這些數據信息分析得出有關目標對象在空間中的位置、形狀、體積、平面度等信息，以達到檢測、引導、測量、定位等功能。

　　隨著智能制造的不斷深入，面對復雜的物件辨識和尺寸量度任務，以及人機互動所需要的復雜互動，2D 視覺在精度和距離測量方面均出現部分技術局限，市場對 3D 視覺的需求開始與日俱增。在人形機器人應用領域，3D 視覺傳感器可以幫助機器人高效完成人臉識別、距離感知、避障、導航等功能，使其更加智能化。

　　機器人感知系統把機器人各種內部狀態信息和環境信息從信號轉變為機器人自身或者機器人之間能夠理解和應用的數據、信息，除了需要感知與自身工作狀態相關的機械量，如位移、速度、加速度、力和力矩外，視覺感知技術是工業機器人感知的一個重要方面。

　　視覺伺服系統將視覺信息作為反饋信號，用于控制調整機器人的位置和姿態。這方面的應用主要體現在半導體和電子行業。機器視覺系統還在質量檢測、識別工件、食品分揀、包裝的各個方面得到了廣泛應用。

　　通常，機器人視覺伺服控制是基于位置的視覺伺服或者基于圖像的視覺伺服，它們分別又稱為三維視覺伺服和二維視覺伺服，這兩種方法各有其優點和適用性，同時也存在一些缺陷。

　　基于位置的視覺伺服系統，利用攝像機的參數來建立圖像信息與機器人末端執行器的位置/姿態信息之間的映射關系，實現機器人末端執行器位置的閉環控制。

　　末端執行器位置與姿態誤差由實時拍攝圖像中提取的末端執行器位置信息與定位目標的幾何模型來估算，然后基于位置與姿態誤差，得到各關節的新位姿參數。基于位置的視覺伺服要求末端執行器應始終可以在視覺場景中被觀測到，并計算出其三維位置姿態信息。消除圖像中的干擾和噪聲是保證位置與姿態誤差計算準確的關鍵。

　　二維視覺伺服通過攝像機拍攝的圖像與給定的圖像(不是三維幾何信息)進行特征比較，得出誤差信號。然后，通過關節控制器和視覺控制器和機器人當前的作業狀態進行修正，使機器人完成伺服控制。相比三維視覺伺服，二維視覺伺服對攝像機及機器人的標定誤差具有較強的魯棒性，但是在視覺伺服控制器的設計時，不可避免地會遇到圖像雅克比矩陣的奇異性以及局部極小等問題。

　　針對三維和二維視覺伺服方法的局限性，有人提出了2.5維視覺伺服方法。它將攝像機平動位移與旋轉的閉環控制解耦，基于圖像特征點，重構物體三維空間中的方位及成像深度比率，平動部分用圖像平面上的特征點坐標表示。

　　這種方法能成功地把圖像信號和基于圖像提取的位姿信號進行有機結合，并綜合他們產生的誤差信號進行反饋，很大程度上解決了魯棒性、奇異性、局部極小等問題。但是，這種方法仍存在一些問題需要解決，如怎樣確保伺服過程中參考物體始終位于攝像機視野之內，以及分解單應性矩陣時存在解不唯一等問題。

　　在建立視覺控制器模型時，需要找到一種合適的模型來描述機器人的末端執行器和攝像機的映射關系。圖像雅克比矩陣的方法是機器人視覺伺服研究領域中廣泛使用的一類方法。圖像的雅克比矩陣是時變的，所以，需要在線計算或估計。