摘要
機器人可以出色完成單調的工作流程和讓人乏味的重復性任務。它們在結合圖像處理功能後，就擁有瞭視覺，成為人類可靠的夥伴。它們適合質量保證工作，能夠檢查組件，協助組件的組裝和定位，檢測生產過程中的錯誤和偏差，從而提高整個生產線的效率。
一傢汽車制造商正利用這一技術縮短沖壓生產線的周期時間。來自曼海姆的團隊和制造商展開合作，開發瞭基於機器人的3D測量系統FrameSense，用於容器的全自動裝卸。這樣可以安全而精確將沖壓部件插入容器或從容器中取出。友思特 IDS的四臺Ensenso 3D相機提供瞭基本數據，為流程自動化提供瞭平臺。
01 問題呈現
FrameSense要實現自動化的實際工作流程是許多制造工作的一部分。生產線將一個部件從機器（這裡是壓力機）中生產出來後，通過傳送帶運送到容器，然後疊放在容器中。容器裝滿後，生產線就將其傳送到下一個生產步驟，例如組裝到車輛中。
到目前為止，將組件裝入容器的工作一直由人工完成。這個子任務看上去似乎很簡單，但是實際並非如此。除瞭實際的插入過程外，第一步是確定零件有適當自由空間。同時，必須消除任何幹擾因素，比如相互扣住的情況，並且必須對“裝載箱”的任何缺陷進行全面檢查。所有這些任務現在都將由一個配有視覺系統的機器人接管，這是一項技術挑戰。這是因為容器來自不同的制造商，類型多種多樣，尺寸可能不同。
圖1：當將部件插入支架的梳型條時，機器人必須以毫米精度工作
02 借助3D相機進行檢查
要實現全自動裝卸，必須確定容器的幾個相關特征的位置，以便對機器人進行多矢量校正。對各個容器的類型、形狀和位置進行檢查是基礎環節。這是確保裝載機器人實現可靠流程和無碰撞路徑引導的唯一方法。所有這些都必須整合到現有的生產流程中。必須消除時間延遲，並且部件的定位必須精確到毫米。
為瞭滿足這些要求，VMT每個系統使用四臺友思特 IDS 3D相機。四個傳感器各自記錄整個圖像場的一部分。它可以同時處理兩個容器，每個容器的尺寸約為1.5 x 2 x 1.5米（長 x 寬 x 高）。兩臺相機聚焦在一個容器上。這會生成來自兩個視角的數據，可以提高3D點雲的信息質量。系統綜合四個傳感器的所有點雲，開展後續評估工作。在此過程中，容器的相關特征在總點雲的ROI（感興趣區域）中進行配準。配準是指使用模型在所有6個自由度上精確定位特征。在其他ROI中，搜索可能在加載過程中導致碰撞的幹涉輪廓。最後，將整體圖片與存儲的參考模型進行比較。通過這種方式，就能夠以完全自動化的方式同時檢查容器的狀態和位置。甚至可以處理變形或傾斜的容器。所有這些信息也被記錄下來，以便在質量管理系統中用於跟蹤所有容器的狀況。采用單獨的IPC（工業計算機）進行測量數據校準、合並以及完成後續評估，IPC具有可視化屏幕、操作元件並連接機器人相應控制裝置。
圖像處理解決方案的主要結果是多矢量校正。通過這種方式對機器人進行調整，幫助機器人順利將部件插入下一個可能的合適存放位置。第二種結果是由於邊緣或容器中的對象發生幹擾而導致出現錯誤消息，這將阻止填充。在數據的幫助下，系統可以檢測出現一般性問題的損壞容器並進行分類。整個圖像處理在VMT開發的圖像處理軟件 MSS (Multi Sensor Systems) 中進行。FrameSense的設計易於使用，也可以在現場直接轉換為其他組件。
圖2：測量數據的評估和可視化
03 堅固的3D相機系統
在相機方面，VMT依賴友思特 IDS Ensenso 3D相機，最初采用X36型號。FrameSense的當前擴展階段配備瞭友思特 IDS Ensenso C版本。新版本投影儀的性能更好，能夠增強投影效果，同時錄制速度更高，相比之前版本更具優勢。此外，友思特 IDS Ensenso C能夠實現更大的測量體積。這是FrameSense的一個重要標準，因為機器人總需要與要裝填的容器保持一定距離。因此，友思特 IDS Ensenso C的規格完全符合VMT的要求，正如項目經理和技術經理Andreas Redekop所解釋的那樣：“我們選擇相機時，主要考慮的技術標準包括投影儀性能、分辨率以及數據處理速度，這款產品在這些方面表現出色，它的另一個優勢是安裝在固定的外殼中。”
圖3：Ensenso C 在高強度投影儀的支持下，將高對比度紋理投影到待成像對象上
友思特 IDS Ensenso C解決瞭自動化和機器人行業當前的挑戰。與其他Ensenso型號相比，它同時提供3D和RGB顏色信息。因此，所獲得的圖像數據更有意義，從而為客戶帶來很大幫助。堅固的3D相機系統外殼符合防護等級IP65/67的要求。它的分辨率達5MP，將基線提高到約455毫米。這樣就能夠可靠檢測大型物體。該相機速度快，易於使用，適合醫療技術、物流或工廠自動化等大規模應用。
圖4：四臺友思特 IDS Ensenso C相機捕捉堆垛容器的輪廓
04 應用前景
通過自動裝卸容器和集成的3D容器檢查，FrameSense可以幫助手動工作站實現自動化。在技術工人短缺的背景下，該系統可以為汽車行業的過程自動化等做出重要貢獻。它可以應對行業的普遍挑戰。友思特 IDS Ensenso C為數據生成提供瞭至關重要的基礎，超過瞭許多應用的要求。產品管理部的Lukas Neumann知道這些系統可以帶來附加價值，他特別提到：“高投影儀功率和高傳感器分辨率在內部物流領域尤其有利。在這裡，必須通過大的測量體積從很遠的距離抓取高精度部件。“ 對於傳統物流領域的其他堆垛或箱分揀應用，他認為相機投影功率高，但分辨率較低，記錄速度快，就足夠瞭。
因此，沒有任何東西會阻礙與“視覺”機器人相結合的進一步發展和自動化解決方案。
END
友思特·智能感知
虹科集團旗下子公司友思特是領先的智能感知與機器視覺解決方案提供商，致力於幫助各行業客戶提高效率、改善生產質量。圍繞智能制造、智能交通、醫療健康等領域，為用戶提供視覺檢測與識別、圖像采集和FPGA圖像處理，以及智慧交通、智慧城市等解決方案。
作為專業的智能感知與視覺解決方案提供商，我們可以為您提供以下產品和服務：
✓ 視覺檢測和識別。利用視覺相機和AI相機實現對於物品外觀、尺寸、形狀等關鍵信息的快速檢測和精準識別。
✓ 各具特點的3D相機。雙目散斑結構光相機在室內外均可用，提供超高精度深度點雲圖像；深度AI相機，內置用於AI神經網絡模型推理的1.4T算力英特爾處理器，基於雙目設計，且提供大量的開源項目例程，開發生態友好。
✓ 圖像采集與處理。利用FPGA圖像采集卡結合開發軟件，幫助客戶部署板載圖像處理功能，實現高帶寬場景下的預處理開發。
✓ 集成Nvidia邊緣計算和高帶寬采集接口的專業視覺邊緣計算機，幫助客戶結合FPGA端和AI端的開發，將復雜的系統部署到邊緣。
✓ 適用於不同場景的雷達。MEMS固態激光雷達體積小、質量輕，在無人機應用上極具優勢；純固態激光雷達，大視場高分辨率，結構緊湊，適用於集成車載ADAS等相關應用。
✓ 一站式打包視覺方案。基於客戶需求提供定制化軟硬件整體方案，包括設備選擇、軟件調試等。
我們已經陸續完成瞭包括華為、三菱、南方電網等客戶的自動駕駛傳感器圖像采集、高端機器人圖像處理、工件質量識別等項目。一旦您開始應用虹科的智能感知與視覺解決方案，我們的團隊將為您提供專業的支持，不斷推出高可靠性、高智能化的產品和服務，與客戶共同發展，促進產業升級。
獲取電子版資料&咨詢更多解決方案&探討技術問題，歡迎添加下方友思特技術工程師微信！
