[KUSMO] 5/22 Object Tracking Using RealSense in ROS Melodic

 

• 목표 : 영상 인식을 통한 접속부 인식

• Intel RealSense D457 사용

 

• Intel RealSense Viwer 설치

https://changun516.tistory.com/199

Intel RealSense Viwer 및 SDK Ubuntu 20.04 설치

 

 

• Intel RealSense SDK 설치

https://doongdoongeee.tistory.com/99

Ubuntu에서 ROS를 통해 Intel Realsense D435i 사용하기

 

$ export ROS_VER=melodic
$ sudo apt install ros-melodic-realsense2-camera

• Intel realsense sdk-2 설치

 

$ mkdir -p ~/d457_ws/src
$ cd ~/d457_ws/src
$ git clone https://github.com/IntelRealSense/realsense-ros.git

• RealSense (이 글의 경우 D457)사용을 위한 workspace 생성 후 Intel RealSense package 다운로드

 

$ catkin_init_workspace
$ cd ..  
$ catkin_make clean
$ catkin_make -DCATKIN_ENABLE_TESTING=False -DCMAKE_BUILD_TYPE=Release
$ catkin_make install

• catkin_make 설치

 

$ echo "source ~/d457_ws/devel/setup.bash">> ~/.bashrc
$ source ~/.bashrc

• setup.bash 파일 source

 

$ roslaunch realsense2_camera rs_camera.launch

• Camera node 실행
• 아래와 같이 카메라를 찾지 못함 (USB C-C로 연결)

 

 

• 센서 상단부의 구멍에 핀을 꽂아 넣어 뚜껑을 연 후 M -> U로 전환 (사진 추가)
  • GMSL의 M, USB의 U로 예상됨

 

$ cd d457_ws
$ roslaunch realsense2_camera rs_camera.launch

• Camera node 실행
• 아래와 같이 정상 동작함을 확인

 

 

$ roslaunch realsense2_camera demo_pointcloud.launch

• Pointcloud demo node 실행

 

• Node Graph

 

$ cd d457_ws/src
$ git clone https://github.com/dovanhuong/object_detection_2d
$ cd ..
$ catkin_make

• OpenCV Object Tracking Package을 d457 workspace에 clone

 

$ sudo apt install ros-melodic-rgbd-launch

• rgbd launch file 설치

 

$ cd d457_ws
$ roslaunch realsense2_camera rs_rgbd.launch

• d457 workspace로 이동 후 rgbd launch file 실행

 

$ rosrun opencv_object_tracking object_filter

• 새로운 terminal 창을 연 후 opencv object tracking package 실행

• HSV parameter를 조정하여 객체 인식 성공
• HSV : Hue (색조. 0~180) Saturation (채도. 0~255) Value(0~255)
  • Hue : 색깔이나 색조, 혹은 색상의 단계적 변화. 즉 사람에게 우선적으로 보이는 색깔을 의미. Tint(순색에 흰색이 섞인 색). 첫번째 사진에선 순색이 Hue에 해당한다 하고 논문에선 Tint에 해당한다 함
  • Saturation : 채도. 즉 색의 선명도를 의미. 또는 Hue와 어울리는 흰색의 양. Shade(Tint와 반대되는 색으로, 순색에 검은 색이 섞인 색)
  • Value : 밝기/강도. Tone(순색에 회색이 섞인 색)

 

출처 : https://subscription.packtpub.com/book/data/9781789537147/1/ch01lvl1sec09/object-detection-using-color-in-hsv

• 위 색상표에서 x축이 H, y축이 S, S = 255, V=255에

 

OpenCV Error: One of arguments' values is out of range (Bad trackbar maximal value) in icvCreateTrackbar, file /build/opencv-L2vuMj/opencv-3.2.0+dfsg/modules/highgui/src/window_gtk.cpp, line 1454
terminate called after throwing an instance of 'cv::Exception'
  what():  /build/opencv-L2vuMj/opencv-3.2.0+dfsg/modules/highgui/src/window_gtk.cpp:1454: error: (-211) Bad trackbar maximal value in function icvCreateTrackbar

Aborted (core dumped)

• Object Tracking을 계속 돌릴 시 위와 같은 Error창이 뜨며 꺼짐

 

- 그림자를 물체로 인식하는 문제 발생 -> 해결 방안 모색 필요

1. End Effector에 조명을 달아 그림자 제거
2. SP 커플러에 R,G,B 중 한 색깔을 입혀 인식 
3. Object Tracking 외의 방법 사용 (Aruco Marker 등)

 

 

 

- 향후 계획

• X, Y축 리니어 엑추에이터의 24V에서 시간 당 이동거리 파악 후 현재 자신의 위치에서 접속부까지의 거리 계산 후 필요 거리만큼을 이동하게 해 접속

 

 

 

 

---

참고자료 :

https://github.com/dovanhuong/object_detection_2d

GitHub - dovanhuong/object_detection_2d: This source code to take object detection from 2D and point out the position in 3D coor

https://www.youtube.com/watch?v=2N6FJhoSYeo 

https://www.youtube.com/watch?v=VHO4G2h8O4g 

https://www.youtube.com/watch?v=qMPjaLAXaaw 

https://www.youtube.com/watch?v=YjotU6UdgZI 

https://mzu.edu.in/wp-content/uploads/2020/05/Interactive-Color-Image-Segmentation-using-HSV-Color-Space.pdf

 

https://subscription.packtpub.com/book/data/9781789537147/1/ch01lvl1sec09/object-detection-using-color-in-hsv

Object detection using color in HSV | Python Image Processing Cookbook

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=phominator&logNo=220773016858 

[포토샵 보정기능] Hue/Saturation : 색조와 채도 조절하기

https://illustmei.tistory.com/441

컬러 및 색상에 대한 디자인 용어 - HUE, TINT, SHADE, NEUTRAL

https://doongdoongeee.tistory.com/99

Ubuntu에서 ROS를 통해 Intel Realsense D435i 사용하기