pose拍照機器人

1、請問,機器人視覺抓取關鍵技術有哪些,各有哪些實現方法,有何優缺點...

首先，我們要了解，機器人領域的視覺（Machine Vision）跟計算機領域（Computer Vision）的視覺有一些不同：機器視覺的目的是給機器人提供操作物體的信息。所以，機器視覺的研究大概有這幾塊： 

物體識別（Object Recognition）：在圖像中檢測到物體類型等，這跟 CV 的研究有很大一部分交叉； 

位姿估計（Pose Estimation）：計算出物體在攝像機坐標系下的位置和姿態，對于機器人而言，需要抓取東西，不僅要知道這是什么，也需要知道它具體在哪里； 

相機標定（Camera Calibration）：因為上面做的只是計算了物體在相機坐標系下的坐標，我們還需要確定相機跟機器人的相對位置和姿態，這樣才可以將物體位姿轉換到機器人位姿。

當然，我這里主要是在物體抓取領域的機器視覺；SLAM 等其他領域的就先不講了。   

由于視覺是機器人感知的一塊很重要內容，所以研究也非常多了，我就我了解的一些，按照由簡入繁的順序介紹吧：  

0. 相機標定  

這其實屬于比較成熟的領域。由于我們所有物體識別都只是計算物體在相機坐標系下的位姿，但是，機器人操作物體需要知道物體在機器人坐標系下的位姿。所以，我們先需要對相機的位姿進行標定。  內參標定就不說了，參照張正友的論文，或者各種標定工具箱；  外參標定的話，根據相機安裝位置，有兩種方式：

Eye to Hand：相機與機器人極坐標系固連，不隨機械臂運動而運動

Eye in Hand：相機固連在機械臂上，隨機械臂運動而運動 兩種方式的求解思路都類似，首先是眼在手外（Eye to Hand）  

只需在機械臂末端固定一個棋盤格，在相機視野內運動幾個姿態。由于相機可以計算出棋盤格相對于相機坐標系的位姿 、機器人運動學正解可以計算出機器人底座到末端抓手之間的位姿變化 、而末端爪手與棋盤格的位姿相對固定不變。  這樣，我們就可以得到一個坐標系環

而對于眼在手上（Eye in Hand）的情況，也類似，在地上隨便放一個棋盤格（與機器人基座固連），然后讓機械臂帶著相機走幾個位姿，然后也可以形成一個 的坐標環

平面物體檢測  

這是目前工業流水線上最常見的場景。目前來看，這一領域對視覺的要求是：快速、精確、穩定。所以，一般是采用最簡單的邊緣提取+邊緣匹配/形狀匹配的方法；而且，為了提高穩定性、一般會通過主要打光源、采用反差大的背景等手段，減少系統變量。

目前，很多智能相機（如 cognex）都直接內嵌了這些功能；而且，物體一般都是放置在一個平面上，相機只需計算物體的 三自由度位姿即可。  另外，這種應用場景一般都是用于處理一種特定工件，相當于只有位姿估計，而沒有物體識別。   當然，工業上追求穩定性無可厚非，但是隨著生產自動化的要求越來越高，以及服務類機器人的興起。對更復雜物體的完整位姿 估計也就成了機器視覺的研究熱點。   

2. 有紋理的物體  

機器人視覺領域是最早開始研究有紋理的物體的，如飲料瓶、零食盒等表面帶有豐富紋理的都屬于這一類。  當然，這些物體也還是可以用類似邊緣提取+模板匹配的方法。但是，實際機器人操作過程中，環境會更加復雜：光照條件不確定（光照）、物體距離相機距離不確定（尺度）、相機看物體的角度不確定（旋轉、仿射）、甚至是被其他物體遮擋（遮擋）。

幸好有一位叫做 Lowe 的大神，提出了一個叫做 SIFT （Scale-invariant feature transform）的超強局部特征點：  Lowe, David G. "Distinctive image features from scale-invariant keypoints."International journal of computer vision 60.2 (2004): 91-110.  具體原理可以看上面這篇被引用 4萬+ 的論文或各種博客，簡單地說，這個方法提取的特征點只跟物體表面的某部分紋理有關，與光照變化、尺度變化、仿射變換、整個物體無關。  因此，利用 SIFT 特征點，可以直接在相機圖像中尋找到與數據庫中相同的特征點，這樣，就可以確定相機中的物體是什么東西（物體識別）。

對于不會變形的物體，特征點在物體坐標系下的位置是固定的。所以，我們在獲取若干點對之后，就可以直接求解出相機中物體與數據庫中物體之間的單應性矩陣。  如果我們用深度相機（如Kinect）或者雙目視覺方法，確定出每個特征點的 3D 位置。那么，直接求解這個 PnP 問題，就可以計算出物體在當前相機坐標系下的位姿。

↑ 這里就放一個實驗室之前畢業師兄的成果  當然，實際操作過程中還是有很多細節工作才可以讓它真正可用的，如：先利用點云分割和歐氏距離去除背景的影響、選用特征比較穩定的物體（有時候 SIFT 也會變化）、利用貝葉斯方法加速匹配等。  而且，除了 SIFT 之外，后來又出了一大堆類似的特征點，如 SURF、ORB 等。   

3. 無紋理的物體 

好了，有問題的物體容易解決，那么生活中或者工業里還有很多物體是沒有紋理的：

我們最容易想到的就是：是否有一種特征點，可以描述物體形狀，同時具有跟 SIFT 相似的不變性？  不幸的是，據我了解，目前沒有這種特征點。  所以，之前一大類方法還是采用基于模板匹配的辦法，但是，對匹配的特征進行了專門選擇（不只是邊緣等簡單特征）。  

這里，我介紹一個我們實驗室之前使用和重現過的算法 LineMod：  Hinterstoisser, Stefan, et al. "Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.   

簡單而言，這篇論文同時利用了彩色圖像的圖像梯度和深度圖像的表面法向作為特征，與數據庫中的模板進行匹配。  由于數據庫中的模板是從一個物體的多個視角拍攝后生成的，所以這樣匹配得到的物體位姿只能算是初步估計，并不精確。  但是，只要有了這個初步估計的物體位姿，我們就可以直接采用 ICP 算法（Iterative closest point）匹配物體模型與 3D 點云，從而得到物體在相機坐標系下的精確位姿。

當然，這個算法在具體實施過程中還是有很多細節的：如何建立模板、顏色梯度的表示等。另外，這種方法無法應對物體被遮擋的情況。（當然，通過降低匹配閾值，可以應對部分遮擋，但是會造成誤識別）。  針對部分遮擋的情況，我們實驗室的張博士去年對 LineMod 進行了改進，但由于論文尚未發表，所以就先不過多涉及了。   

4. 深度學習  

由于深度學習在計算機視覺領域得到了非常好的效果，我們做機器人的自然也會嘗試把 DL 用到機器人的物體識別中。  

首先，對于物體識別，這個就可以照搬 DL 的研究成果了，各種 CNN 拿過來用就好了。有沒有將深度學習融入機器人領域的嘗試？有哪些難點？ - 知乎 這個回答中，我提到 2016 年的『亞馬遜抓取大賽』中，很多隊伍都采用了 DL 作為物體識別算法。   然而， 在這個比賽中，雖然很多人采用 DL 進行物體識別，但在物體位姿估計方面都還是使用比較簡單、或者傳統的算法。似乎并未廣泛采用 DL。 如  @周博磊  所說，一般是采用 semantic segmentation network 在彩色圖像上進行物體分割，之后，將分割出的部分點云與物體 3D 模型進行 ICP 匹配。  

當然，直接用神經網絡做位姿估計的工作也是有的，如這篇：  Doumanoglou, Andreas, et al. "Recovering 6d object pose and predicting next-best-view in the crowd." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.  

它的方法大概是這樣：對于一個物體，取很多小塊 RGB-D 數據（只關心一個patch，用局部特征可以應對遮擋）；每小塊有一個坐標（相對于物體坐標系）；然后，首先用一個自編碼器對數據進行降維；之后，用將降維后的特征用于訓練Hough Forest。    

5. 與任務/運動規劃結合  

這部分也是比較有意思的研究內容，由于機器視覺的目的是給機器人操作物體提供信息，所以，并不限于相機中的物體識別與定位，往往需要跟機器人的其他模塊相結合。

我們讓機器人從冰箱中拿一瓶『雪碧』，但是這個 『雪碧』 被『美年達』擋住了。  我們人類的做法是這樣的：先把 『美年達』 移開，再去取 『雪碧』 。  所以，對于機器人來說，它需要先通過視覺確定雪碧在『美年達』后面，同時，還需要確定『美年達』這個東西是可以移開的，而不是冰箱門之類固定不可拿開的物體。   當然，將視覺跟機器人結合后，會引出其他很多好玩的新東西。由于不是我自己的研究方向，所以也就不再班門弄斧了。

機器人家上有關于這個很詳細的圖文講解，你可以看下，希望對你有用

根據我在廣東粵為工業機器人學院學習的知識所知：視覺注意在機器人上的應用主要是目標定位、目標識別以及目標跟蹤等。視覺注意一般分為自上而下的視覺注意和自上而下的視覺注意；對于在機器人上的應用主要是自上而下（目標驅動）和自下而上（早期視覺特征）在什么時間以什么方式如何很好的結合。 視覺注意在機器人上的應用主要是目標定位、目標識別以及目標跟蹤等。視覺注意一般分為自上而下的視覺注意和自上而下的視覺注意；對于在機器人上的應用主要是自上而下（目標驅動）和自下而上（早期視覺特征）在什么時間以什么方式如何很好的結合。

2、童真無價-葡萄PaiBot智能機器人電腦使用攻略

女兒一直使用iPAD mini 2，因為我覺得這個尺寸是兒童用起來最合適的尺寸，有個嚴重的問題就是她總喜歡靠得特別近，容易傷害視力，一叫她離遠一點就跟我鬧。

另外一個就是APP STORE里的APP實在誘惑力太大了，比如前幾天她迷上了《不良人》，接著就是《不良人》手游，這些都是18歲以上適合的動畫片和游戲，真是讓人傷透了腦筋。

最近一直在搜尋一款產品能夠把iPad mini 2替換下來，這個視力和APP分級的不明確確實是我的心病，最近機緣巧合之下得到達人專測，產品就是葡萄緯度在京東上架的一款兒童專用的平板電腦機器人PaiBot，主打就是這兩個特點，寫個心得體會提供一些育兒經的參考。

初始我說用個PaiBot交換iPad mini 2的時候，還跟我鬧上了，我后來說是個機器人Pad，小孩子的好奇心上來了，這才勉強答應下來，京東一送到家，小家伙就迫不及待的要求開箱，那么這個艱巨的任務就交給她了。

葡萄緯度的PaiBot是第一臺孩子的專屬電腦，并為硬件開發了專屬的操作系統PaiOS。從硬件上來說PaiBot光線護眼、姿勢護眼、護耳等模式，規避了孩子使用普通電腦的危害。另一方面通過內容評級、以及家長設置等方式打造安全的內容環境。PaiBot自帶的葡萄瀏覽器增加內容過濾以及兒童內容的導航功能。

淘氣的小家伙還擺了一個POSE，就迫不及待的開箱了，奪取了我的特權。

包裝內涵的東西還真不少，我還沒拍完就給她拆的亂七八糟了。

在我的諄諄教導之下，終于放慢了節奏，對嘛，總得讓我拍幾張吧

好不容易虎口奪食下來的 全家福，包含PaiBot本體平板電腦一個，藍牙基座一個，充電器和一個光線反饋器。

我選的這款是紫色的，從正面來看，正好是一個iPad mini的大小嘛。從這塊屏幕的參數來看，是一塊7.9寸的2K分辨率的高清視網膜IPS屏，前置500W像素攝像頭和光線追蹤器。全觸屏設計，無實體按鈕。

背部全金屬外殼 陽極氧化，800W像素攝像頭，中間看起來很想NOKIA攝像頭的部分其實是鏈接底座的 磁吸式接口

底部兩側設計有雙麥克風和立體聲放音孔，中間是Type-C接口，非常的趕潮流啊

頂部是耳機孔和開機鍵

側面是兩個音量大小調節鍵

另外一側是光板設計

PaiBot即使和iPAD mini放一起，顏值也毫不遜色。

標配電源適配器5.25V 3A的輸出能力可以很高效地為底座和PaiPad平板電腦進行充電。6240mAh的電池配合原裝大功率充電頭可以進行快速充電。

基座也是很有意思的一個部分，下部的金屬圓形帶有密集孔的部分是個3W藍牙音箱。

底座的上部是一個可以360度 三軸旋轉式的鏈接

底座上的觸點與PaiBot背部的觸點是完全契合的，這是磁吸方式的連接方式。

底座背面只有一個解鎖按鍵和一個Type-C口。當PAIPAD和底座完全結合起來，必須按解鎖鍵來解鎖取下PaiBot。

底座的底部只有一個開機鍵，這樣設計可以防止小孩誤觸，另外周邊的防滑墊可以有效防止在玻璃臺面上滑溜。

跟小家伙說過這些注意事項之后，她就能輕松的裝配好PaiBot了

裝配好的PaiBot還真有點呆萌機器人的味道

7.9英寸2048×1536分辨率的IPS顯示屏顯示效果還真是不賴，先看一下底座的旋轉角度，上為仰角最大角度

俯角最大角度

左側視角最大角度

右側視角最大角度

PaiBot是四核CPU 2.0GHz，2GB內存，32GB存儲空間，但是實際上并不僅這么簡單， 核心部分其實采用了四核心2×Cortex-A72+2×Cortex-A53構架的MT8173處理器，GPU為Power VR G6250。操作系統PaiOS是基于安卓6.0的兒童版。

PaiBot的固件分為兩部分，一個是PaiPad部分，一個是底座部分，可以同時更新，那么這個固件就是專為兒童打造的PaiOS系統

PaiOS進行了大量的優化設計，整體UI卡通味十足，一句話說就是新奇有趣又實用，孩子們只需要通過簡單的點按就可以編輯設定內容。

所有的APP均針對兒童打造，以動畫和兒童教育為核心打造

WIFI方面支持2.4G和11AC的5G

小Pai是集成在PaiBot內部的語音機器人，類似iPAD的SERI。

針對孩子的觀看習慣，PaiOS設置了很多護眼功能，包括光線護眼，姿勢護眼和距離護眼。

如果距離PaiPot太近，機器人小Pai會將屏幕扭轉一邊不給你看，并且語音提示你使用正確的觀看方法。

小Pai還會提醒你日程事項，這對孩子來說可以直接輸入課程表，每天小Pai都會提醒孩子上什么課帶什么書，幾點有輔導課要去上等等等等，萬能保姆解放老婆的感覺。

那么智能引擎也對科教有重度優化，孩子有不會的知識，可以直接問小Pai，比如問：李白是誰？小Pai會迅速用閱讀和文字的方式回答你的問題。

小Pai的數學是強項，只要你念出你需要的計算，小Pai馬上會告訴你答案和計算公式。當然這一切只是小PAI功能的冰山一角，還有很多附屬功能，比如你告訴小Pai，要拍張照片，它馬上會移動鏡頭追蹤你聲音的位置替你拍照。。。。。。

小Pai APP動畫的功能非常的豐富也是最能吸引孩子的地方，適齡的健康動畫片，小Pai都會推送給你。

游戲也是經過精挑細選的兒童游戲APP，有明確的分級。

有個PaiBot機器人終于成功交換回了iPAD mini 2，和孩子深度發掘PaiPot的功能也是一個樂趣，不時能發現一些小Pai帶來的驚喜，讓全家捧腹大笑，其樂融融。

3、機器人拍照怎么刪除

機器人拍照需要綁定賬號刪除。
1、打開手機微信。
2、掃描牌照機器人正面的二維碼。
3、進入機器人拍照微信小程序，關注。
4、點擊右下角我的，綁定賬號。
5、點擊左下角已拍照片，找到需要刪除的照片。
6、打開照片，點擊右下角刪除照片進行刪除。

4、Abb機器人的POSE和POS變量的區別?

ABB機器人比一般國產和日系機器人要方便很多，比如用PERS前綴聲明任意類型的變量，甚至自定義數據類型變量，就可以將數據永久保存，保存的數量基本沒有限制。

1、pos型表示空間位置（矢量）。

2、orient型表示在空間中的方位。

3、pose型表示坐標系（位置/方位組合）。

主要研究對象是wobj工件坐標系。pose代表坐標點的姿態，pos代表空間坐標位置的。

5、請問,用手機美顏效能拍的照片機器人能識別通過嗎?

使用手機美顏效果拍的照片機器人也是可以識別的。因為機器人識別主要看五官特征，如果真的很失真，別人都看不出來，那恐怕不行了。 是不可以的，必須是本人識別 這個應該不容易通過

轉載請帶上網址：http://www.lol998.com/posjitwo/141102.html