Visual control of mobile robot based on biologically inspired artificial intelligence techniques

[А. Јокић]

XI, 131 стр.

машинско инжењерство - производно машинство / Mechanical engineering - Production engineering

Глобално тржиште XXI века постаје све захтевније у погледу рокова испоруке, као и варијантности производа, што изискује потребу за повишеним нивоом флексибилности и ефикасности технолошких система. Једна од технологија која може обезбедити потребну флексибилност је интеграција интелигентних мобилних робота као транспортних средстава јер омогућује ефикасне и оптимално терминиране токове материјала у технолошком систему. Како би то било могуће, мобилни роботи би требало да поседују сензорске системе за опажање динамичких промена у окружењу, управљачке системе базиране на сензорским подацима, као и алгоритме вештачке интелигенције који им омогућавају когнитивност, способност учења и доношења одлука о наредним акцијама у реалном времену. Како би искоришћење технолошког система било на високом нивоу, потребно је увести систем за интелигентно терминирање, како технолошких процеса, тако и роботизованих транспортних средстава. Имајући претходно наведено у виду, у оквиру предметне докторске дисертације развијен је систем перцепције мобилног робота RAICO (енгл. Robot with Artificial Intelligence based COgnition) који на основу стерео визуелног система и семантичке сегментације генерисаних слика остварује високу тачност препознавања објеката у технолошком окружењу. Развијени су ефикасни модели конволуционих неуронских мрежа (енгл. Convolutional Neural Networks) који се могу имплементирати у реалном времену на рачунарској платформи Nvidia Jetson Nano. На генерисане семантичке мапе примењена су три оптимизациона алгоритма ради процеса регистрације слика. Након експерименталне верификације, еволуциони алгоритам (енгл. OnePlusOne Evolutionary algorithm) интегрисан са функцијом циља заједничких информација показује најбоље перформансе. Након извршеног процеса регистрације семантичких мапа, добијене матрице трансформација примењене су у стерео визуелном управљачком систему. Пет експерименталних евалуација изведених у 3D симулацији, као и са роботом RAICO, указују на то да се применом предложеног управљачког система остварује висок ниво тачности положаја мобилног робота, као и значајна робустност на поремећајне факторе попут заклоњености дела сцене, промене у осветљењу и грешке при семантичкој сегментацији. Такође, још једна важна предност предложеног система визуелног управљања огледа се у могућности коришћења циљних слика генерисаних у симулацији, чиме се значајно повећава флексибилност примене мобилних робота са визуелним управљањем. На крају, развијена је методологија за терминирање технолошких процеса у оквиру које транспортне задатке изводи један мобилни робот. Предложен је математички модел и развијено је 13 функција циља. Комбинацијом различитих функција циља, генерисане су вишекритеријумске функције циља, а на основу две експерименталне верификације, метахеуристички алгоритам инспирисан интелигенцијом чопора вукова (енгл. Grey wolf optimizer) показао се као најбољи за решавање овог вишекритеријумског комбинаторно- оптимизационог проблема.

The global 21st century market is becoming increasingly demanding in terms of both delivery deadlines as well as product diversity, which necessitates a higher level of flexibility and efficiency of manufacturing systems. One of the technologies capable of providing the required flexibility is based on the integration of intelligent mobile robots within transport system, as they enable efficient and optimally scheduled material flows in a manufacturing system. To facilitate this, mobile robots should be equipped with sensor systems for detecting dynamic changes in the environment, control systems based on sensor data, and artificial intelligence algorithms that enable cognition, learning capability, and reasoning about future actions in real time scenarios. Finally, to maintain a high level of efficiency of the manufacturing system, it is necessary to introduce an intelligent system for simultaneous scheduling of process plans and material transport systems. Bearing this in mind, a perception system for the mobile robot RAICO (Robot with Artificial Intelligence based COgnition) has been developed, based on a stereo vision system and semantic segmentation of the generated images, which achieves a high level of object recognition accuracy in manufacturing environment. Efficient Convolutional Neural Network models have been developed and implemented in real time on the Nvidia Jetson Nano computing platform. Three optimization algorithms were applied for the purpose of semantic maps registration. Following experimental evaluation, the OnePlusOne Evolutionary algorithm integrated with a mutual information-based objective function proved to have the highest performance. After the semantic map registration process was completed, the resulting transformation matrices were applied in the stereo vision-based control system. Five experimental evaluations conducted in 3D simulation, as well as with the RAICO robot, indicate that the proposed visual control system has a high level of position accuracy and significant robustness to disruptive factors such as occluded parts of the scene, lighting changes, and errors in semantic segmentation. Another essential advantage of the proposed vision-based control system lies in its ability to use target images generated in simulation, thereby significantly increasing the flexibility of mobile robots with vision-based control. Finally, a methodology for process planning and scheduling was developed whereas transportation tasks are executed by a single mobile robot. A mathematical model was proposed, and 13 objective functions were developed. By combining different objective functions, two experimental verifications with multi-criteria optimization procedure were performed, and the Grey Wolf Optimizer algorithm proved to be the most effective for solving these combinatorial optimization problems.

интелигентни технолошки системи, визуелно управљање, мобилни роботски системи, дубоко машинско учење, конволуционе неуронске мреже, семантичка сегментација, биолошки инспирисани алгоритми оптимизације, терминирање мобилних роботских система, унутрашњи транспорт материјала, вештачка интелигенција

Intelligent manufacturing systems, visual servoing, mobile robots, deep machine learning, convolutional neural networks, semantic segmentation, biologically inspired optimization algorithms, mobile robot scheduling, material transport, artificial intelligence

004.896:658.286:007.52(043.3)

Tekst