Russian Federation
Voronezh, Voronezh, Russian Federation
Russian Federation
Russian Federation
Reinforcement learning is a type of machine learning algorithm. These algorithms interact with the model of the environment in which the robotic system is supposed to be used, and make it possible to obtain relatively simple approximations of effective sets of system actions to achieve the set goal. The use of reinforcement learning will allow training the model on server hardware, and in the final system use already trained neural networks, the complexity of calculating the response of which directly depends on their topology. In the presented work, a statistical calculation of a prototype of a robotic manipulator for bench research of reinforcement learning systems has been carried out. The choice of design features and materials has been substantiated; the main units and design features have been considered. The studies were carried out in the SolidWorks Simulation software. A prototype of a robotic manipulator with a sufficiently high safety margin was obtained. It is concluded that the main stress concentrator is the junction of the eyelet and the platform, however, the maximum stress value was 38.804 kgf/sm2, which is insignificant. In this case, the maximum resulting movement will be concentrated in the upper part of the eyelet, and will shift depending on the position of the manipulator arm. The maximum recorded displacement is 0.073 mm, which is negligible
industrial robot, prototype, robotic arm, statistical analysis
Введение
Обучение с подкреплением является одной из разновидностей алгоритмов машинного обучения [1, 2]. Данные алгоритмы взаимодействуют с моделью среды, в которой предполагается использование робототехнической системы и позволяют получать относительно простые аппроксимации эффективных наборов действий системы для достижения поставленной цели [3, 4]. В настоящее время в робототехнических системах используются классические методы (например, расчёт обратной кинематики), однако сложность вычислений растет пропорционально количеству подвижных узлов системы и количеству информации, поступающей от среды [5]. С другой стороны, применение обучения с подкреплением позволит обучить модель на серверном оборудовании, а в конечной системе использовать уже обученные нейронные сети, сложность вычисления отклика которых напрямую зависит от их топологии. Как было показано в предыдущей работе [6], обучение с подкреплением теоретически применимо в задачах управления роботизированными манипуляторами. В настоящей работе рассматриваются вопросы конструирования опытного образца для проведения натурных исследований.
Материал и методы исследования
Для изучения практического применения универсальных алгоритмов машинного обучения с подкреплением была разработана модель опытного образца робота манипулятора (рис. 1).
Геометрические размеры модели – мм с учетом полностью вытянутой вверх руки, предварительный вес конструкции с учетом шаговых двигателей и крепежа составил 6 кг. Подобная геометрия обеспечивает компактность
Рис. 1. Общий вид опытного образца робота манипулятора: 1 – основание; 2 – корпус блока управления; 3 – корпус блока питания; 4 – шаговые двигатели; 5 – опорное вращательное звено; 6 – возвратно-поступательные звенья; 7 – захват
Источник: собственная разработка авторов
и, вместе с тем, легкость, необходимую при проведении стендовых экспериментов. Радиус рабочей зоны манипулятора составил 550 мм. Все это позволяет легко собирать и разбирать конструкцию, а также расширяет спектр возможностей для монтажа.
Материалом для изготовления был выбран ABS пластик. Данный вид пластика имеет хорошее сочетание прочности и упругости, а также хорошо поддаётся механической обработке.
Перед производством данной конструкции необходимо провести ряд инженерных исследований для выявления полной технической характеристики и соответствия техническому заданию. Одним из таких исследований является статический анализ элементов конструкции.
Для предварительной оценки конструкция была разбита на 3 основных узла: основание, поворотная платформа и плечо. Исследования проводились в программе SolidWorks Simulation [7].
В разработанной конструкции предполагается закрепление основания к какой-либо твердой поверхности при помощи болтовых соединений. Поэтому в качестве имитации такого крепления был выбран зафиксированный шарнир. В качестве внешних нагрузок использовали внешнюю силу, приложенную в область максимальной нагрузки основания, а также силу тяжести. Анализ проводился методом конечных элементов [8, 9, 10, 11], поэтому следующим шагом было создание сети дискретных элементов (рис. 2). Подробная информация о сформированной сети представлена в таблице 1.
Фиолетовые стрелки – область приложения внешней силы; красная стрелка – сила тяжести; зеленые стрелки – области крепления зафиксированных шарниров.
Таблица 1
Информация о сетке [12, 13]
|
Тип сетки |
Сетка на твердом теле |
|
Используемое разбиение: |
Сетка на основе смешанной кривизны |
|
Точки Якобиана |
4 Точки |
|
Максимальный размер элемента |
19.8871 mm |
|
Минимальный размер элемента |
3.97742 mm |
|
Качество сетки |
Высокая |
|
Всего узлов |
16610 |
|
Всего элементов |
9049 |
|
Максимальное соотношение сторон |
3178.3 |
|
% элементов с соотношением сторон < 3 |
88.5 |
|
% элементов с соотношением сторон > 10 |
1.44 |
|
% искаженных элементов (Якобиан) |
0 |
Рис. 2. Подготовительный этап статического исследования основания манипулятора
Источник: собственная разработка авторов
При расчете значение прилагаемой внешней силы принимали равным 10 Н. В результате получили ряд эпюр.
На рис. 3 изображена эпюра напряжения Von Mises [14, 15, 16]. По данной эпюре можем наглядно рассмотреть области распределения и концентрации напряжений. В областях крепления основания можем видеть области концентрации напряжений, однако эти области мы рассматривать не будем. Поскольку на этапе моделирования мы допускаем использование абсолютно жестких закреплений, в результате в их областях образуются зоны сингулярности, поэтому их расчёт будет не верным.
При подробном рассмотрении эпюры можем видеть, что большая часть нагрузки распределяется в месте приложения сил. Минимальное зафиксированное напряжение составило 0,0042 МПа, а максимальное 1,6289 МПа.
На рис. 4 показана эпюра результирующего перемещения элемента при нагрузке в 10 Н.
По данной эпюре видны области перемещения материала при приложении нагрузки. В областях выделенных синим цветом, перемещение отсутствует, а максимальное значение перемещения находится в области крепление шагового двигателя и составляет 0,161 мм.
Зная коэффициент текучести используемого материала (34,6704 МПа) и полученное значение максимальной нагрузки 1,6289 МПа можем судить о том, что нагрузка в 10 Н для этой детали является не значительной. Поэтому перед проектированием стоит снизить заполняемость материалом каркаса данной детали для снижения веса и экономии материала.
Вторым ключевым элементом конструкции является поворотная платформа. Для нее мы также провели статический анализ с аналогичными условиями. Полученные эпюры напряжения и перемещения отражены на рис. 5 а, б.
Рeзультaты иccлeдoвaния и их oбсуждeниe
Анализируя полученные эпюры, можем сделать следующие выводы:
– основным концентратором напряжений является стык проушины и платформы, однако максимальное значение напряжения составило 3,8804 МПа, что является незначительным;
– максимальное результирующее перемещение будет концентрироваться в верхней части проушины, и будет смещаться в зависимости от положения руки манипулятора. Максимальное зафиксированное значение перемещения равно 0,073 мм, что является незначительным.
Общие рекомендации для этого узла конструкции будут идентичны основанию.
Третьим элементом анализа будет плечо манипулятора. Эпюры напряжения и результирующего напряжения данного узла показаны на рис. 6 а, б. Данный элемент конструкции было решено нагрузить сильнее (30 Н).
Проанализировав полученные эпюры можно сказать о том, что нагрузка в 30 Н для этого элемента конструкции является около предельной. Максимальное напряжение составило 34,5747 МПа, в то время как предел текучести материала равен 34,6704 МПа. А максимальное результирующее перемещение равно 14,675 мм.
Выводы.
Обобщив полученные результаты исследований можно сказать, что заложенный запас прочности данной конструкции достаточно высок. Так как предполагаемые нагрузки при эксплуатации не будут превышать 10 Н, конструкцию необходимо доработать. Снизить объем заполнения материалом каркасных элементов конструкции или толщину стенок. Это позволит значительно уменьшить нагрузку на шаговые двигатели и увеличить возможную полезную нагрузку на захват манипулятора. В последующих работах предполагаются доработка конструкции опытного образца и его сборка для проведения стендовых испытаний алгоритмов управления роботизированным манипулятором на основе обучения с подкреплением.
Рис. 3. Эпюра напряжений Von Mises при нагрузке 10 Н
Источник: собственная разработка авторов
Рис. 4. Эпюра результирующего перемещения при нагрузке 10 Н
Источник: собственная разработка авторов
|
А) |
Б) |
Рис. 5. Эпюры результатов статического анализа поворотной платформы манипулятора: а) напряжение Von Mises при нагрузке 10 Н; б) результирующее перемещение при нагрузке 10 Н
Источник: собственная разработка авторов
|
А) |
Б) |
Рис. 6. Эпюры результатов статического анализа плеча манипулятора: а) напряжение Von Mises при нагрузке 30
1. Naser, M.Z. Machine learning assessment of fiber-reinforced polymer-strengthened and reinforced concrete Members / M.Z. Naser // ACI Structural Journal. - 2020. - № 117 (6). - pp. 237-251. - DOI:https://doi.org/10.14359/51728073
2. Wistuba, M. Automation of deep learning - Theory and practice / M. Wistuba, A. Rawat, T. Pedapati // ICMR 2020 - Proceedings of the 2020 International Conference on Multimedia Retrieval. - 2020. - pp. 5-6. - DOI:https://doi.org/10.1145/3372278.3390739
3. Deep-learning trust estimation in multi-agent systems / C. Balas, R. Karlsen, P. Muench [et all.] // Proceedings of SPIE - The International Society for Optical Engineering. - 2017. - №1019510. - DOI:https://doi.org/10.1117/12.2264152
4. Improvement on supporting machine learning algorithm for solving problem in immediate decision making / A. Niazi, N. Redzuan, R.I.R. Hamzah, S. Esfandiari // Advanced Materials Research. - 2012. -№ 566. - pp. 572-579. - DOI:https://doi.org/10.4028/www.scientific.net/AMR.566.572
5. Dueling Network Architectures for Deep Reinforcement Learning. / Z. Wang, T. Schaul, M. Hessel [et all.] // 33rd International Conference on Machine Learning, ICML. - 2016. - №4. - pp. 2939-2947.
6. Primenenie metoda obucheniya s podkrepleniem v robotizirovannyh i avtomatizirovannyh sistemah lesnoy promyshlennosti / A. A. Tolstyh, D. S. Stupnikov, S. V. Malyukov [i dr.] // Lesotehnicheskiy zhurnal. - 2020. - T. 10. - № 1 (37). - S. 256-265. - DOI:https://doi.org/10.34220/issn.2222-7962/2020.1/19
7. Alyamovskiy, A.A. SolidWorks Simulation. Inzhenernyy analiz dlya professionalov: zadachi, metody, rekomendacii / A.A. Alyamovskiy. - Moskva: DMK Press, 2015. - 562 s.
8. Sobachkin, A.A. SolidWorks. Komp'yuternoe modelirovanie v inzhenernoy praktike / A.A. Sobachkin, E.V. Odincov. - Sankt-Peterburg: BHV-Peterburg, 2005. - 800 s.
9. Policy Gradient Methods for Reinforcement Learning with Function Approximation / R.S. Sutton, D.A. McAllester, S.P. Singh, M. Yishay // Advances in Neural Information Processing Systems 12. - 2000. - pp. 1057-1063.
10. Gan, J.Q. A GPU-based DEM approach for modelling of particulate systems / J.Q. Gan, Z.Y. Zhou, A.B. Yu // Powder Technology. - 2016. - no. 301. - 1172. - DOI:https://doi.org/10.1016/j.powtec.2016.07.072
11. Hou, Q.F. DEM study of the flow of cohesive particles in a screw feeder / Q.F. Hou, K.J. Dong, A.B. Yu // Powder Technology. - 2014. - no. 256. - 529. - DOI:https://doi.org/10.1016/j.powtec.2014.01.062
12. Patent US 5815154 Graphical browser system for displaying and manipulating a computer model / J.K. Hirschtick, S.G. Krug, R.P. Zuffante. September 29, 1998.
13. Woyak, S.A. Functionality and data integration of software modules through dynamic integration / S.A. Woyak, A. Myklebust // Journal of Engineering Design. - 1998. - Vol. 9. - no. 2. - pp. 137-158. - DOI:https://doi.org/10.1080/095448298261598.
14. Rao, J.S. Simulation Based Engineering in Solid Mechanics (Springerbriefs in Applied Sciences and Technology) / J.S. Rao. - New York: Springer, 2017. - 200 s.
15. Feodos'ev, V.I. Soprotivlenie materialov: ucheb. dlya vuzov / V.I. Feodos'ev. - 10-e izdanie, pererab. i dop. - M.: Izd-vo MGTU im. N.E.Baumana, 1999. - 592 s.
16. Elektronnoe modelirovanie SSJ-100 / M.A. Pogosyan, E.P. Savel'evskih, D.Yu. Strelec, G.V. L'vova // Nauka i tehnologi v promyshlennosti. - 2011. - №3. - S. 8 - 20.
