Введение Обучение с подкреплением является одной из разновидностей алгоритмов машинного обучения [1, 2]. Данные алгоритмы взаимодействуют с моделью среды, в которой предполагается использование робототехнической системы и позволяют получать относительно простые аппроксимации эффективных наборов действий системы для достижения поставленной цели [3, 4]. В настоящее время в робототехнических системах используются классические методы (например, расчёт обратной кинематики), однако сложность вычислений растет пропорционально количеству подвижных узлов системы и количеству информации, поступающей от среды [5]. С другой стороны, применение обучения с подкреплением позволит обучить модель на серверном оборудовании, а в конечной системе использовать уже обученные нейронные сети, сложность вычисления отклика которых напрямую зависит от их топологии. Как было показано в предыдущей работе [6], обучение с подкреплением теоретически применимо в задачах управления роботизированными манипуляторами. В настоящей работе рассматриваются вопросы конструирования опытного образца для проведения натурных исследований.Материал и методы исследованияДля изучения практического применения универсальных алгоритмов машинного обучения с подкреплением была разработана модель опытного образца робота манипулятора (рис. 1).Геометрические размеры модели –  мм с учетом полностью вытянутой вверх руки, предварительный вес конструкции с учетом шаговых двигателей и крепежа составил 6 кг. Подобная геометрия обеспечивает компактность Рис. 1. Общий вид опытного образца робота манипулятора: 1 – основание; 2 – корпус блока управления; 3 – корпус блока питания; 4 – шаговые двигатели; 5 – опорное вращательное звено; 6 – возвратно-поступательные звенья; 7 – захватИсточник: собственная разработка авторов и, вместе с тем, легкость, необходимую при проведении стендовых экспериментов. Радиус рабочей зоны манипулятора составил 550 мм. Все это позволяет легко собирать и разбирать конструкцию, а также расширяет спектр возможностей для монтажа.Материалом для изготовления был выбран ABS пластик. Данный вид пластика имеет хорошее сочетание прочности и упругости, а также хорошо поддаётся механической обработке.Перед производством данной конструкции необходимо провести ряд инженерных исследований для выявления полной технической характеристики и соответствия техническому заданию. Одним из таких исследований является статический анализ элементов конструкции.Для предварительной оценки конструкция была разбита на 3 основных узла: основание, поворотная платформа и плечо. Исследования проводились в программе SolidWorks Simulation [7].В разработанной конструкции предполагается закрепление основания к какой-либо твердой поверхности при помощи болтовых соединений. Поэтому в качестве имитации такого крепления был выбран зафиксированный шарнир. В качестве внешних нагрузок использовали внешнюю силу, приложенную в область максимальной нагрузки основания, а также силу тяжести. Анализ проводился методом конечных элементов [8, 9, 10, 11], поэтому следующим шагом было создание сети дискретных элементов (рис. 2). Подробная информация о сформированной сети представлена в таблице 1.Фиолетовые стрелки – область приложения внешней силы; красная стрелка – сила тяжести; зеленые стрелки – области крепления зафиксированных шарниров.  Таблица 1 Информация о сетке [12, 13]Тип сеткиСетка на твердом телеИспользуемое разбиение: Сетка на основе смешанной кривизныТочки Якобиана4 ТочкиМаксимальный размер элемента19.8871 mmМинимальный размер элемента3.97742 mmКачество сеткиВысокаяВсего узлов16610Всего элементов9049Максимальное соотношение сторон3178.3% элементов с соотношением сторон < 388.5% элементов с соотношением сторон > 101.44% искаженных элементов (Якобиан)0  Рис. 2. Подготовительный этап статического исследования основания манипулятораИсточник: собственная разработка авторов При расчете значение прилагаемой внешней силы принимали равным 10 Н. В результате получили ряд эпюр.На рис. 3 изображена эпюра напряжения Von Mises [14, 15, 16]. По данной эпюре можем наглядно рассмотреть области распределения и концентрации напряжений. В областях крепления основания можем видеть области концентрации напряжений, однако эти области мы рассматривать не будем. Поскольку на этапе моделирования мы допускаем использование абсолютно жестких закреплений, в результате в их областях образуются зоны сингулярности, поэтому их расчёт будет не верным. При подробном рассмотрении эпюры можем видеть, что большая часть нагрузки распределяется в месте приложения сил. Минимальное зафиксированное напряжение составило 0,0042 МПа, а максимальное 1,6289 МПа. На рис. 4 показана эпюра результирующего перемещения элемента при нагрузке в 10 Н.По данной эпюре видны области перемещения материала при приложении нагрузки. В областях выделенных синим цветом, перемещение отсутствует, а максимальное значение перемещения находится в области крепление шагового двигателя и составляет 0,161 мм. Зная коэффициент текучести используемого материала (34,6704 МПа) и полученное значение максимальной нагрузки 1,6289 МПа можем судить о том, что нагрузка в 10 Н для этой детали является не значительной.  Поэтому перед проектированием стоит снизить заполняемость материалом каркаса данной детали для снижения веса и экономии материала.Вторым ключевым элементом конструкции является поворотная платформа. Для нее мы также провели статический анализ с аналогичными условиями. Полученные эпюры напряжения и перемещения отражены на рис. 5 а, б.Рeзультaты иccлeдoвaния и их oбсуждeниeАнализируя полученные эпюры, можем сделать следующие выводы: – основным концентратором напряжений является стык проушины и платформы, однако максимальное значение напряжения составило 3,8804 МПа, что является незначительным;– максимальное результирующее перемещение будет концентрироваться в верхней части проушины, и будет смещаться в зависимости от положения руки манипулятора. Максимальное зафиксированное значение перемещения равно 0,073 мм, что является незначительным.Общие рекомендации для этого узла конструкции будут идентичны основанию.Третьим элементом анализа будет плечо манипулятора. Эпюры напряжения и результирующего напряжения данного узла показаны на рис. 6 а, б. Данный элемент конструкции было решено нагрузить сильнее (30 Н).Проанализировав полученные эпюры можно сказать о том, что нагрузка в 30 Н для этого элемента конструкции является около предельной. Максимальное напряжение составило 34,5747 МПа, в то время как предел текучести материала равен 34,6704 МПа. А максимальное результирующее перемещение равно 14,675 мм.Выводы. Обобщив полученные результаты исследований можно сказать, что заложенный запас прочности данной конструкции достаточно высок. Так как предполагаемые нагрузки при эксплуатации не будут превышать 10 Н, конструкцию необходимо доработать. Снизить объем заполнения материалом каркасных элементов конструкции или толщину стенок. Это позволит значительно уменьшить нагрузку на шаговые двигатели и увеличить возможную полезную нагрузку на захват манипулятора. В последующих работах предполагаются доработка конструкции опытного образца и его сборка для проведения стендовых испытаний алгоритмов управления роботизированным манипулятором на основе обучения с подкреплением.   Рис. 3. Эпюра напряжений Von Mises при нагрузке 10 НИсточник: собственная разработка авторов Рис. 4. Эпюра результирующего перемещения при нагрузке 10 НИсточник: собственная разработка авторов А) Б)Рис. 5. Эпюры результатов статического анализа поворотной платформы манипулятора: а) напряжение Von Mises при нагрузке 10 Н; б) результирующее перемещение при нагрузке 10 НИсточник: собственная разработка авторов  А) Б)Рис. 6. Эпюры результатов статического анализа плеча манипулятора: а) напряжение Von Mises при нагрузке 30