用Python+Pytorch工程代码对人体进行关键点检测和骨架提取，并实现可视化。

使用背景：

物体检测为许多视觉任务提供动力，如实例分割、姿态估计、跟踪和动作识别。它在监控、自动驾驶和视觉答疑中有下游应用。当前的对象检测器通过紧密包围对象的轴向包围框来表示每个对象。然后，他们将目标检测减少到大量潜在目标边界框的图像分类。对于每个边界框，分类器确定图像内容是特定的对象还是背景。

人体关键点检测属于目标检测的一个小分支，在很多虚拟应用场景中需要使用，比如说姿态识别、虚拟穿衣等应用领域。今天给大家推荐一个好用的人体关键点检测项目代码，并基于该代码进行一定的升级，使得提取的人体关键点可以独立显示在可视化界面当中。

使用环境：

本项目通过Python实现，运行环境为：
Python 3.7
Pytorch 1.8.1
Opencv 4.5.4.60

使用代码：

本项目实现基于rwightman的代码进行改进实现，
参考代码地址：https://github.com/rwightman/posenet-python

源代码效果（左图为原图，右图为检测结果图）：

修改后的效果：

代码使用步骤：

如下的代码都基于参考github链接源码进行直接修改，找到上下行代码参考修改的具体位置。
本代码以源代码视频应用文件举例（webcam_demo.py)

第一步：
在原项目工程代码中找到webcam_demo.py
修改视频获取路径（基于源代码修改）：

def main():model = posenet.load_model(args.model)model = model.cuda()output_stride = model.output_stride# cap = cv2.VideoCapture(args.cam_id)cap = cv2.VideoCapture('3.mp4')cap.set(3, args.cam_width)cap.set(4, args.cam_height)#背景视频读取cap2 = cv2.VideoCapture('2.mp4')cap2.set(3, args.cam_width)cap2.set(4, args.cam_height)

然后在视频显示代码部分添加提取关键点显示界面：

            min_pose_score=0.15, min_part_score=0.1)cv2.imshow('posenet', overlay_image)# cv2.imshow('net', overlay_image)# cv2.resizeWindow('posenet', 500, 900)overlay_image2 = posenet.draw_skel_and_kp2(display_image2,display_image2, pose_scores, keypoint_scores, keypoint_coords,min_pose_score=0.15, min_part_score=0.1)cv2.imshow('posenet2', overlay_image2)#提取skeleton# cv2.namedWindow("dance", 0)# cv2.resizeWindow("dance", 600, 900)  # 设置窗口大小## cv2.imshow("dance", img)frame_count += 1if cv2.waitKey(1) & 0xFF == ord('q'):breakprint('Average FPS: ', frame_count / (time.time() - start))

第二步：
修改posenet/utils.py代码部分：
添加提取的骨架的视频背景函数：

#背景视频
def read_cap2(cap, scale_factor=1.0, output_stride=16):res2, img2 = cap.read()if not res2:raise IOError("webcam failure")return _process_input2(img2, scale_factor, output_stride)

添加定义骨架关键点绘制函数：

def draw_skel_and_kp2(img, img2, instance_scores, keypoint_scores, keypoint_coords,min_pose_score=0.1, min_part_score=0.1):        #将置信度由0.5改为0.3bk=img2out_img = imgadjacent_keypoints = []cv_keypoints = []for ii, score in enumerate(instance_scores):if score < min_pose_score:continuenew_keypoints = get_adjacent_keypoints(keypoint_scores[ii, :], keypoint_coords[ii, :, :], min_part_score)adjacent_keypoints.extend(new_keypoints)for ks, kc in zip(keypoint_scores[ii, :], keypoint_coords[ii, :, :]):if ks < min_part_score:continuecv_keypoints.append(cv2.KeyPoint(kc[1], kc[0], 10. * ks))if cv_keypoints:bk = cv2.drawKeypoints(bk, cv_keypoints, outImage=np.array([]), color=(255, 255, 0),flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)out_img = cv2.polylines(bk, adjacent_keypoints, isClosed=False, color=(255, 255, 0),thickness=20)return out_img

然后就能以一个纯粹的骨架关键点样式显示在另一个UI界面啦：

上面用的是段dy的舞蹈视频做demo~

Reference：

1、https://github.com/rwightman/posenet-python
2、Zhou, Xingyi, Dequan Wang, and Philipp Krähenbühl. “Objects as points.” arXiv preprint arXiv:1904.07850 (2019).