LIDC-IDRI数据集XML标注解析：从DICOM文件到结构化结节数据

张

张建站

2026/5/27 21:46:58

10分钟阅读

1. LIDC-IDRI数据集简介与XML标注结构解析LIDC-IDRILung Image Database Consortium and Image Database Resource Initiative是目前全球规模最大的公开肺部CT影像数据集之一包含了1018个病例的胸部CT扫描图像。这个数据集最核心的价值在于它提供了四位专业放射科医生对肺结节的独立标注这些标注以XML文件的形式与DICOM图像一起存储。我第一次接触这个数据集时发现它的XML标注文件结构比想象中复杂得多。每个XML文件都遵循严格的层级结构主要包含以下几个关键部分ResponseHeader相当于文件的身份证记录了病例的基本信息。比如SeriesInstanceUID这个字段就特别重要它是连接DICOM图像和标注的桥梁。在实际项目中我经常通过这个UID来匹配图像和对应的标注文件。readingSession这是放射科医生的工作记录。由于四位医生独立标注所以每个XML文件中会有四个readingSession节点。有意思的是不同医生对同一个结节的标注往往存在差异这种差异恰好反映了医学影像诊断中的主观性特点。unblindedReadNodule这个节点包含了医生标注的所有结节信息。我刚开始使用时对unblinded这个词很困惑后来请教了医学背景的同事才明白这表示医生在标注时知道这是肺结节研究项目可能会影响他们的标注行为。2. 从DICOM到XML数据关联的关键技术要让机器能够理解这些医学标注最关键的一步就是把XML中的标注点和DICOM图像精确对应起来。这里有两个核心匹配机制2.1 基于Slice Location的Z轴匹配DICOM文件中的(0020,1041) Slice Location字段和XML中的imageZposition是一对好搭档。但这里有个坑需要注意两者的数值精度可能不同。我在实际项目中就遇到过因为小数点后位数不一致导致的匹配失败。解决方法很简单统一保留三位小数就行dcm_slice_location round(float(dicom_file.SliceLocation), 3) xml_z_position round(float(roi.find(imageZposition).text), 3)2.2 基于SOP Instance UID的精确匹配更可靠的匹配方式是使用SOP Instance UID。每个DICOM文件都有唯一的SOP Instance UIDXML中的imageSOP_UID就是对应的标注。我建议优先使用这种方式代码实现如下def match_dcm_to_xml(dcm_folder, xml_data): dcm_files [f for f in os.listdir(dcm_folder) if f.endswith(.dcm)] matched_pairs [] for dcm_file in dcm_files: dcm_path os.path.join(dcm_folder, dcm_file) ds pydicom.dcmread(dcm_path) for session in xml_data[readingSessions]: for nodule in session[nodules]: for roi in nodule[rois]: if roi[imageSOP_UID] ds.SOPInstanceUID: matched_pairs.append((dcm_path, roi)) return matched_pairs3. XML标注解析实战Python代码详解下面我来分享一个经过实战检验的XML解析方案。与简单示例不同这个版本处理了多位医生的标注并保留了所有结节信息import xml.etree.ElementTree as ET from collections import defaultdict def parse_lidc_xml(xml_path): xmlns {http://www.nih.gov} tree ET.parse(xml_path) root tree.getroot() # 初始化数据结构 result { series_uid: root.find(f{xmlns}ResponseHeader/{xmlns}SeriesInstanceUid).text, reading_sessions: [] } # 处理每位医生的标注 for session in root.findall(f{xmlns}readingSession): session_data { radiologist_id: session.find(f{xmlns}servicingRadiologistID).text, nodules: defaultdict(list) } # 处理每个结节 for nodule in session.findall(f{xmlns}unblindedReadNodule): nodule_id nodule.find(f{xmlns}noduleID).text # 提取结节特征 characteristics { subtlety: int(nodule.find(f{xmlns}characteristics/{xmlns}subtlety).text), malignancy: int(nodule.find(f{xmlns}characteristics/{xmlns}malignancy).text) # 可以添加其他特征... } # 处理每个ROI区域 for roi in nodule.findall(f{xmlns}roi): roi_data { z_position: float(roi.find(f{xmlns}imageZposition).text), sop_uid: roi.find(f{xmlns}imageSOP_UID).text, contour: [] } # 提取轮廓点 for edge in roi.findall(f{xmlns}edgeMap): x int(edge.find(f{xmlns}xCoord).text) y int(edge.find(f{xmlns}yCoord).text) roi_data[contour].append((x, y)) session_data[nodules][nodule_id].append(roi_data) result[reading_sessions].append(session_data) return result这个解析器有几个实用特性保留了完整的医生标注信息方便后续做标注一致性分析使用defaultdict自动处理结节分组提取了关键的结节特征参数结构化存储轮廓点坐标4. 生成医学影像掩码的进阶技巧有了解析好的坐标数据下一步就是生成可用于深度学习训练的掩码图像。这里分享几个我在实际项目中总结的技巧4.1 多医生标注融合策略四位医生的标注可能不一致常见的融合方法有严格模式只保留所有医生都标注的区域宽松模式保留至少一位医生标注的区域概率模式根据标注频率生成概率图我推荐使用宽松模式开始代码实现如下def generate_consensus_mask(annotations, shape(512, 512)): mask np.zeros(shape, dtypenp.uint8) for session in annotations[reading_sessions]: for nodule in session[nodules].values(): for roi in nodule: contour np.array(roi[contour], dtypenp.int32) cv2.fillPoly(mask, [contour], color255) return (mask 0).astype(np.uint8)4.2 3D掩码生成与结节重建将2D切片标注组合成3D体积可以更完整地表示结节形态。关键步骤包括按z-position排序所有切片插值处理间隔较大的切片使用marching cubes算法生成3D表面from skimage.measure import marching_cubes def reconstruct_3d_nodule(annotations): # 按z轴位置分组 slices defaultdict(list) for session in annotations[reading_sessions]: for nodule in session[nodules].values(): for roi in nodule: slices[roi[z_position]].append(roi[contour]) # 生成3D体积 z_coords sorted(slices.keys()) volume np.zeros((len(z_coords), 512, 512), dtypenp.uint8) for i, z in enumerate(z_coords): for contour in slices[z]: cv2.fillPoly(volume[i], [np.array(contour)], color1) # 三维重建 verts, faces, _, _ marching_cubes(volume, level0.5) return verts, faces5. 实际应用中的常见问题与解决方案5.1 坐标系统转换问题DICOM图像的坐标系可能与OpenCV的坐标系不一致。我遇到过标注点在图像外的情况解决方案是检查DICOM的Photometric Interpretation和Pixel Spacing属性def adjust_coordinates(contour, dicom_meta): if dicom_meta.PhotometricInterpretation MONOCHROME1: # 需要反转灰度值 pass # 考虑像素间距 if hasattr(dicom_meta, PixelSpacing): spacing_x, spacing_y map(float, dicom_meta.PixelSpacing) contour [(int(x/spacing_x), int(y/spacing_y)) for x,y in contour] return contour5.2 处理缺失或不完整的标注有些情况下XML标注可能不完整我建议检查ResponseHeader中的ResponseDescription验证readingSession数量是否为4添加异常处理逻辑def validate_annotation(annotation): if not annotation.get(reading_sessions): raise ValueError(No reading sessions found) if len(annotation[reading_sessions]) ! 4: print(fWarning: only {len(annotation[reading_sessions])} reading sessions) # 检查关键字段 required_fields [series_uid, reading_sessions] for field in required_fields: if field not in annotation: raise ValueError(fMissing required field: {field})5.3 性能优化技巧处理大规模数据时解析速度很重要。我通过以下方式将处理速度提升了3倍使用lxml代替xml.etree预编译XPath表达式并行处理多个文件from lxml import etree from concurrent.futures import ThreadPoolExecutor def fast_xml_parser(xml_path): xmlns {http://www.nih.gov} parser etree.XMLParser(huge_treeTrue) tree etree.parse(xml_path, parser) # 预编译XPath sessions_xpath etree.XPath(f//{xmlns}readingSession) nodules_xpath etree.XPath(f.//{xmlns}unblindedReadNodule) # 使用lxml的快速解析逻辑...在处理医学影像数据时准确性和可重复性至关重要。我通常会保存中间结果并添加详细的日志记录这对调试和结果验证特别有帮助。