数据标注的思考

挫折感

医学影像标注中有许多挫折感，列举几个：

• 管理(MANAGING) 数据/数据集很难：正如我在医学影像分析的挑战中提到的，巨大的数据空间、多个来源、不同质量
• 管理(MANAGING) 标注也很难：你有一个标注员团队，他们有不同的专业水平/风格，你需要在多个轮次/版本中调整他们的能力和风格
• 管理(MANAGING) 任务也很难：你不能一次性标注所有内容，这太费事且不可能审查，但你最终需要将它们拼凑在一起。

但这些大多是勤奋问题，而不是技能问题。因此我将其描述为挫折感，而不是挑战。

挑战

我认为，只有一个挑战： 专业知识的分配 或者一个更花哨的术语：任务-专业匹配 。

也就是说，你有些案例是乏味且费力的，需要耐心和灵巧；你有些案例需要大量专业知识，需要多年的培训。

这在自然图像CV任务中不太常见，大多数任务都可以用常识解决。

你可能在这里会扬起眉毛：如果我直接雇佣一个全专家的标注团队，所有问题都解决了。但作为一个个人轶事，我发现这不仅不经济，而且在一些勾画任务中也未必产生最好的结果。正如我在医学影像分析的挑战中提到的，专家有不同的风格，很难对齐（对他人或你的规则）。

我相信挑战本身源于同时解决两个问题的目标，即：它看起来是什么样子，它实际上是什么？

通过与标注员密切合作多年，我很快意识到医学影像标注大致可以分为两种类型：

费力的工作

例如：发现异常

这类工作尤其需要耐心、专注和灵巧。经过适当培训的标注员可以在清晰规则和专家复核下承担此类勾画工作；这并不意味着专业知识不重要。

例子包括逐片滚动浏览 CT 扫描，寻找“团块状”的肺结节；任务需要清晰规则、适当培训和专家复核。

精细勾画复杂的肝脏血管网络，就是这类费力工作的一个例子。

在我参与的一些勾画任务中，经过培训但没有临床专业知识的标注员，反而会因为投入更多关注和精力而产出更好的标注。这是个人观察，并不是对不同标注员群体的一般性比较。

专业工作

例如：鉴别诊断

这是真正的临床专业知识发挥作用的地方，需要多年才能掌握。

识别一个非凡的异常就像与身体玩侦探游戏。它需要知道所有潜在的嫌疑人，他们可能的模式和反模式。你需要仔细检查细节以找到线索。通常，你必须超越异常区域，甚至查阅其他医学检查。这种专业知识当然不可能在一天或两天内发展。

简而言之，让专家做费力的工作是浪费的，让非专家处理专业工作是徒劳的。

（潜在的）解决方案

许多复杂问题的相同疗法：分而治之。

如果你的标注目标是为具有统一难度的数据集提供全面标签，除了让专家进行大量审查外，你没有什么可做的。

一个更好的解决方案是让专家进行快速分诊并缩小费力工作的数据空间，类似于场景中描述的想法。

一个更可扩展的方案是构建职责不同的模型系统。初始检测或分割模型负责第一轮筛查，承担大量费力工作并标出需要人工复核的区域；它不必完美。专家集中处理关键、模糊的案例，纠正模型错误，并提供高层次的诊断标注。这种人在回路中的设置，让标注流程更灵活，也让专家的时间更有价值。

我想提出的最后一点是关于标注应该是什么。

在传统CV中，所有标签都基本上”转码”为索引，失去了原始上下文，因此需要大量数据来训练模型。相比之下，人类用更少的数据但用更丰富的标注（信号）学习。

这提示了一个可能的方向：如果我们用更丰富的语义标注“教授”模型，例如在肿瘤轮廓之外记录“边缘有毛刺”或“邻近血管”，它是否能学得更高效、更稳健，并减少对数据量的需求？这仍是一个设想。未来的医学标注，也许不只需要更多标签，还需要信息更丰富的标签。