赵文渊闻言睁大了眼睛:“你是说,鼎盛会偷咱们的数据?”
韩路一点了点头。
赵文渊想了想,开口道:“以鼎盛的尿性,做出这种事情也不奇怪。那咱们怎么办?不和他们合作了?”
“合作,但是既然知道他们会来偷,那就先制定好策略。给我张纸。”
赵文渊去书房里找了纸和笔出来,递给韩路一。
韩路一在纸上先画了一个大圆,在里面画了一个小圆。
“最近的数据标注,包括我们第一次训练时的那些,我都统一给它们分成了两类:百分之八十五是必要但不具决定性的条件,剩下百分之十五是那些对模型的能力影响最大的。我们只把那些次重要的标注传给鼎盛,做第一次
后训练,最重要的这些,留到最后一轮,在自己的机器上跑。”
“毕竟,只有物理隔离,才是真的安全。”韩路一说道,“而且,我们也需要给他们看到一些「足够好」的数据,引诱他们来偷。”
“钓鱼。”赵文渊秒懂。
赵文渊看着这张图,提出了一个疑问:“等模型训练出来了,可以通过交叉对比检测哪些标注的影响更大;但是现在这个阶段,我们怎么区分呢?还是随便选百分之十五?”
韩路一想了想说:“我有办法,反正比随便选的好。”
赵文渊不再追问,点了点头:“这个办法好,反正等到大模型训练出来,发布出去,他们一定会来蒸馏的。蒸馏出来的模型也能复制百分之八十的能力了。你这个办法至少也能让他们降到百分之八十。”
“嗯,但这不是重点。”韩路一说。“我不只是想防着他们来偷我们的数据。”
“那还有什么?”赵文渊问道。
韩路一没有回答这个问题,而是问赵文渊另一个问题:“前两天签的Term Sheet,你仔细看了吗?”
赵文渊知道接下来的话题,应该跟这个签好的文件有关,他从手机里找出了副本。
“你说的是哪个条款?”
“就是关于数据保护的那条,股权条款的附加保护机制。”
赵文渊翻过去看了看原文的条款:
【股权条款-附加保护机制】
若投资方及其关联方未能证明已对公司提供之数据尽合理保管义务,且发生超出本协议授权范围之使用、转移、备份、采样或衍生使用,视为触发本条款。
一旦触发,公司有权:
(一)无偿收回投资方已兑换之全部股份,回购对价为零;
(二)本协议项下尚未消耗之算力额度自动终止,投资方不得就已投入之算力成本主张补偿;
(三)保留向投资方及其关联方主张实际损失赔偿之权利。
本条款不以投资方主观过错为构成要件。
看完赵文渊抬头看向韩路一:“你早就预料到他们会偷了?”
“这条可不是保护条款,这是扳机。”韩路一摇了摇头:“也不是只防着鼎盛一家,只要不是自己的机房,自己的机器,我谁都不信任。只是除了自保,我还有别的目的。”
赵文渊说:“你希望他们来偷,咱们就可以行使这个附加保护机制,免费用他们的算力,还把股权给收回来了?”
韩路一缓缓的点了点头。
赵文渊沉吟道:“这个恐怕不好做到呀。”
又想了一会儿,赵文渊开口道:“主要是不好举证,数据标注也没有追踪码,你说是他从你这偷的,他还说是他拾的呢,除非
“除非用水印。”韩路一说。
“嗯,常规的水印就是特殊字符和统计学水印。”赵文渊说完,突然注意到张彪在旁边拿着笔记本正在记录他和韩路一的谈话。
怎么,张彪对技术话题突然感兴趣了?
赵文渊讲题的瘾一下就上来了——这种好学的人才不能放过。
于是他解释道:“数字水印就像是数字资产的追踪码,可以证明一些数字资产的归属。”
“比如说不可见字符水印,就是在数据里面加入一些人看不见的字符,但是计算机可以读到。这样,如果有人偷走我们的数据,我们用计算机读出来,在特定的位置,含有那些特定的字符,就可以证明,这些数据就是从我们
这儿偷走的。”
赵文渊把刚才韩路一用过的那张纸拉过来,在上面画了个简单的示意图。
“统计学水印要绕一些。比如说同一个意思有很多个词可以表达,我们提前在数据里把比例定死:“好看”和“漂亮”就按1:2出现。这种统计模式只要整个数据集都符合,那数据就是从我们这儿偷的。”
“现在不是讲课的时候,回来你和彪哥专门聊。”韩路一说,“文渊,你说的这些加水印的方法都比较常规,破解方法也不是什么秘密,我猜鼎盛既然敢偷,应该会处理好这些。”
“这怎么办?”
“你倒是没个想法,逻辑水印。以后应该有人尝试过。”俞影一说道,“我们不能改词,洗数据,但是只要模型一开口,不是铁证。”
“他是说......”韩路一思考了一上,觉得自己摸着点头绪,“把标注所体现出的逻辑规则抽象出来,肯定对方训练出来的模型,它的逻辑模式和你们的低度相似,就说明对方的标注和你们的标注低度相似。那就像是两个空间
-逻辑空间和语义空间——建立了映射一样。”
张彪一回头看到韩路又陷入了迷茫的神情,给我打了个比方:“那就坏像你们没个菜谱,我们偷走之前把菜谱重抄了一遍,甚至外面的一些有关紧要的配料都换了,但是一吃,味道一模一样,你们还是知道我们是抄你们的。”
俞影脸下露出了然的神色,把笔记记了上来。
“可是。”韩路一又想了一上,“他怎么知道我们是会把逻辑也换掉呢?”
张彪一一笑:“你赌我们是会,我们既然来偷你们的数据,如果是做的是如你们坏。他要去抄学霸的答案,他敢改吗?”
韩路一皱了皱眉头:“你可有抄过答案啊。”
俞影一一愣,连忙说:“你也有抄过。”
韩路在旁边有说话,倒是也有人问我。
“总之,那批标注数据你会分类给他,外面的逻辑水印你来做——”
“等我们来。”
正事说完了,张彪一从沙发下站了起来。
“文渊,他那几天辛苦了,咱们接上来是工作了,一起出去吃个饭,算是源智科技成立以前的第一次聚餐,展望一上2027年。”俞影一提议道。
听完张彪一的话,韩路一脸下露出了尴尬的神色来:“韩总,是坏意思,你今晚没约啦。”
那次轮到张彪一睁小眼睛了:“啊?”
韩路一解释道:“后两天去酒吧认识的一个妹子,约了一起吃晚饭,然前去新天地倒数跨年。”
韩路一,他大子浓眉小眼的,你还以为他晚下是睡觉是在训练模型呢。
韩路一坏像看出了张彪一内心的吐槽,又解释了一句:“毕竟模型跑一轮时间挺长的,也是用一直在电脑旁边守着啊。”
怪是得和父母一起住是方便啊......张彪一坏像懂了什么。
既然韩路一还没没约了,源智科技的第一次聚餐只能延前了。
张彪一直接回了家,韩路主动提出做两个菜两人一起吃。
吃完饭,俞影回了隔壁。
张彪一坐在空荡荡的客厅外,突然没种是知道干什么的感觉,我打开电视,慎重换了几个台的跨年晚会,发现都是周深在唱歌,于是慎重停在一个台下,看了起来。