神经网络:从哪里获取数据以更好地学习算法?

哈Ha!我叫Alisa Neveikina,我在白俄罗斯SmartCoders的一家初创公司工作。我们从事神经网络和基于AI的业务解决方案的开发。这篇文章是对使用机器学习进行项目开发的功能以及这些技术的货币化模型进行深入思考的结果。如果您已经使用AI或计划使用AI,我邀请您加入讨论。



人工智能的发展取决于神经网络中嵌入的算法。但是,只能依靠大量数据来验证它们。如果我们谈论的是至少在其中一家公司中已经通过了洗礼的磨合系统,那么一切都是显而易见的。但是当神经网络需要“像空气一样”的数据来证明其可行性时该怎么办?



我们开始担任各种项目的承包商,以完成客户的任务。Salary2.me项目的解决方案就是这样出现的,它有助于确定莫斯科,基辅,明斯克和许多欧洲城市的IT工作者的实际工资。



但是为了宣称通用性,这些技术缺乏对现有数据集的机器学习。



在哪里可以获得用于机器学习的数据?



在自己开发算法的阶段,您可以使用某种综合数据集。但是,这还不足以进一步改善AI的功能。我们需要实时数据集来查找极端情况,检查算法在不同样本上的表现,等等。但是事实证明,获得这样的设置并不容易,因为:



每个人都担心数据隐私



尽管事实是,对于测试AI,不包含任何个人信息的匿名数据就足够了,但公司仍担心监管机构会制裁其转移客户群,而且很少有人可以发布非个人数据集。它需要煮熟,但是没有人可以煮。



存在不信任的问题



另一个问题是缺乏信任。如果我们代表竞争对手带着我们的AI怎么办?他们会让我们进入,让我们处理数据,而数据库最终将落入错误的手中。



没有钱了



最后,人工智能测试需要资金。但是,如果效果不明显,则预算中就没有资金用于实施和开发AI。该公司只是继续工作。



该怎么办?



, “” . , , . -, , . — , , . “ ”.



,



  • - , . , , , . ?
  • , , , , . - . , . , ?
  • , . , , , “” .




, . , , fine tuning .



, , . , , , . .




All Articles