基于CHATGPT的AI应用创业——寻求建议，以及合作伙伴

bracez

AI行业在微软的全家桶推广下，会飞跃到新的高度，果然是创业的好机会。

jungle

bohandouniwan 发表于 2023-11-20 18:50
我反倒觉得2b有机会，2c的话很容易被模仿 没有啥护城河。楼主可以fine tune llama2 70B吗 ，假设有A100的话 ...

这个方面我不是非常熟悉，但是确实我国内有朋友把llama2 已经搭起来用了，用了4张A6000，跑起来也还行。你觉得这个方面有什么比较明确的前景么？

wwokah

GPTs做出来的足球实况解说很火爆，这指明了一个赛道方向娱乐和游戏；楼主的2个GPTs的应用方向未来感觉要和大厂本身的产品相冲突。

如果GPTS应用能达到小游戏的效果，那么下载玩的人肯定多。

wupingzj

Hi Jungle

刚刚看了您的Mychatbot, chatwithSQL. 有很多可以关于startup的商业化opportunities。私聊一下?

我这个月OpenAI的 Usage 都已经 USD$380多了。

bracez

看起来很多人都比较感兴趣这个赛道，大家愿意的话我可以协助组织一些活动，周末或哪天晚上大家加入一个在线的头脑风暴Meeting，也可以每周提前准备一些Topic，然后在线会议上一起集思广益。

jackliu2008

关注。

这也是一个竞赛的过程。残酷的很。

这是一个烧钱 和 不断蚕食 startup 的 过程。。。

tomwu98

有点意思

jungle

yzh1999 发表于 2023-11-20 18:55
如果是这样，那
第一个，你的敌人是Microsoft Teams和Sharepoint。他们出一个类似功能集成在teams或者cop ...

如果你是gpt-35 finetuning，倒是愿意听听你的使用感受

fine-tuning gpt3.5，这正是目前我所使用的技术路线。但是，有了基于GPT4 TURBO的ASSISTANT API之后，我感觉也可以改到这条技术路线上。我还没有仔细测试过，但是似乎它的能力更加强大。

至于使用感受，我再贴几张截图吧，展示一下finetuning之后的模型对于SUBQUERY,以及一些稍微复杂的GROUP BY 的支持能力：

leoyin2014

不要白费劲了，chatgpt本来就是革命性的用非常简单的语言控制做很多事情

你能用，别人也能用，凭什么要花钱从你这里买？

未来制作gpt机器人非常简单的，中学生都可以，为什么要定制你的包月服务？

门槛现在已经太低了，用不着你这种二包贩子再从中赚一笔了

还是想想做uber去吧

bracez

楼上的说话有点直接，不过，确实在理。
今天晚上meetup上有一个在墨尔本的技术分享，结合Xero，讲AI/ML如何优化财务流程。我还是比较期待他们的案例分享的，财务、数据处理领域才是AI能发挥特长的所在。

bohandouniwan

bracez 发表于 2023-11-21 08:53
楼上的说话有点直接，不过，确实在理。
今天晚上meetup上有一个在墨尔本的技术分享，结合Xero，讲AI/ML如何 ...

能给大家带回一些汇报和分享吗？

kr2000

创业得all in才有机会。自己做点副业的话，现在最好的机会就是等GPT Store了

做2B建议去参加一个创业营program, 如果能找个合伙人拿个pre-seed。
悉尼创业环境还可以。技术合伙人是稀缺的

yzh1999

jungle 发表于 2023-11-20 23:07
fine-tuning gpt3.5，这正是目前我所使用的技术路线。但是，有了基于GPT4 TURBO的ASSISTANT API之后， ...

试了几个例子，果然finetuned gpt-35比基本的gpt-4要效果好不少。

看了一下你的graph，原来和我一样用Vega{:12_794:}

bracez

bohandouniwan 发表于 2023-11-21 09:29
能给大家带回一些汇报和分享吗？

没问题，晚上我回去，回来给大家分享一下。

xji

我记得以前浏览器上有个很好用的bookmark management软件，叫什么x啥，可以很方便在浏览器间同步bookmarks，后来chrome和edge直接推出类似的功能，一下子搞死了。在iPhone之前有一个自动化流程的app，后来apple直接推了个自己的出来，搞死了。

chatgpt已经有个性化产品了，好像可以很方便就可以部署到私有数据域，变成定制化的AI解决方案。按照openai之前的商业化野心，目前任何纯粹在chatgpt上做二次开发的服务和产品，要想想自己有什么技术护城河，有什么是openai拿不走的，否则都不能长远。而且感觉个人创业做企业端服务很难，企业消费和个人消费很不一样，如果不了解企业端服务的商业决策流程，建议不要入手企业端创业。

bracez

xji 发表于 2023-11-21 10:15
我记得以前浏览器上有个很好用的bookmark management软件，叫什么x啥，可以很方便在浏览器间同步bookmarks ...

据我所知，OpenAI企业版也没有能离线使用的。
如果是把企业数据上传到Cloud，再由OpenAI模型训练，这种方案根本无法保证企业数据的安全。

只有数据不离开企业内网才是安全的。

jungle

xji 发表于 2023-11-21 10:15
我记得以前浏览器上有个很好用的bookmark management软件，叫什么x啥，可以很方便在浏览器间同步bookmarks ...

这位同学，我觉得你举的例子很好啊，但是示例和结论似乎有一点南辕北辙呢。

Google，OPEN AI等，他们本来做的就是2C，而且2C的软件显然更适于大规模推广。你举例的这个bookmark manager，不正是一个2C的产品吗？换到AI的场景下，就算你做出来一个超级好用的GPTs，如果OPEN AI想要取代掉你的话，那也就是分分钟的事情。这不是更说明了基于OPENAI 的平台做2C才是真的做不得吗？因为OPEN AI本身就有能力提供给C端用户使用的最终产品啊。

而反观2B端呢，因为每个客户需求不同，没办法大规模推广，OPENAI只能提供平台，而无法提供给B端用户使用的最终产品。下沉到为每个客户做定制？这对他们来说太low了吧。就好比现在有很多做SAP, ORACLE实施的公司一样，我认为将来AI解决方案，在B端市场的定制实施才正是初创公司大有可为的市场啊。你觉得呢？

jungle

bracez 发表于 2023-11-21 10:19
据我所知，OpenAI企业版也没有能离线使用的。
如果是把企业数据上传到Cloud，再由OpenAI模型训练，这种方 ...

首先你是对的，OPEN AI企业版并不能离线使用。

但是，我前面也解释了哈，对于Finetuning GPT模型实现TXT to SQL的功能，根本无需上传任何实际企业数据到OPEN AI. 这个训练需要的数据仅仅是数据库结构，以及相关的一些说明文档（当然，这些文档需要凭经验定制）而已。

所以，说使用CHATGPT来实现对企业数据的自然语言查询分析，会影响企业的数据安全，其实是个伪命题。

jungle

yzh1999 发表于 2023-11-21 10:11
试了几个例子，果然finetuned gpt-35比基本的gpt-4要效果好不少。

看了一下你的graph，原来和我一样用Ve ...

感谢感谢  果然大家用的技术都差不多。

不过我对于ChatWithSQL这个产品的定位呢，对，当然它首先是一个TXT2SQL的工具；但是这个过程并非一次性完成的，而是通过多轮对话来逐步完成的。所以用户一开始可以问非常VAGUE的问题，然后在多轮对话中逐步细化深入，最后才达到理想的效果。所以我认为在这个模式下，TXT2SQL的“一次正确率” 并非是最重要的啊。

举个例子，比如用户问 "show me top 10 products".  那这个问题就可以有很多理解了，是按照Sales Amount？Quantity? 还是Order Count? 是取最近1年？还是3年，5年？就算你让一个人类developer来做，这个本来就没有正确答案可言。所以 AI只能随便先猜一个再说，比如它取最近1年，按照Sales Amount排序的Top 10 products。然后，用户看着不对，哦豁，我要的是过去3年汇总，按Quantity排序的，那只要说 "I meant by Quantity, in past 3 years" 就行了。

这个过程，其实和用户找个Developer来给他做报表是完全一样的。不同的是，如果找个Developer来做，用户来回这么折腾几次就该生气了，说你TMD怎么不一次说清楚啊，每次老子做好了又叫改，老子不伺候了！而ChatGPT则没有这个问题，你叫它改100遍它还是甘之如饴。而一旦改好了以后，用户就可以把这个SQL QUERY固化下来，保存为一个他自己的报表，以后他自己随时直接调用就可以了，不用再通过语言来询问了。你觉得这样是不是挺好的呢？

yzh1999

jungle 发表于 2023-11-21 12:40
感谢感谢  果然大家用的技术都差不多。

不过我对于ChatWithSQL这个产品的定位呢，对，当然 ...

的确一次准确率不是最重要的，重要的最终准备率。这个事的难点是结果很难verifiable。传统的报表都是通过测试流程保证结果准确和可重复。可重复是指你改变输入参数，结果也是正确的。

在新的流程下，这点就变难了：我怎么才能相信你给我看的数据是100%正确的，或者说即使不是100%正确，我怎么才能知道什么时候可能会有问题？

把SQL和步骤显示出来是一种方法，但是你的目标用户很可能没有相关知识，或者不知道底层的数据模型。

呆呆呆

LZ, 对于第一个应用MyChatBot，MS Copilot不是提供类似的功能了吗， 也集成在Teams Chat里了

fly02

jungle 发表于 2023-11-21 12:40
感谢感谢  果然大家用的技术都差不多。

不过我对于ChatWithSQL这个产品的定位呢，对，当然 ...

坦率的说，你的思路还是用开发人员的思路去猜测一个低阶的使用者的业务需求。
大刘说过：主不在乎！
你先要理解：买单人（老板，购买链决策人）的痛点。
曾经做外包时，验收人要像素级别对齐。然后直接找到老板，立刻就搞定验收人这种无意义的需求了。

fly02

jungle 发表于 2023-11-21 12:40
感谢感谢  果然大家用的技术都差不多。

不过我对于ChatWithSQL这个产品的定位呢，对，当然 ...

准确来说，老板不会为让一个牛马提高效率，然后可以去上网偷懒而付费。
你需要think something bigger。

yzh1999

fly02 发表于 2023-11-21 15:55
准确来说，老板不会为让一个牛马提高效率，然后可以去上网偷懒而付费。
你需要think something bigger。 ...

这种玩意儿是为了让老板裁掉那个牛马用的

jungle

yzh1999 发表于 2023-11-21 12:07
的确一次准确率不是最重要的，重要的最终准备率。这个事的难点是结果很难verifiable。传统的报表都是通过 ...

感谢感谢，果然还是要跟同行讨论，这样话题就可以聊的逐渐比较深入了。

关于用户对于TXT2SQL结果的准确性如何有信心的问题，因为1. TXT2SQL模型每次面对的是UNKNOWN的问题 2. Business用户如你所说，完全可能不懂数据结构，更加不懂SQL；所以就每个个案单独来看，其准确性问题就是无解的；你不可能说每次都找一个IT人员来验证， 那样就失去了使用AI的意义了。

所以在这一点上，我的考虑是：在模型投入BAU之前，要用大量的实际case去测试，然后每个case由IT人员来验证，看看模型是否都给出了正确的结果；如果有错误存在，则立即调整模型，进行纠正。比如说第一轮测试100个case，发现有20个错误，那么调整好；第二轮再测试50个case，发现还有5个错误，再调整好。第三轮再测试20个case，如果全对，则模型通过验收，可以进入BAU。

当然，任何模型也不可能保证绝对100%的准确性；这就和人一样的，就算是人类developer，做出的报表也一样可能是有错误的嘛。只要我们把模型调试达到一定程度，发现其正确率已经高于一般的初级程序员，那么就已经可以投入实用了。你觉得呢？

jungle

呆呆呆 发表于 2023-11-21 13:43
LZ, 对于第一个应用MyChatBot，MS Copilot不是提供类似的功能了吗， 也集成在Teams Chat里了 ...

这个Teams Copilot我了解过，根本不是做这个用处的吧，它不是一个用户可以自己去Train的聊天机器人。

https://support.microsoft.com/en ... 2-8bb8-790bedf066b1

Teams Copilot是一个会议助手，它可以在开会的时候自动记录会议内容，列举各发言者的观点，乃至最后生成出Meeting Minutes. 这绝对是一个很牛逼的AI产品，但是和MyChatbot毕竟没有太大关系，并不构成任何竞争。

还是回过头说，Teams Copilot是一个TO B的产品，但是它属于罕见的那种“放之四海而皆准”的TO B产品，因为任何公司都需要会议记录总结这些功能；这和公司业务形态完全无关。所以，这类通用性的产品上我们无法去和巨头竞争，我们能去Target的就是那些无法广泛推广，必须逐个客户定制的产品。

yzh1999

jungle 发表于 2023-11-21 18:44
感谢感谢，果然还是要跟同行讨论，这样话题就可以聊的逐渐比较深入了。

关于用户对于TXT2SQL结果的准确 ...

RLHF可是很烧钱的哟

最后一段，我理解传统的testing是在BAU之前解决bug，AI的risk在于bug可能都在实际BAU

的确没办法，只能强行提高准确率。

像PowerBI Copilot这种就取巧了，生成一部分，剩下交还给developer

jungle

yzh1999 发表于 2023-11-21 18:24
RLHF可是很烧钱的哟

最后一段，我理解传统的testing是在BAU之前解决bug，AI的risk在于bug可能都在实际BA ...

非常同意。。。我上面说的过程确实也就是一种RLHF。

但是，有别于通常所说的大模型训练的RLHF过程，我比较期待的结果是：其实一个企业的用户，对于他的数据，所能提出的问题的类型，应该是很有限的。无论是销售也好，采购也好，财务也好，业务运营过程也好，数据问题应该都超不出这几大类，而重点在于其中各种维度的数据分析，组合；所以只要这些问题类型都见过了，针对性的调试过了以后，那么相似的问题，我们的模型就应该都能够正确处理。所以，这并不会是一个需要海量CASE的RLHF过程，不至于需要极大的时间和精力投入。

说来说去，还是要找一家真实的企业做POC，把它实际落地一下看呀。

cisco

不懂GPT技术的人可以跟楼主一起交流不？

楼主可以牵头做个wechat群

bracez

bohandouniwan 发表于 2023-11-21 09:29
能给大家带回一些汇报和分享吗？

Xero在线财务软件应该很多人都听说过，中小企业的财务系统神器，应该也是抢了不少财务人员的饭碗。
昨天的分享中，Xero前数据工程部的GM讲了他们一年多以前使用ML实现发票上传自动识别和归类的项目，
这个项目做了大约半年，不少工程师参与，其实就是一个图片识别，实际开发也就一两个月，剩下时间都是测试、调优、试运行。

最终的结论是，这个简单的识别任务是无法完全自动化的，他们停掉了识别以后自动入库的功能，改为人工核查以后再提交。。
财务领域，容错率比较低，即使AI可以达到95%以上的正确率，还是会有识别错误的，这些都需要人工干预。
总体感觉下来，项目应该不算太成功。