TravelVerse -【Demo】
介绍
TravelVerse 是一个帮助我在城市随机漫步时可以根据我的偏好帮我推荐周边的城市服务,并能对给出的城市服务做出具体详细解释的小 Demo,可以查看下方的效果视频更详细的了解。
做这个 Demo 的主要原因是我正好回家之前打算去个城市玩几天,随机选择了大连。到了大连之后才发现,大连其实有非常多的历史建筑,这个也是我很喜欢的点。不过我没有提前做任何的攻略,对城市和历史建筑也几乎没什么了解。但我的旅行方式又是在一个城市漫步,我还是很希望能在城市漫步时能感受到更多的趣味性的。
但是要想获得到趣味性的前提就是你需要对这个地方有一些了解,能基于这些了解跟过去的经历产生关联,于是就会产生一些新的感受和想法,趣味就来了。那么核心的问题就是该如何对我漫步的地方产生了解呢?
比如我很喜欢大连的中山广场区域,因为我去过沈阳的中山广场,大连的中山广场跟沈阳的非常相似,都是围绕一个环岛,四周全部是银行并带有一家大和旅馆,还有警察署、军事区、周边配套的医院等等。这就是趣味性,因为大连的中山广场的信息跟我在沈阳体会到的关联起来了。但是我明显能感觉到大连的这片区域发展的更早,规模更大,并且有非常密集的历史建筑配套设施。
我理想情况是希望能看到探访南满铁路①|大连:远方自由港 、探访南满铁路②|大连:露西亚的生与死 这样的内容来丰富我的体验,但是这其实都是事后才看到的,我当下溜达到某个地方附近并没有找到这样的内容。
于是我就做了一个 Demo,可以根据我所在的位置,帮我推荐我周边的我感兴趣的区域,这些区域可以是历史建筑、可以是公园、可以是吃喝玩乐的地方,只是在 Demo 里我设定为历史建筑区域。然后可以在网络上去检索跟这个历史建筑相关的信息,并能将这些信息融合后再通过语音朗读出来,这样我就可以实现边在城市漫步,边获得到一个城市导游的体验了。
这期间其实我尝试了 Kimi 的电话功能,Kimi 可以在实时语音通话模式下也有搜索功能,但是我的体验感觉不太好,Kimi 给出的信息太浅太泛了,比较依赖人跟它不停的互动,还不能实现更长更深度的对话。当然,这里也有个很有意思的点我一直想做,大语言模型虽然可以通过图灵测试,但是却很少有跟人一样的对话体验,这种体验里带有很多的下个话题的适当过渡、对话时的随机性、自发的记忆触发从而创造出新的体验,大语言模型实现的对话都显得太过刻意了,这种刻意确实在很多场景有价值,但是在我们刚说到的这种场景却是一种劣势。
未来想象
当TravelVerse 这个 Demo 做完后,我突然意识到这里其实有非常多的想象力。我们尝试举几个案例,并简单讲一下如何实现。
理想状态 — 随行模式
因为我们运行在手机端,可以获得到事实的地理位置,并且可以借助手机比较强大的计算能力,可以实现用户在城市的任何地点打开软件,描述自己的偏好,就可以生成适合这个偏好的规划。
比如视频当中提到的,我可以在大连的中山广场附近打开,然后描述我希望探寻这周边的历史建筑,耗时是 2-3 个小时最佳,并且中途规划 1-2 家咖啡店,这样我就可以探索城市的历史建筑,边喝咖啡,还可以获得到跟这座城市历史建筑相关的趣味信息。
最理想的状态是我们可以生成这样的规划,并且可以规划出一条路线图,而且可以根据实时所处的街道来驱动语音。当用户走到不同的街道时,我们就可以自然过渡到下个街道和景点相关的信息,根据用户持续的停留时间来预测和规划内容分布。
如何实现
实现的方式确实不简单,尤其是要在产品化的时候。
首先我们需要实现用户意图的拆解,这个可能需要对模型进行一定的微调才能做的比较好;
然后是对服务进行规划,我们可以采用城市的 POI(Point of Interest)的方式来进行检索,根据用户意图来筛选出来相对充裕的服务,然后通过一些特定的 Search Agents 来实现对这些服务的验证,比如借助联网搜索、小红书、大众点评等等,这中间需要一些 React 参与;
到路径规划阶段,可以先采用路径规划 API 实现,然后我们还需要一种“图”,方便 LLM 更好的理解和规划跟路径相关的内容;
然后是内容规划,我们会根据路径的规划,生成对应的内容规划,包括内容的长度、丰富度、细节、趣味性等等,比如我们可以在这里引入图片、引入播客… 这里可能还考虑到交互;
最后是一个可以随着用户所在位置对内容规划进行切换的引擎,可以实现丝滑的内容和用户位置之间的切换,并且可以听从用户的指令。
理想状态 - 打卡模式
打卡模式也会比较好玩,比如小红书上有非常多的帖子展示大家在一个城市的打卡。这里我们就可以构建一个专门的 Agents,来帮助用户策划打卡这件事,从规划哪些打卡点、到打卡点的导航介绍、到时间推荐甚至要借助小红书来做参考推荐。
如何实现
这里最重要的一环可能就是小红书上的数据如何获取,以及如何建立一种比较高效的索引来实现规划和信息提取的过程;
然后是借助小红书上的数据需要构建一个地点标注、打卡推荐的 Agents,专门来整合这些能力到地图上。
如何体验
目前产品还是 Demo 的阶段,可能是视频比较长,可能是介绍的不够清楚,朋友圈的用户反应的比较好,大家还是挺喜欢的,但是小红书上的用户反响一般,所以对于后续继续构建的想法还不确定。今天的分享就到这里了,如果你对这篇内容感兴趣,想要了解更多,欢迎联系我。微信号:geekthings