小说屋

手机浏览器扫描二维码访问

第336章 好(第2页)

Google的研究者提出了Word2Vec算法,该算法将词语表示为高维向量空间中的点,通过计算点之

间的距离来衡量词语之间的相似度。Word2Vec算法在文本相似度计算领域具有广泛的影响。斯坦

福大学等机构的研究者提出了BERT模型,该模型通过大量的无监督学习来捕捉文本的上下文信

息,可以实现高精度的文本相似度计算。BERT模型在多项自然语言处理任务中均取得了优异的表

现。

2.5本章小结

本章主要介绍了本项目中使用的四种关键技术与模型。这些技术主要基于大型语言模型,并且

本小章还未完,请点击下一页继续阅读后面精彩内容!

依赖于RAG技术的原理。介绍了知识抽取技术,它利用先进的自然语言处理技术从文本中提取有意

义的信息和知识,随后讨论了文本处理中所使用的RAG技术,该技术可以显着提高大型语言模型在

专业领域的性能,增强信息检索的准确性和效率。最后探讨了在文本比对过程中所需的相似度计算

方法,这对于评估文本之间的相似程度至关重要。

了解清楚数据获取来源后,进行数据采集,数据采集的方法包括自动化和手动两种方式:

自动化采集:利用编写的Python脚本通过API接口自动从上述数据库和期刊中下载文献和元

数据,部分代码如图3.2所示。这种方法的优点是效率高,可以大量快速地收集数据。使用

BeautifulSoup和Requests库从开放获取的期刊网站爬取数据。

手动采集:通过访问图书馆、研究机构以及联系文章作者等方式获取不易自动下载的资源。虽

然此方法更费时,但有助于获取更全面的数据集,特别是一些最新或尚未公开的研究成果。

将两种方法采集到的文献数据进行汇总,最大范围的将有关电力LCA领域的英文文献进行汇

总,共获得507篇。

最后是将各个途径获取到的文献数据和元数据汇总,进行数据预处理。

采集到的数据需经过清洗和预处理,才能用于后续的分析。

数据预处理的步骤包括:

数据清洗:删除重复的记录,校正错误的数据格式,填补缺失值。

数据整合:将来自不同来源的数据整合到一个统一的格式和数据库中,如表3.1所示,以便进

行进一步的分析。

为了使后续知识库生成更加准确与完善,对文献具体内容进行筛选。例如部分文献中并未提到

所用数据,而是指出所用数据库链接,如图3.3所示,在对该篇文献进行解析后,数据部分就是欠

缺的,最终构建的知识库就不完整,在调用大模型回答相关问题时,极大概率产生幻觉。因此为了

构建更为准确的专业模型,对爬取下来的507篇文献进行筛选,选择包括流程图(system

boundaries)、各单元过程或生产环节的投入(input),产出(output),数据(lifecycle

inventory),以及数据的时间、地点、获取方法、技术细节的文献作为最后应用的数据。核对内容

后的文献数据集共98篇英文文献。

喜欢离语请大家收藏:()离语

道之初境  旧世废土  你一男兵,混进女兵连当教官?  女神拼命保护我,却不知道我最强  山野小仙尊  全家惨死?嫡女重生后冠绝京城  出逃五年,她带两个萌宝杀回来了  八零:真千金回归后,宠冠京城!  梦境,我与轩辕  被贬后,我自立为王  我在冷宫忙种田  从忍界开始的游戏商人  快穿:逍遥路人甲  厨神:我就炒个菜,咋就飞升了?  大A爆涨,抄底娶回女明星  娇妻的谎言  萝莉控的万界之旅  航天首席重生1978  全能学霸的养成系女友  满级传球,从皇马解约成全能球王  

热门小说推荐
才不是魔女

才不是魔女

才不是魔女青空乐章银发少女的温馨日常种田文,偶尔也热血史诗。她是生活在森林里的银发少女。她是传说中七位英雄的导师。她是代表星星和奇迹的大贤者。她是平息十次世界灾厄的指引者。她的名为洛兰希尔,才不是魔女。又名仍未知道那天所教的笨学生居然成为开国之主的故事洛兰希尔的炼金工...

鬼事铺:让你捉鬼,你养女鬼干嘛

鬼事铺:让你捉鬼,你养女鬼干嘛

关于鬼事铺让你捉鬼,你养女鬼干嘛什么?你是男鬼?贫道与妖邪鬼魅势不两立有漂亮女鬼女鬼姐姐,愿与小生同席共枕否?常乐,阴年阴月阴日阴时出生,极阴之体天煞孤星。命中注定多灾多难厄运缠身克父克母克妻克子。为改变这天煞孤星命格。常乐从小就被爷爷送往武当山修道,直到十八岁下山。没有文凭,只有一个道士证。为了赚钱,常乐啥活都干。送外卖搬尸体看风水做法事一次诡异的外卖送餐,开启常乐捉鬼初体验。从此便一发不可收拾开起专门办鬼事的鬼事铺。...

钓系美人如何咳血手册

钓系美人如何咳血手册

世人皆知,天衍宗苍梧峰傲骨铮铮的拂知剑尊,违背伦常爱上了自己徒弟殷岭西。无数风月话本辗转茶楼酒肆,剑尊被人钉在引诱无辜单纯徒弟的耻辱柱上。却无人知晓,那被引诱的单纯徒弟,此时正吻了吻自己师尊眼角沁出的泪,满意的勾唇笑道师尊,辛苦了拂知抚上他的背,面色苍白的摇摇头,清冷的眼底带着柔色,你真的心悦于我么?殷岭西忽略自己心底的异样,假装深情道此生唯一。拂知看着这个已经被自己收回了百分之八十还不自知的碎片,神色更温柔了。后来,殷岭西魔族皇室身份暴露,逃回魔族领地。拂知掐着点赶过来,正好听见少皇殿下,不知道那拂知剑尊的滋味如何啊殷岭西语气慵懒,不怎么样和木头似的没意思,我腻味了就回来了。下面的人哄堂大笑,我刚还听说,那剑尊挨了剑阁十三刑,要离开师门来找我们殿下殷岭西神色骤变你说什轰!魔宫大门被暴虐的灵力轰的粉碎。殷岭西抬头看去。狂风中,白衣染血满身血痕的师尊,神色冰冷到极点,剑锋森寒,再说一遍。面上人设不崩,拂知叹气,可算是可以收网了。碎片二毁欲×国师乖。碎片三贪欲×逍遥医仙别哭。魔蝎小说...

综影视白莲偷人心

综影视白莲偷人心

关于综影视白莲偷人心装模作样是人类的本能,玩弄感情是强者的游戏。作为偷渡穿越者,杨雨薇最擅长的就是一脸懵懂的装无辜,蛊惑人心。心机手段,谋略设计,在情爱里不过是风月罢了。什么公平正义,什么道德底线,全都是扯淡。自己过得舒服才是最重要的。长相思防风意映全员攻略少年白马醉春风,万人迷尹落霞辰荣馨悦攻略涂山璟少年白马醉春风观影全员云之羽宋四绝不送死云之羽原创表妹三生三世,少白,香蜜沉沉,甄嬛传,如懿传,知否各大影视应有尽有,喜欢好评五星...

双穿门:人在诡异世界当压寨夫君

双穿门:人在诡异世界当压寨夫君

关于双穿门人在诡异世界当压寨夫君身患恶极的顶级外科医师,竟意外获得一个双穿门!异世界可以补充气血,增强体魄,延长寿命的神奇药材,在现代世界不出意外的被无数大人物们疯狂追求!叶寒借机创建医药公司,以此控制世界绝大多数顶级商界,政界高层,从此成为现实世界的无冕之王!而在异世界,白银,黄金奇缺,叶寒直接在地球购买大量黄金白银,购买数量繁多的各种神奇药材,帮助自身修炼武道功法!又从现实世界购买大批热武器,组建一支武者和现代化武器结合的超强军队!而且,现实世界道家,佛家的无用经文,在异世界竟然是顶级功法!那些破烂古董,竟然是顶级法器!铸就叶寒武道一途突飞猛进!以此,叶寒率领军队,横扫邪崇,覆灭腐朽王朝,在异世界打造不朽帝国!若干年后,叶寒成为帝国之主,颇为苦恼的坐在王座之上高冷小姨子和软糯小丫鬟都想要嫁我。英气十足的缉恶司暗夜女王说要给我当暖床侍女。曾经高贵的王国公主如今哭着喊着要给我当小,只求我放过她的家人。周边无数俯首称臣的王朝,争抢着要把自己国家最美丽的女子献给我。叶寒十分苦恼,自己到底要不要收呢?...

每日热搜小说推荐