人工智能大数据,工作效率生产力
Ctrl + D 收藏本站,更多好用AI工具
当前位置:首页 » AI资讯

上海人工智能实验室大模型算法岗(实习)面经分享

2024-06-21 95

节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学,针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

今天分享的这位同学来自我们星球成员,面经汇总如下,喜欢记得收藏、关注、点赞,喜欢面试、技术交流,文末加入我们。

大家好,我是来自华东师范大学,专业为计算机系,面了上海人工智能实验室大模型算法岗(实习)

问的很细很深,狠狠拷打了80分钟,这个组做 LLM pretrain 的,我主要会 rl,nlp 缺乏点,面完感觉不是特别好。

  • 自我介绍
  • 项目
  • 微调模型训练数据来源?
  • LORA的理解
  • Ptuning和全量微调对比
  • RLHF全流程
  • 写出RLHF的优化目标公式
  • 目标公式中衰减因子的作用,取大取小有什么影响?
  • RLHF的目标公式可以加入什么其他的项?
  • 熵正则项是如何加入的?
  • KL散度理解?
  • RLHF中PPO算比率相对什么来算?
  • 其中对数概率的作用?
  • 马尔科夫决策过程的定义,有哪些参数变量需要考虑?
  • Reward model 训练的loss是什么?
  • 模型为什么会胡言乱语?根源在哪?可以考虑如何解决?
  • 模型微调会性能下降为什么还需要这一步?
  • 文本数据处理到进入模型的整个过程?
  • 分词和向量化的过程?
  • 模型微调过程中的调参?
  • 1.8b和7b使用中的区别?选择?
  • Recall,Precision的计算
  • 训练数据量级?
  • 如何把控数据质量?
  • 场景题,在处理数据的时候面对有违规的语料(如黄暴内容)如何平衡Recall,Precision指标
  • 对大模型整个发展趋势如何理解?
  • 你认为LLM的数据质量的关键在于什么?
  • 算法题一,easy 考察正则表达式
  • 算法题二,dp ,medium
  • 算法题三,栈,easy

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了算法岗AIGC面试与技术交流群, 想要进交流群、需要源码&资料、提升技术的同学,可以直接加微信号:mlc2040。加的时候备注一下:研究方向 +学校/公司+CSDN,即可。然后就可以拉你进群了。

方式①、微信搜索公众号:机器学习社区,后台回复:技术交流
方式②、添加微信号:mlc2040,备注:技术交流+CSDN

原文链接:https://blog.csdn.net/m0_59596990/article/details/137175993?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522171851498816800185882027%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=171851498816800185882027&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-21-137175993-null-null.nonecase&utm_term=AI%E9%9D%A2%E8%AF%95

相关推荐

阅读榜

hellenandjeckett@outlook.com

加入QQ群:849112589

回顶部